Logotyp: till Uppsala universitets webbplats

uu.sePublikationer från Uppsala universitet
Driftinformation
Ett driftavbrott i samband med versionsuppdatering är planerat till 17/11-2026, kl 12.00-13.00. Under den tidsperioden kommer DiVA inte att vara tillgängligt.
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Probabilistic Embeddings with Laplacian Graph Priors
Uppsala universitet, Humanistisk-samhällsvetenskapliga vetenskapsområdet, Samhällsvetenskapliga fakulteten, Statistiska institutionen.ORCID-id: 0009-0004-5530-4770
Uppsala universitet, Humanistisk-samhällsvetenskapliga vetenskapsområdet, Samhällsvetenskapliga fakulteten, Statistiska institutionen.
(Engelska)Manuskript (preprint) (Övrigt vetenskapligt)
Abstract [en]

Word embeddings have become an increasingly important class of models for analysis of textual data. We introduce probabilistic embeddings using Laplacian graph priors (PELP). The proposed model enables incorporating graph side-information into static word embeddings. We theoretically show that the model unifies several previously proposed embedding methods under one umbrella, such as graph-enhanced, group, dynamic, and cross-lingual static word embeddings.  Furthermore, we empirically show that our model matches or improves the performance of previous models that are special cases of the PELP model. PELP also enables any combination of these previous models in a  straightforward fashion for flexible modeling of textual data in a Bayesian fashion. We demonstrate the flexibility of using the graph-prior for embeddings by applying it to the comparison of political sociolects over time. Finally, we provide code as a TensorFlow implementation, enabling flexible and scalable estimation for settings with millions of documents.

Nyckelord [en]
Word Embeddings, Probabilistic Language Models, Graph Priors
Nationell ämneskategori
Sannolikhetsteori och statistik
Forskningsämne
Statistik
Identifikatorer
URN: urn:nbn:se:uu:diva-596086DOI: 10.48550/arXiv.2204.01846OAI: oai:DiVA.org:uu-596086DiVA, id: diva2:2093975
Tillgänglig från: 2026-08-20 Skapad: 2026-08-20 Senast uppdaterad: 2026-08-27
Ingår i avhandling
1. Probabilistic Embeddings and Reliable Bayesian Inference for Textual Data
Öppna denna publikation i ny flik eller fönster >>Probabilistic Embeddings and Reliable Bayesian Inference for Textual Data
2026 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

This dissertation aims to enable the reliable Bayesian inference from text data, with the specific focus on word embedding models and data quality. The first topic is investigated through probabilistic word embedding models, with particular emphasis on identifiability, posterior uncertainty, and prior specification. Paper I introduces a new family of informative prior distributions for probabilistic word embeddings, while Paper II develops a novel Gibbs sampler and presents a solution for the non-identifiability of the embedding posterior. Furthermore, the thesis develops and analyzes methods for the creation, curation, and preprocessing of large-scale text data, which are commonly required for word embedding models. Paper III presents a general framework for this task and establishes theoretical guarantees for error reduction, and Paper IV provides a case study applying the framework to a parliamentary dataset. By addressing both model-level and data-level challenges, the thesis aims to ensure that statistical analyses of large and potentially noisy text data yield valid and trustworthy conclusions.

Ort, förlag, år, upplaga, sidor
Uppsala: Acta Universitatis Upsaliensis, 2026. s. 28
Serie
Digital Comprehensive Summaries of Uppsala Dissertations from the Faculty of Social Sciences, ISSN 1652-9030 ; 246
Nyckelord
Word Embeddings, Probabilistic Machine Learning, Textual Statistics, Bayesian Statistics, Data Quality
Nationell ämneskategori
Sannolikhetsteori och statistik Språkbehandling och datorlingvistik
Forskningsämne
Statistik
Identifikatorer
urn:nbn:se:uu:diva-596091 (URN)978-91-513-2939-0 (ISBN)
Disputation
2026-10-15, Hörsal 2, Ekonomikum, Kyrkogårdsgatan 10, 753 12, Uppsala, 13:15 (Engelska)
Opponent
Handledare
Tillgänglig från: 2026-09-24 Skapad: 2026-08-27 Senast uppdaterad: 2026-10-08

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltexthttps://arxiv.org/abs/2204.01846

Sök vidare i DiVA

Av författaren/redaktören
Yrjänäinen, Väinö
Av organisationen
Statistiska institutionen
Sannolikhetsteori och statistik

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 30 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf