uu.seUppsala University Publications
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Universal Word Segmentation: Implementation and Interpretation
Uppsala University, Disciplinary Domain of Humanities and Social Sciences, Faculty of Languages, Department of Linguistics and Philology.
Uppsala University, Disciplinary Domain of Humanities and Social Sciences, Faculty of Languages, Department of Linguistics and Philology.
Uppsala University, Disciplinary Domain of Humanities and Social Sciences, Faculty of Languages, Department of Linguistics and Philology.
(English)In: Article in journal, Editorial material (Refereed) Submitted
National Category
Language Technology (Computational Linguistics)
Identifiers
URN: urn:nbn:se:uu:diva-348128OAI: oai:DiVA.org:uu-348128DiVA, id: diva2:1196694
Available from: 2018-04-10 Created: 2018-04-10 Last updated: 2018-04-16
In thesis
1. Segmenting and Tagging Text with Neural Networks
Open this publication in new window or tab >>Segmenting and Tagging Text with Neural Networks
2018 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

Segmentation and tagging of text are important preprocessing steps for higher-level natural language processing tasks. In this thesis, we apply a sequence labelling framework based on neural networks to various segmentation and tagging tasks, including sentence segmentation, word segmentation, morpheme segmentation, joint word segmentation and part-of-speech tagging, and named entity transliteration. We apply a general neural CRF model to different tasks by designing specific tag sets. In addition, we explore effective ways of representing input characters, such as utilising concatenated n-grams and sub-character features, and use ensemble decoding to mitigate the effects of random parameter initialisation.

The segmentation and tagging models are evaluated in a truly multilingual setup with more than 70 datasets. The experimental results indicate that the proposed neural CRF model is effective for segmentation and tagging in general as state-of-the-art accuracies are achieved on datasets in different languages, genres, and annotation schemes for various tasks. For word segmentation, we propose several typological factors to statistically characterise the difficulties posed by different languages and writing systems. Based on this analysis, we apply language-specific settings to the segmentation system for higher accuracy. Our system achieves substantially better results on languages that are more difficult to segment when compared to previous work. Moreover, we investigate conventionally adopted evaluation metrics for segmentation tasks. We propose that precision should be excluded and using recall alone is more adequate for sentence segmentation and word segmentation. The segmentation and tagging tools implemented along with this thesis are publicly available as experimental frameworks for future development as well as preprocessing tools for higher-level NLP tasks.

Abstract [sv]

Segmentering och taggning av text är grundläggande analyssteg som möjliggör mer avancerade tillämpningar inom språkteknologi. I denna avhandling tillämpas ett ramverk för sekvensanalys baserat på neurala nätverk på ett antal olika segmenterings- och taggningsproblem, inklusive meningssegmentering, ordsegmentering, morfemsegmentering, förenad ordsegmentering och ordklasstaggning, samt translitterering av namn. Vi tillämpar en generell neural CRF-modellen på olika problem genom att definiera olika tagguppsättningar. Vi utforskar olika sätt att representera de tecken som utgör indata till processen, såsom hopslagna teckensekvenser och grafiska särdrag, och vi använder ensemble-avkodning för att mildra effekten av slumpmässig initialisering av parametrar.

Modellerna för segmentering och taggning utvärderas på flera språk med hjälp av mer än 70 olika datamängder. De experimentella resultaten visar att den föreslagna neurala CRF-modellen är effektiv för segmentering och taggning i allmänhet, med slagkraftiga resultat för olika uppgifter, språk, genrer och annotationsscheman. För ordsegmentering föreslår vi ett antal typologiska faktorer som kan användas för att statistiskt analysera de utmaningar som ges av olika språk och skriftsystem. Denna analys kan sedan läggas till grund för språkspecifika inställningar som förbättrar segmenteringens kvalitet. Vårt system uppnår väsentligt bättre resultat än tidigare metoder på språk som är svåra att segmentera. Till sist diskuterar vi utvärderingsmetoder för segmenteringsproblem och föreslår att precision ska uteslutas till förmån för enbart täckning vid utvärdering av menings- och ordsegmentering. De verktyg för segmentering och taggning som utvecklats i samband med avhandlingsarbetet är allmänt tillgängliga för fortsatt forskning och som grundläggande analysverktyg för mer avancerade tillämpningar av språkteknologi.

Place, publisher, year, edition, pages
Uppsala: Acta Universitatis Upsaliensis, 2018. p. 76
Series
Studia Linguistica Upsaliensia, ISSN 1652-1366 ; 21
Keywords
neural networks, sequence labelling, multilinguality, word segmentation, sentence segmentation, morpheme segmentation, transliteration, joint word segmentation and POS tagging
National Category
Language Technology (Computational Linguistics)
Identifiers
urn:nbn:se:uu:diva-348129 (URN)978-91-513-0340-6 (ISBN)
Public defence
2018-06-09, Humanistiska teatern, Thunbergsvägen 3, Uppsala, 10:15 (English)
Opponent
Supervisors
Available from: 2018-05-16 Created: 2018-04-10 Last updated: 2018-05-16

Open Access in DiVA

No full text in DiVA

Search in DiVA

By author/editor
Shao, YanNivre, Joakim
By organisation
Department of Linguistics and Philology
Language Technology (Computational Linguistics)

Search outside of DiVA

GoogleGoogle Scholar

urn-nbn

Altmetric score

urn-nbn
Total: 278 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf