11.4.  Anwenden

11.4.1.  Lemmatisierung

Problem der Mehrdeutigkeit der Wortart

Mehrdeutigkeit der Wortart

Frage

Wie sehen die entsprechenden STTS-Tags aus?

Lösungsansatz: Lemmatisierung mit PoS-Tagging

1. Mache PoS-Tagging mit Text-Korpus!
2. Extrahiere und lemmatisiere alle Wortformen aus Text-Korpus!
3. Suche für jedes Token im Korpus die zu seinem PoS-Tag passenden Analysen!

Lösungsansatz: Lemmatisierung mit PoS-Tagging

Nachteile des obigen Verfahrens

• Prozess-Synchronisierung : Bevor mit der PoS-gestützten Lemmatisierung begonnen werden kann, müssen alle Wortformen analysiert sein.
• Speicherbedarf : Gleichzeitiger Zugriff auf alle morphologischen Analysen aller Wortformen bei der Lemmatisierung (z.B. ein Hash, welcher als Schlüssel die Wortform hat und als Werte die Analysen).
• Laufzeit : Die Entscheidung, ob eine Analyse zum zugewiesenen PoS-Tag passt, muss ausprogrammiert werden.

Vorteil des obigen Verfahrens

Falls das Morphologieanalysesystem eine grössere lexikalische Abdeckung hat als der Tagger, können bei der Entscheidung Tagging-Fehler entdeckt und korrigiert werden.

Lösungsansatz: Analyse von getaggten Wortformen

• Das Morphologieanalyse-System bekommt nicht die rohen Wortformen, sondern getaggte Wortformen als Input und analysiert diese.
• Ein selbstentwickeltes Morphologie-System kann leicht auf dieses Input-Format angepasst werden (mittels xfst-Operationen innerhalb des FSM-Ansatzes.

Problem der Mehrdeutigkeit des Lemmas

Mehrdeutigkeit des Lemmas

Problem

Gemäss [VOLK 1999] erhalten etwa 10% aller Nomen und etwa 6% aller Verbformen von modernen Zeitungskorpora durch GERTWOL mehr als 1 Lemma zugewiesen.

Einfacher Lösungsansatz nach [VOLK 1999]

• Strafpunkte für Komplexität : Jede Kompositionsgrenze (#) kostet 4 Punkte, schwache Kompositionsgrenze (|) 2 Punkte, Derivationsgrenze (˜) 1 Punkt.
• Strafpunkte für unwahrscheinliche Morpheme : Handverlesene konfliktträchtige Morpheme erhalten 100 Strafpunkte (z.B. “stag” oder “dach˜en”)

Analysen mit ihren Strafpunkten

Lösungsansatz II: Priorisierung von Lexikoneinträgen

Überanalysen und Lexikalisierung

Keine Überanalyse von Wörtern, welche im Lexikon vorkommen!

Umsetzung

Die unerwünschten Mehrfachanalysen lassen sich innerhalb des FSM-Ansatzes mit normalen FSM-Mitteln wie Komposition und Ersetzen erkennen und auch darin eliminieren.