5.3
 Tokenisierung: Segmentieren von Wörtern und Sätzen

5.3.1
 Problem

Naive Tokenisierung mit 3 Zeichenklassen 
Ein Token ist in segmentierten Schriftsystemen durch Leerraumzeichen (engl. white space) oder Interpunktion begrenzt.

• Wort-Zeichen: /[a-zA-Z0-9]/
• Einzel-Zeichen: /[.,:;?!)(" ?-]/
• Grenz-Zeichen: /\s/

Problem

Tokens können sowohl Einzel- wie Grenz-Zeichen enthalten:
“Joop!”, “usw.”, “1 000”, “«Ich bin Borat»-Kit”

Teilprobleme der Tokenisierung im weiten Sinn 

• Umgang mit Markup (HTML-Tags, Formatierungszeichen)
• Erkennung der “normalen” Tokengrenzen (in nicht-segmentierten Schriftsystemen wie dem Chinesischen anspruchsvoll)
• Erkennung von “komplexen Tokens”, d.h. Tokens, welche Einzel- oder Grenzzeichen beinhalten
• Erkennung von Interpunktion (Disambiguierung von Punkten, Erkennung von Satzenden)
• Normalisierung von Zeichen und Token (z.B. Silbentrennung aufheben)
• Named Entity Recognition (z.B. Erkennung von Namen und Zeitangaben)

5.3.2
 Punktdisambiguierung

Erkennung von Satzenden (Satz-Segmentierung)

Im Brown-Korpus steckt in jedem 14. Satz ein Punkt, der nicht satzfinal ist. Wer jeden Punkt als Satzende interpretiert, liegt (im Englischen) in 8-45% der Fälle daneben.

Verschärfend: Verschmelzung zweier Funktionen

Wiederholte Interpunktionszeichen werden orthographisch nicht repräsentiert.

Weiteres

Auch andere Interpunktion als Punkte ist mehrdeutig.

Algorithmus zur Punktdisambiguierung  
Gegeben sei ein Token aus einem englischen Text, welches mit einem Punkt endet.

Der Punkt ist ein Abkürzungspunkt, falls

• das Token in einer Abkürzungsliste steht.
• nach dem Token [,;a-z] folgt.
• das Token kleingeschrieben ist, aber der Teil ohne den Punkt nicht im Lexikon steht.
• das Token grossgeschrieben ist, eher häufig vorkommt und im Text nicht ohne den Punkt vorkommt.

Nach [Grefenstette und Tapanainen 1994]

Leistungsfähigkeit

Mit einer guten Abkürzungsliste erzielt man 99% korrekte Entscheidungen.

Statistische Verfahren zur Punktdisambiguierung 

Prinzip

Verwende die Häufigkeiten von Vorkommen (occurrence) und Mit-Vorkommen (co-occurrence) von Tokens aus grossen Textsammlungen, um eine Entscheidung zu treffen.

Interessante Merkmale für statistische Ansätze

1. Wieviele Zeichen umfasst ein Token?
2. Umfasst ein Token Ziffern oder keine Vokale?
3. Wie oft kommt das Token ohne Punkt vor?
4. Wie oft kommt nach dem Token ein grossgeschriebenes Token vor?
5. Wie oft kommt ein Token kleingeschrieben vor?
6. Welche Wortart haben die umgebenden Tokens?

5.3.3
 Zeichen- und Token-Normalisierung

Text-Normalisierung 
Die Modifikation der Zeichen des Eingabestromes kann von einfachsten orthographischen Varianten bis zu stark linguistisch motivierten Operationen gehen.

Rückgängig machen von Worttrennung am Zeilenende 

Rückgängig machen von Worttrennung am Zeilenende 

Probleme der Dehyphenation im Englischen [Grefenstette und Tapanainen 1994]

Brown-Korpus (1 Mio. Wörter) wurde automatisch umgebrochen, danach dehyphenisiert. Vergleich mit den manuell kontrollierten originalen Tokens:

Ist im Deutschen Rückgängigmachung von Silbengtrennung ebenfalls so problematisch.

5.3.4
 Named Entity Recognition

Named Entity Recognition 

Einheitliche (kanonische) Repräsentation

Für die Zwecke der Informationsextraktion ist es oft sinnvoll, identifizierte interessierende Grössen in ein einheitliches und eindeutiges Format zu bringen.