3.5
 Vertiefung

Zum Thema “Tokenisierung”:

• Pflichtlektüre: [Carstensen et al. 2009, 3.4.1]
• Guter Übersichtsartikel für Interessierte: [Palmer 2000]
• Gut zu lesen und methodisch einfach und instruktiv: [Grefenstette und Tapanainen 1994]

Zum Thema “Reguläre Ausdrücke”:

• http://www.cl.uzh.ch/clab/regex/

Zum Thema “XML”:

• Kapitel 2.5.2 Texttechnologische Grundlagen in [Carstensen et al. 2009]

3.5.1
 Kontrollfragen

Kontrollfragen 

• Welche Probleme stellen sich bei der Tokenisierung?
• Schildern Sie zwei unterschiedliche Ansätze zur Punktdisambiguierung.
• Was sind die wesentlichen Eigenschaften von XML-Dokumenten?
• Was versteht man unter NER?
• Wie funktioniert die Sprachidentifikation nach Cavnar und Trenkle?