3.4
 Multilingualität

Multilinguale Dokumente und Systeme 

Herausforderung Multilingualität

• Multilinguale Dokumente oder Systeme erfordern Sprachidentifikation
• Bereits auf Tokensierungsstufe sind sprachspezifische Ressourcen (Abkürzungslexika) und Regeln notwendig
• Sprachidentifikation ist neben der Identifikation der Zeichenkodierung eines Textes das Fundament, auf dem alle Textanalyse aufbaut.
• Traditionelles linguistisches Wissen ist für Sprachidentifikation nicht geeignet.
• „Primitive“ Verfahren, welche auf Häufigkeiten von Buchstabenkombinationen aufbauen, funktionieren gut.

Ansatz von [Cavnar und Trenkle 1994]

1.

Sammle häufigste Zeichenkombinationen (2-5 Zeichen, d.h. N-Gramme) der verschiedenen Sprachen über Trainingsdaten.

2.

Berechne für jede Sprache die Reihenfolge der häufigsten Kombinationen (N-Gramm-Profil).

3.

Berechne für ein unbekanntes Dokument D sein N-Gramm-Profil.

4.

Berechne den Profilabstand zwischen D und jedem Sprachprofil als Summe des Rangunterschieds von jedem N-Gramm.

5.

Wähle für D die Sprache mit dem kleinsten Profilabstand.

N-Gramm-Profile und Profilabstand