Covingtons Tokenizer

Covingtons Tokenizer (von uns modifiziert) ist nicht perfekt. Er löst längst nicht alle Probleme, vor allem die Satzenderkennung berücksichtigt er nicht. Dies ist nicht weiter schlimm, da es hier ja auch nicht um Perfektionismus geht, sondern nur der Demonstrationseffekt zählt.

Im Online Covington Tester kannst du Covingtons Tokenizer direkt online ausprobieren...

Die folgende Liste enthält einige Beispiele von möglichen Eingaben in den Tokenizer:

- on-line
- teddy bear
- l'auto
- Was hälts du z.B. davon?
- (inkl. Versandspesen)

Überlege dann anhand der Ausgabe, was der Tokenizer leistet und was nicht.
 

Instruktionen zum Gebrauch des Tokenizers auf dem eigenen Computer

- Lade den Programmcode des Tokenizers in die working directory deines Prologs
- Starte Sicstus Prolog und konsultiere das Programm (consult(X); [X].)
- Starte das Programm mit "eingabe(Resultat)".
 

Programmcode

Bemerkungen zum output
 
 
 

Seitenanfang               Laboratorium               Tokenizer                Startseite