Toni Arnolds Tokenizer


Den Online Toni-Arnolds-Tokenizer kannst du direkt online ausprobieren!

Toni Arnolds Tokenizer liest Dateien ein und schreibt seine Ausgabe wiederum in eine Datei. Wir haben nun das Eingabeprozedere für deine Experimente vereinfacht. Du kannst diesen Tokenizer also ohne Probleme testen. An dieser Stelle sei aber bereits gesagt, dass ein Abkürzungenmodul zwar bereits angelegt ist, zurzeit aber noch nicht richtig funktioniert.

Einige Beispiele für Eingaben:

- mehrere Sätze
- Daten
- Uhrzeiten
- Telefonnummern
- Währungsangaben
- E-Mail-Adressen
 

Instruktionen zum Gebrauch des Tokenizers

- Lade alle Dateien mit Programmcode des Tokenizers in die working directory deines Prologs
- Ersetze in der Datei ta_consult_all.prolog alle Pfade mit dem Pfad deiner working directory
- Starte Sicstus Prolog und konsultiere das Programm (consult('ta_consult_all.prolog'))
- Starte das Programm mit "start."
- Eine Dokumentation zu Toni Arnolds Tokenizer findest du hier.
 

Programmcode

Bemerkungen zum output
 

Seitenanfang            Laboratorium              Tokenizer               Startseite