Laboratorium
Das Laboratorium soll anregen zu eigenen
Experimenten mit einem Tokenizer. Im Folgenden sind zwei unterschiedliche
Tokenizer zu finden. Einen eher einfachen und
einen eher komplexen. Schau dir beide an und teste
sie. Bei beiden findest du noch Bemerkungen von unserer Seite
Diesen Tokenizer lernst du später auch
noch in der Einführungsvorlesung zu den Programmiertechniken
in der Computerlinguistik kennen. Er wurde von uns ein wenig abgeändert
und verarbeitet nun auch verschiedene Sonderzeichen richtig. Er eignet
sich vor allem für die Demonstration der Darstellungsweise von einigen
Spezialfällen wie Abkürzungen. Alles weiter findest du hier.
Dieser Tokenizer wurde uns freundlicherweise
von Toni Arnold zur Verfügung gestellt und ist ein sehr komplexes
Gebilde. Auch wenn noch nicht alle Teile einwandfrei funktionieren, kann
er doch einen Eindruck vermitteln, wie ein "richtiger" Tokenizer arbeiten
müsste. Alles weitere findest du hier.