Zu beachten ist, dass der Tokenizer von Covington Satzgrenzen nicht erkennt, denn er schreibt den Input in eine fortlaufende Liste. Darum ist dieser Tokenizer für kompliziertere Anwendungen unbrauchbar. Für unsere (Demonstrations-)Zwecke reicht er aber.
Im Weiteren ist zu
beachten, dass die eingegebenen Hochkommata (') als ° ausgegeben werden.
Der Grund dafür ist der, dass das Hochkomma in Prolog ein bereits
definiertes Zeichen ist.