4.3.  Satzendeerkennung

Bei der Abtrennung der Interpunktionszeichen stellt die Behandlung des Punktes aufgrund seiner Ambiguität zwischen Satzende-Kennzeichner und Abkürzungspunkt das augenfälligste Problem dar: Erstens ist es nicht trivial, eine Abkürzung als solche zu erkennen und zweitens übernimmt der Punkt nicht selten doppelte Funktion (statt “etc..” am Satzende nur “etc.”).

Würden die Interpunktionszeichen generell zuerst abgetrennt, müssten Abkürzungspunkte explizit wieder aufgrund bestimmter Prinzipien angefügt werden (übrig blieben per default die Satzendepunkte).

Eine einfache Heuristik für eine solche Erkennung von Satzendepunkten ist die folgende:

• Trenne Punkte nicht ab,
  • wenn sie unmittelbar einem alphanumerisches Zeichen vorangehen (wie in URLs oder Zeitangaben (22.08))
  • wenn sie direkt auf eine bekannte Abkürzung folgen (wie in Dr. oder etc.)
  • wenn ihnen ein Kleinbuchstabe oder ein Satzzeichen folgt (wie in abgegeb., oder Friedr. von).
• Ansonsten trenne sie ab.

Hiermit werden allerdings Punkte in Ordinalzahlen (1. Schweizer Kongress) nicht erfasst und auch die Satzendeerkennung nicht zufriedenstellend behandelt. Die oben vorgestellte Option, zunächst eine Menge verschiedener Ausdrücke zu erkennen, hat z.B. für das Erkennen von Abkürzungen den weiteren Vorteil, dass eine entsprechende Abkürzungsliste verwendet werden kann (wofür intervenierende newlines eher hinderlich sind).

Die Satzendeerkennung lässt sich ausserdem verbessern, wenn das Lexikon verwendet wird: Folgt auf einen Punkt ein Wort in Grossschreibung, das im Lexikon nicht als Nomen vorkommt, so liegt sehr wahrscheinlich ein Satzende vor.

In diesem Fall kann die folgende Heuristik angenommen werden:

• Trenne Punkte nicht ab,
  • wenn ihnen ein Kleinbuchstabe oder ein Satzzeichen folgt (wie in abgegeb., oder Friedr. von) und isoliere das Token als bislang nicht erkannte Abkürzung.
  • Füge einen Satzendepunkt hinzu, wenn auf eine Abkürzung ein Wort in Grossschreibung folgt, das im Lexikon nicht als Nomen vorkommt
• Ansonsten trenne sie ab.

Diese Heuristik leidet “nur” noch unter der notorischen Unvollständigkeit von Listen (in diesem Fall von der Abkürzungsliste).

Schliesslich bietet sich eine statistisch basierte Behandlung dieser Aufgaben an, die zunächst Information über mögliche Abkürzungen, Satzanfänge, Wörter vor und hinter Zahlen und Endungen von Wörtern (s. z.B. Berghangstr.) anhand grosser Korpora analysiert und diese dann auf konkrete Texte anwendet.