Testen

[ Weiter ] [ Zurück ] [ Zurück (Seitenende) ] [ Seitenende ] [ Überkapitel ] [ Bitte Skript-Fehler melden ]

11.3. Testen

11.3.1. Fehlertypen

Typische Fehlertypen

Fehlende Analysen (sin of omission)

Möglicher Grund I: Das System kennt das zugrundeliegende Lemma gar nicht: lexikalische Lücke .
Möglicher Grund II: Das System hat Fehler im Lexikon oder den Regeln und liefert gewisse Analysen/Wortformen nicht (partial analysis/generation failure): Linguistischer Fehler im System.

Falsche Analysen (sin of commission)

Das System erzeugt falsche Wortformen und/oder falsche Analysen: Übergenerierung bzw. Überanalyse.

Welche Gründe kommen in Frage?

11.3.2. Testmethoden

Testmethoden

Manuelles Testen

Während dem Entwickeln werden in der Entwicklungsumgebung kleine Anfragen mit apply gemacht.

Kleine Experimente dienen zur Veriﬁkation von Ansätzen.

Automatisches Testen

Systematisches Testen auf Vollständigkeit bzw. hohe Abdeckung und Korrektheit mit Hilfe der Laufzeit-Applikation (lookup) oder xfst und lexikalischen Testressourcen.

Reine Text-Korpora helfen beim Verbessern der Abdeckung, indem fehlende Analysen von häuﬁgen Wortformen ergänzt werden.
Manuell validierte Analyseresultate sind die einzige Möglichkeit, die Korrektheit zu verbessern. Validiertes (und korrigiertes) Material kann für automatische Regressions-Tests im Entwicklungsprozess eingesetzt werden.

Regressions-Test

Deﬁnition 11.3.1 (engl. regression test). Ein Regressionstest ist in der Softwareentwicklung ein Durchlauf von Testfällen durch ein System und einem Vergleich mit abgelegten korrekten Resultaten. Man bezweckt damit das Aufspüren von Nebenwirkungen, welche auf Grund von Modiﬁkationen (Pﬂege, Änderung, Korrektur) von Software allenfalls eingeführt worden sind. Regressionstests werden meist vollständig automatisiert durchgeführt und evaluiert.

Abdeckungstestszenario im UNIX-Stil ▸▸▸

Testkorpus nehmen
Simples Tokenisieren zu vertikalisiertem Text
Morphologische Analyse machen
Unanalysierbare Wortformen ﬁltern
Nur Wortform in 1. Spalte ausgeben
Alphabetisches Sortieren
Format Häuﬁgkeit-Wortform erzeugen
Numerisches Sortieren (Häuﬁgstes zuoberst)

$ cat mycorpus.txt | \
  tr -sc "[:alpha:]" "[\n*]" | \
  lookup mylanguage.fst | \
  grep ’+?’ | \
  gawk ’{print $1}’ | \
  sort | \
  uniq -c | \
  sort -rnb > failures.sorted

Hinweis: Das Symbol | in der UNIX-Shell lenkt den Output eines Werkzeugs um als Input des nachfolgenden Werkzeugs – so braucht es keine Zwischendateien. Der \ an Zeilenenden erlaubt einen langen Befehl auf mehreren Zeilen einzugeben.

Weitere Test- und Optimierungsmethoden

Automatisches Überprüfen des Alphabets und der lexikalischen Grammatik mit Hilfe von xfst
Abgleich mit den Analysen von anderen Morphologiesystemen (auch von früheren Versionen desselben Systems)
Abgleich des Lexikons mit anderen lexikalischen Ressourcen auf der Ebene der Lemmata
Häuﬁgkeitstest über grossen Korpora (z.B. Web) mit Hilfe von Suchmaschinen-Anfragen
...

[ Weiter ] [ Zurück ] [ Zurück (Seitenende) ] [ Seitenbeginn ] [ Überkapitel ] [ Bitte Skript-Fehler melden ]