15.3.  Evaluation

Segment- und Klassifikationsfehler

Mangelhafte Segmentierung (noise)

• Termkandidat enthält teilweise nicht-terminologisches Material: “relevant normname”
• Termkandidat enthält mehrere Termini: “normname and type”
• Termkandidat enthält Terminus nicht vollständig : von “WORK mode” wurde nur der Anfang in “return to WORK” gefunden

Falsche Klassifikation

• Termkandidat ist kein Terminus (noise): “according
• Vorhandener Terminus erzeugt keinen Termkandidaten (silence): “status messages”

15.3.1.  Kommerzielle Tools

Beispiel einer monolingualen TE-Evaluation
Vergleichende Studie von 3 kommerziellen TE-Tools [FLEISCHMANN 2002]

• Fachtexte : 2 englische Handbücher (total ca. 200 Seiten)
• Anwendungsbereich : Technische Redaktion/Software
• Tools :
  • Chamblon: Terminology Extractor 3.0: Einfaches Setup; nur Anzeigen, Sortieren, Exportieren; keine Validierung
  • Trados: ExtraTerm (2007: SDL MultiTermExtract): Setup-Assistenten; gut parametrierbar; Integration in Terminologieverwaltung; auch bilingual;
  • Xerox: Terminology Suite/TermFinder: (2007: eXtraction Terminology Suite): komplexes Interface; wenig parametrierbar; liefert Grundform; Validierung in Terminologieverwaltung; auch bilingual; ?

Noise und seine Beseitigung

Manuelle Validierung

• Entsorgen von Termkandidaten mit falscher Klassifikation
• Korrigieren von Termkandidaten mit mangelhafter Segmentierung
• Allenfalls auch Korrigieren/Ergänzen von terminologischer Information wie Fachgebiet etc.

Aufwand

• total: Trados 1.5h, Chamblon 3.0h, Xerox 4.7h
• pro korrektem Terminus: Trados 15s, Chamblon 20s, Xerox 23s. Vergleich: Mensch hat innert 1h 151 Termini gefunden, d.h. ca. 24 s/t

Silence und der Umgang damit

Manuelle Validierung der Vollständigkeit

würde die Verwendung von TE-Tools ad absurdum führen.

Stichproben

Studie: Menschlicher Annotator extrahiert während 1h Termini (ca. 20 Seiten Text)

Pragmatische Kompromisse

Benutzer sollte den Grad an Noise bzw. Silence parametrisieren können.

Evaluationen evaluieren (d.h. bewerten)
Wie objektiv sind solche Evaluationen?

• Strenger oder weiter Termbegriff beeinflusst Resultate
  • Eigennamen, Firmennamen, Produktbezeichnungen: “Lufthansa Frequent Flyer Program”, “MacOS X”
  • Umgang mit Abkürzungen, Zahlen, Akronyme, Formeln
  • Anwendungsspezifische textuelle Symbole: Software-Menu-Beschriftungen, Dateinamen, Systembefehle: “fgrep”
• Wie stark werden eingebettete Termini herausgelöst?
  • Sollen in “nuclear power plant” der Begriff “power plant” mitgezählt werden?

Weitere Kriterien für Nützlichkeit von TE-Tools

Validierungsprozess, Sprachunterstützung, Datenaustausch, Benutzfreundlichkeit, Parametrisierbarkeit, Mehrsprachigkeit, Arbeitsablauf