10.6.  Exkurs: BLEU-Score

Automatische Evaluation 

Idee

Automatische Evaluation misst die Qualität einer maschinellen Übersetzung, indem sie mit einer oder besser mehreren menschlichen Referenz-Übersetzungen verglichen wird.

Vorteile

Menschliche Evaluation ist aufwändig und langsam , automatische Berechnung einer metrischen Güte ist billig und schnell.

BLEU: Unigramm-Präzision 

1. MT: It is a guide to action which ensures that the military always obeys the commands of the party.
2. MT: It is to insure the troops forever hearing the activity guidebook that party direct.

1. HT: It is a guide to action that ensures that the military will forever heed Party commands.
2. HT: It is the guiding principle which guarantees the military forces always being under the command of the Party.
3. HT: It is the practical guide for the army always to heed the directions of the party.

Unigramm-Evaluation 

Frage

Wie hoch sind P₁ von MT1 und MT2?

Tokenvorkommen

• MT1: . a action always commands ensures guide is it military of party that the the the to which
• MT2: . is it party that the the to

Notwendigkeit für Clipping 

Problem der Wiederholung

• Kandidat: the the the the the the the
• HT1: the cat sat on the mat
• HT2: there is a cat on the mat

Wie hoch ist die P₁ des “idiotischen” Kandidaten?

Clipping der Kandidatenvorkommen

Ein Token darf maximal sooft gezählt werden, wie es in einer einzelnen Referenzübersetzung vorkommt. Wie hoch ist P₁ des Kandidaten mit Clipping?

Uni-, Bi-, Tri- und Quadrigramme 

Längere Textabschnitte im Vergleich

Welche N-Gramme aus den Referenztexten finden sich im MT-Kandidaten?

1. MT: It is a guide to action which ensures that the military always obeys the commands of the party.

1. HT: It is a guide to action that ensures that the military will forever heed Party commands.
2. HT: It is the guiding principle which guarantees the military forces always being under the command of the Party.
3. HT: It is the practical guide for the army always to heed the directions of the party.

Geometrisches Mittel der N-Gramm-Präzisionen

Die Precisionwerte der 1-4-Gramme eines Kandidaten werden geometrisch gemittelt :

Problem der Kürze

• Kandidat: of the
• HT1: It is the guiding principle which guarantees the military forces always being under the command of the Party.

Wie hoch ist die P₁ des Kandidaten?

Recall-Mass kompensieren

Normalerweise würde ein Präzisionsmass mit Recall verrechnet, um solche Effekte zu mindern. Wir haben aber mehrere Referenzübersetzungen. Als Ausweg wird ungewöhnliche Kürze des Kandidaten bestraft.

Strafabzug für Kürze über Korpus 

1. Schritt: Bestimme die Gesamt-Länge c der Kandidatenübersetzung.
2. Schritt: Bestimme die Gesamt-Länge r der Referenzübersetzungen, indem jeweils die kürzeste (NIST-Variante) oder zur höchsten Bewertung führende Referenzübersetzung genommen wird.
3. Schritt: Bestimme Kürze: brevity = r∕c
4. Schritt: Bestimme Strafabzug (brevity penalty):

BLEU als Formel 
BLEU-Score ergibt sich aus Multiplikation von Brevity Penalty mit der geometrisch gemittelten Präzision aus 1-4-Grammen.

Eigenschaften

BLEU betont enge lokale Übereinstimmung und vernachlässigt Unstimmigkeiten, welche sich darüber hinaus ergeben können:“Ensures that the military it is a guide to action which always obeys the commands of the party.” wäre gleich gut wie Kandidat 1.

Wie zuverlässig bildet BLEU das menschliches Urteil ab? 

• Wortvarianz (Synonyme) wird nur berücksichtigt, wenn in Referenzübersetzungen enthalten
• Unwichtige und wichtige Inhalts-Wörter werden gleich behandelt
• Für denselben BLEU-Score gibt es Millionen von Kombinationen mit unterschiedlichster Übersetzungsqualität
• Regelbasierte Übersetzungssysteme werden gegenüber statistischen gerne abgestraft