BLEU

BLEU (bilingual evaluation understudy) ist ein Maß zur automatischen Bewertung der Qualität von Texten, die aus einer natürlichen Sprache in eine andere maschinell übersetzt wurden. Qualität wird dabei als Übereinstimmung zwischen der Ausgabe einer Maschine und einer oder mehreren von Menschen erstellten Referenzübersetzungen aufgefasst: „Je näher eine maschinelle Übersetzung an einer professionellen menschlichen Übersetzung ist, desto besser ist sie“ – das ist die zentrale Idee hinter BLEU.

BLEU wurde 2001 am IBM Thomas J. Watson Research Center als Forschungsbericht vorgestellt und 2002 auf der Konferenz der Association for Computational Linguistics veröffentlicht. Es war eine der ersten Metriken, die auf Korpus- bzw. Systemebene eine hohe Korrelation mit menschlichen Qualitätsurteilen beanspruchen konnte. Verständlichkeit, Bedeutungsäquivalenz oder grammatische Korrektheit werden nicht unmittelbar bewertet; BLEU vergleicht lediglich Überlappungen zwischen dem maschinell übersetzten Text und manuell erstellten Referenzübersetzungen.

Mathematische Definition

Grundlegendes

BLEU vergleicht einen Kandidaten (die maschinelle Übersetzung) mit mehreren Referenzübersetzungen. Der BLEU-Wert liegt zwischen 0 und 1. Je näher der Wert bei 1 liegt, desto größer ist die Übereinstimmung zwischen Kandidat und Referenzen. Die Zählungen werden satzweise ermittelt, aber über den gesamten Testkorpus aufsummiert.

Ein n-Gramm ist eine Folge von $n$ aufeinanderfolgenden Token (üblicherweise Wörtern). Ein 1-Gramm (Unigramm) ist etwa „der“ oder „Lehrer“, ein 2-Gramm (Bigramm) „der Lehrer“. Als Standard (BLEU-4) werden n-Gramme bis $n=4$ verwendet.

Modifizierte n-Gramm-Präzision

Gezählt wird zunächst, wie viele n-Gramme des Kandidaten in mindestens einer der Referenzen vorkommen, dies wird geteilt durch die Zahl der im Kandidaten vorkommenden n-Gramme (für $n=1$ also die Zahl der Wörter). Mehrfach im Kandidaten vorkommende n-Gramme werden dabei nur so oft gezählt wie sie auch in mindestens einer der Referenzen mehrfach vorgefunden werden (Clipping).

Kürzungsstrafe

Zu lange Kandidaten werden bereits bestraft, weil überzählige n-Gramme, für die keine Übereinstimmung mit den Referenzen gefunden wurde, den Nenner des Bruchs erhöhen.

Um auch zu kurze Kandidaten zu bestrafen, gibt es eine multiplikative Kürzungsstrafe (englisch brevity penalty, BP).

Es sei

• $c$ die Gesamtlänge des Kandidatenkorpus (Summe der Tokenzahlen über alle Kandidatensätze),
• $r$ die effektive Referenzlänge: Pro Kandidatensatz wird die Länge derjenigen Referenz gewählt, die der Kandidatenlänge am nächsten liegt (best match length); diese Längen werden über den Korpus summiert. Bei Gleichstand in der Längendifferenz wird üblicherweise die kürzere der infrage kommenden Referenzen genommen.

Dann ist der Faktor für die Kürzungsstrafe:

$BP={\begin{cases}1,&{\text{wenn }}c\geq r,\\[0.4em]\exp {\bigl (}1-{\tfrac {r}{c}}{\bigr )},&{\text{wenn }}c<r.\end{cases}}$

Definition von BLEU

BLEU ist das mit der Kürzungsstrafe multiplizierte gewichtete geometrische Mittel der modifizierten n-Gramm-Präzisionen.

Es sei:

• $N$ die höchste berücksichtigte n-Gramm-Ordnung,
• $p_{n}$ die modifizierten n-Gramm-Präzisionen,
• $w_{n}$ positive Gewichte mit $\sum _{n}w_{n}=1$,
• $BP$ die Kürzungsstrafe.

Dann ist das BLEU-Maß definiert als:

$\mathrm {BLEU} =BP\cdot \exp \left(\sum _{n=1}^{N}w_{n}\log p_{n}\right)$ (Ist eines der $p_{n}$ gleich 0, wird BLEU ohne Glättung üblicherweise als 0 definiert.)

Im Originalartikel von Papineni et al. ist $N=4$; die Gewichte sind alle gleich $w_{1}=\cdots =w_{4}={\tfrac {1}{4}}$. Dann gilt

$\mathrm {BLEU} =BP\cdot {\bigl (}p_{1}\,p_{2}\,p_{3}\,p_{4}{\bigr )}^{1/4}.$

Berechnung

BLEU am Beispiel

Folgendes Beispiel veranschaulicht die Schritte zur Berechnung des BLEU-Wertes für einen einzelnen Satz:

Kandidat	Die die die Katze sitzt auf dem Baum.
Referenz 1	Die Katze sitzt seit heute Morgen auf dem toten Baum.
Referenz 2	Die Katze sitzt auf dem toten Baum.

1. Vorverarbeitung:

Im Originalpapier ist Kleinschreibung (case folding) die einzige genannte Normalisierung. In der Praxis (NIST, Moses, SacreBLEU) werden zusätzlich Satzzeichen tokenisiert. Für das Beispiel werden Kleinbuchstaben verwendet und der Satzendepunkt nicht als Token gezählt.

Kandidat	die die die katze sitzt auf dem baum
Referenz 1	die katze sitzt seit heute morgen auf dem toten baum
Referenz 2	die katze sitzt auf dem toten baum

Damit ist die Kandidatenlänge $c=8$. Referenz 1 hat 10 Token, Referenz 2 hat 7 Token.

2. n-Gramme:

Der Kandidat wird in 1- bis 4-Gramme zerlegt.

1-Gramme	2-Gramme	3-Gramme	4-Gramme
die	die die	die die die	die die die katze
die	die die	die die katze	die die katze sitzt
die	die katze	die katze sitzt	die katze sitzt auf
katze	katze sitzt	katze sitzt auf	katze sitzt auf dem
sitzt	sitzt auf	sitzt auf dem	sitzt auf dem baum
auf	auf dem	auf dem baum
dem	dem baum
baum

3. Clipping:

Die Zählung jedes n-Gramms im Kandidaten wird auf die höchste Häufigkeit begrenzt, in der es auch in einer Referenz vorkommt. Im Beispiel kommt das Unigramm „die“ im Kandidaten dreimal vor, in jeder Referenz aber nur einmal. Also wird „die“ auch nur einmal bei der Zählung der Übereinstimmungen berücksichtigt.

4. Berechnung der modifizierten n-Gramm-Präzision:

Berechnet wird jeweils:

$p_{n}={\frac {\text{Summe der geclippten Zählungen}}{\text{Gesamtzahl der n-Gramm-Vorkommen im Kandidaten}}}$

In den Tabellen stehen die n-Gramme mit ihren Häufigkeiten. Der Nenner von $p_{n}$ ist die Gesamtzahl der n-Gramme der jeweiligen Ordnung im Kandidaten (sozusagen die „Länge“ des Kandidaten)

Für 1-Gramme des Kandidaten:

1-Gramme	Anzahl im Kandidaten	Maximale Anzahl in einer Referenz	Geclippte Anzahl der Übereinstimmungen
die	3	1	1
katze	1	1	1
sitzt	1	1	1
auf	1	1	1
dem	1	1	1
baum	1	1	1
Summe	8		6

$p_{1}={\frac {6}{8}}=0{,}75$

Für 2-Gramme des Kandidaten:

2-Gramme	Anzahl im Kandidaten	Maximale Anzahl in einer Referenz	Geclippte Anzahl der Übereinstimmungen
die die	2	0	0
die katze	1	1	1
katze sitzt	1	1	1
sitzt auf	1	1	1
auf dem	1	1	1
dem baum	1	0	0
Summe	7		4

Das Bigramm „dem baum“ kommt in keiner Referenz vor.

$p_{2}={\frac {4}{7}}\approx 0{,}5714$

Für 3-Gramme des Kandidaten:

3-Gramme	Anzahl im Kandidaten	Maximale Anzahl in einer Referenz	Geclippte Anzahl der Übereinstimmungen
die die die	1	0	0
die die katze	1	0	0
die katze sitzt	1	1	1
katze sitzt auf	1	1	1
sitzt auf dem	1	1	1
auf dem baum	1	0	0
Summe	6		3

$p_{3}={\frac {3}{6}}=0{,}5$

Für 4-Gramme des Kandidaten:

4-Gramme	Anzahl im Kandidaten	Maximale Anzahl in einer Referenz	Geclippte Anzahl
die die die katze	1	0	0
die die katze sitzt	1	0	0
die katze sitzt auf	1	1	1
katze sitzt auf dem	1	1	1
sitzt auf dem baum	1	0	0
Summe	5		2

$p_{4}={\frac {2}{5}}=0{,}4$

5. Berechnung der Kürzungsstrafe (brevity penalty):

Der Kandidat hat die Länge $c=8$, die beiden Referenzen die Längen 7 und 10. 7 ist die Referenzlänge mit dem kleinsten Abstand zu $c=8$, also ist $r=7$.

Weil $c>r$ (8 > 7), gilt $BP=1$.

Wäre der Kandidat kürzer als $r$, wäre $BP=e^{1-r/c}<1$.

6. Zusammenführen der Ergebnisse:

Mit gleichen Gewichten $w_{n}=1/4$ ist das geometrische Mittel

$G=(p_{1}\cdot p_{2}\cdot p_{3}\cdot p_{4})^{1/4}=\left({\frac {3}{4}}\cdot {\frac {4}{7}}\cdot {\frac {1}{2}}\cdot {\frac {2}{5}}\right)^{1/4}=\left({\frac {3}{35}}\right)^{1/4}\approx 0{,}5411.$

$\mathrm {BLEU} =BP\cdot G=1\cdot 0{,}5411=0{,}5411.$

Zusammenfassung

(Quelle: )

1. Vorverarbeitung:

Die Texte werden normalisiert, zum Beispiel durch Kleinschreibung. Dies stellt sicher, dass Unterschiede in der Groß- und Kleinschreibung die Bewertung nicht beeinflussen.

2. n-Gramm-Übereinstimmung:

Die n-Gramme (Wortfolgen der Länge n) in der maschinellen Übersetzung und den Referenzübersetzungen werden gezählt. Dies ermöglicht einen detaillierten Vergleich der Übersetzungsqualität auf Wortebene.

3. Clipping:

Die Zählungen der n-Gramme in der maschinellen Übersetzung werden auf das Maximum begrenzt, das in den Referenzen vorkommt. Dies verhindert, dass übermäßige Wiederholungen von Wörtern zu einer künstlich hohen Genauigkeit führen.

4. Berechnung der modifizierten n-Gramm-Genauigkeit:

Die Anzahl der geclippten n-Gramme wird durch die Gesamtanzahl der n-Gramme in der maschinellen Übersetzung geteilt. Dies gibt eine proportionale Genauigkeit der maschinellen Übersetzung im Vergleich zu den Referenzen an.

5. Berechnung der Kürzungsstrafe (brevity penalty):

Die Länge der maschinellen Übersetzung wird im Verhältnis zur nächsten Referenzlänge bestimmt. Dies stellt sicher, dass die Übersetzung nicht zu kurz und somit möglicherweise unvollständig ist.

6. Zusammenführen der Ergebnisse:

Der BLEU-Score wird durch die gewichtete geometrische Mittelung der logarithmierten modifizierten n-Gramm-Genauigkeiten und das Multiplizieren mit der Kürzungsstrafe berechnet. Dies liefert den endgültigen BLEU-Score, der die Gesamtqualität der maschinellen Übersetzung im Vergleich zu den Referenzen angibt.

Interpretation

Zu beachten ist, dass BLEU-Werte nur bei gleichem Testdatensatz, gleicher Referenzanzahl, gleicher Tokenisierung und gleichem Sprachpaar vergleichbar sind.

Eine allgemeingültige Skala für BLEU-Werte gibt es nicht. Google Cloud nennt als grobe, herstellerspezifische Orientierung folgende Bereiche:

BLEU-Wert	Interpretation
0–0,1	Fast unbrauchbar
0,1–0,2	Schwierig, das Wesentliche zu verstehen
0,2–0,3	Das Wesentliche ist verständlich, aber es gibt erhebliche Grammatikfehler
0,3–0,4	Verständliche bis gute Übersetzungen
0,4–0,5	Hochwertige Übersetzungen
0,5–0,6	Sehr hochwertige, adäquate und flüssige Übersetzungen
0,6–1,0	Qualität oft besser als menschliche Übersetzungen

Die Tabelle ist eine herstellerspezifische Faustregel, keine kalibrierte Skala. Je nach Aufgabenstellung können deutlich andere Werte sinnvoll sein.

Es ist wichtig zu beachten, dass ein hoher BLEU-Score nicht immer eine perfekte Übersetzung garantiert, da BLEU nur die Übereinstimmung der n-Gramme bewertet und keine semantischen oder kontextuellen Aspekte berücksichtigt. Deshalb sollte BLEU in Kombination mit anderen Metriken und menschlichen Bewertungen verwendet werden. BLEU unterscheidet nicht zwischen Inhalts- und Funktionswörtern.

Anwendungsbeispiele

• Maschinelle Übersetzung: Systemvergleich und Entwicklung stützten sich über Jahre auf BLEU.
• Bildbeschreibung: BLEU wurde zur Bewertung automatisch generierter Bildbeschreibungen genutzt.
• Andere Aufgaben zur automatischen Sprachgenerierung: BLEU wurde auch für Textzusammenfassung und ähnliche Generierungsaufgaben vorgeschlagen, korreliert dort jedoch oft nur schwach mit menschlichen Urteilen.

Kritik

BLEU korrelierte in frühen Studien gut mit menschlichen Einschätzungen und blieb lange ein Standard für die Bewertung von Übersetzungen. Es gibt jedoch wesentliche Einschränkungen:

• BLEU unterscheidet nicht zwischen Inhalts- und Funktionswörtern und erfasst Bedeutung und Grammatik nur indirekt über n-Gramme.
• Eine höhere BLEU-Punktzahl ist weder notwendig noch hinreichend für bessere Übersetzungsqualität; BLEU erlaubt sehr viele Varianten mit gleichem Score, die unterschiedlich gut sind.
• BLEU hängt stark von Tokenisierung und Normalisierung ab; veröffentlichte Werte sind ohne diese Parameter nicht vergleichbar.
• Für Sprachen ohne klare Wortgrenzen (etwa Chinesisch oder Japanisch) ist wortbasiertes BLEU von der Segmentierung abhängig. Denoual und Lepage schlagen daher zeichenbasiertes BLEU vor, nicht weil diese Sprachen „komplexer“ wären, sondern weil Wörter dort keine unmittelbare Texteinheit sind.
• Synonyme und Paraphrasen ohne n-Gramm-Überlappung werden nicht beachtet.
• Satz- und Diskurskontext jenseits des gewählten $n$ spielen keine Rolle.
• Die Qualität und Zahl der Referenzen beeinflussen den Wert stark.
• BLEU ist als Korpusmetrik für einzelne Sätze ungeeignet; Ohne zusätzliche Maßnahmen („Glättung“) wird Satz-BLEU-4 bereits dann 0, wenn für eine der berücksichtigten n-Gramm-Ordnungen, etwa die 4-Gramme, keine einzige Übereinstimmung mit den Referenzen gefunden wird.

Um Vergleichbarkeit zu verbessern, entwickelte Matt Post SacreBLEU: Die Tokenisierung erfolgt metrik-intern (WMT-Schema, Standardtokenizer 13a), gängige Testdaten werden kanonisch geladen, und eine Signatur dokumentiert alle Parameter.

Literatur

• Papineni, K., Roukos, S., Ward, T., Zhu, W. J.: BLEU: a method for automatic evaluation of machine translation. ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, 2002, S. 311–318 (aclweb.org [PDF]). 
• Papineni, K., Roukos, S., Ward, T., Henderson, J., Reeder, F.: Corpus-based Comprehensive and Diagnostic MT Evaluation: Initial Arabic, Chinese, French, and Spanish Results. Proceedings of Human Language Technology 2002, San Diego 2002, S. 132–137 (mt-archive.info [PDF]). 
• Callison-Burch, C., Osborne, M., Koehn, P.: Re-evaluating the Role of BLEU in Machine Translation Research. 11th Conference of the European Chapter of the Association for Computational Linguistics: EACL 2006, 2006, S. 249–256 (jhu.edu [PDF]). 
• Doddington, G.: Automatic evaluation of machine translation quality using n-gram cooccurrence statistics. Proceedings of the Human Language Technology Conference (HLT), San Diego, CA 2002, S. 128–132 (nist.gov [PDF]). 
• Coughlin, D.: Correlating Automated and Human Assessments of Machine Translation Quality. MT Summit IX, New Orleans, USA 2003, S. 23–27 (mt-archive.info [PDF]). 
• Denoual, E., Lepage, Y.: BLEU in characters: towards automatic MT evaluation in languages without word delimiters. Companion Volume to the Proceedings of the Second International Joint Conference on Natural Language Processing, 2005, S. 81–86 (mt-archive.info [PDF]). 
• Lee, A., Przybocki, M.: NIST 2005 machine translation evaluation official results. 2005. 
• Lin, C., Och, F.: Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics. Proceedings of the 42nd Annual Meeting of the Association of Computational Linguistics, 2004 (mt-archive.info [PDF]). 
• Madnani, N.: iBLEU: Interactively Scoring and Debugging Statistical Machine Translation Systems. Proceedings of the Fifth IEEE International Conference on Semantic Computing (Demos), Palo Alto, CA 2011, S. 213–214 (ieee.org). 
• Chen, X., Fang, H., Lin, T. Y., Vedantam, R., Gupta, S., Dollár, P., Zitnick, C. L.: Microsoft COCO captions: Data collection and evaluation server. 2015, arxiv:1504.00325. 

Weblinks

• SacreBLEU (Referenzimplementierung mit metrik-interner Tokenisierung)