Ist Übersetzungsqualität noch wichtig?
Wenn Sie nach der Qualität eines KI-Übersetzungsdienstes fragen, wird Ihnen wahrscheinlich jemand eine Zahl nennen. Meistens handelt es sich dabei um eine Zahl auf einer Skala von 0 bis 100. Oft wird sie mithilfe einer der gängigen Formeln zur Bewertung der Übersetzungsqualität berechnet. So entsteht der Eindruck einer einfachen, objektiven und eindeutigen Aussage darüber, welcher Anbieter die „beste“ Übersetzung liefert. Und mit ziemlicher Sicherheit werden die Übersetzungen des Anbieters, mit dem Sie gerade im Gespräch sind, ganz oben stehen. Nach Jahrzehnten des Mantras „Daten sind das A und O“ wissen wir mittlerweile, dass Daten so interpretiert werden können, wie es am besten zur Geschichte passt, die jemand erzählen möchte.
Ich will ehrlich sein. Wenn Sie DeepL nach der Übersetzungsqualität fragen, erhalten Sie dieselbe Antwort. Wir werden Ihnen die ausführliche Studie zur Qualitätsbewertung vorstellen, die wir im März anhand von 48.000 Blindtests mit Sprachexperten durchgeführt haben. Sie zeigte, dass DeepL in 94 % der Testgruppen über 16 Sprachpaare hinweg sowie gegenüber allen fünf großen Wettbewerbern, einschließlich aller leistungsstärksten LLMs, die Nase vorn hatte. Dafür müssen wir uns nicht entschuldigen.
Allerdings gibt es etwas, das niemand in der KI-Übersetzungsbranche gerne zugibt. Es ist eine unbequeme Wahrheit, die jedes Mal unter den Teppich gekehrt wird, wenn Testergebnisse veröffentlicht werden. Wir messen Qualitätsunterschiede, die immer kleiner werden. So gering, dass manche sogar argumentieren könnten, dass sie keine Rolle mehr spielen.
Mittlerweile sind alle KI-Übersetzungen von geschriebenen Texten im Allgemeinen gut. Es gibt nur wenige Fehler, die ein Laie auf den ersten Blick erkennen würde. Die Unterschiede sind gering, subtil und letztlich ziemlich subjektiv. Das ist zum Teil der Grund dafür, dass es so viele unterschiedliche Rankings gibt und dass führende Modelle leicht ein Ranking finden können, das sie begünstigt.
Wenn Sie sich also für einen Anbieter von KI-Übersetzungen entscheiden, sollten Sie dann weiterhin auf Qualität als Unterscheidungsmerkmal achten? Ich bin der Meinung, dass Sie das sollten. Allerdings ist die Qualität, wie sie in Testergebnissen gemessen wird, nicht das, worauf es wirklich ankommt.
Es besteht eine zunehmende Diskrepanz zwischen der Leistung von KI-Übersetzungen in standardisierten Qualitätstests und ihrer tatsächlichen Leistung in der Praxis – für Ihr Unternehmen und für Ihre Inhalte. In einem Test wirken die Qualitätsunterschiede gering. In der Praxis sind die Unterschiede weitaus größer und haben konkrete Auswirkungen auf Ihr Business.
Was Qualitätsprüfungen für KI-Übersetzungen messen
Um zu erklären, was ich damit meine, schauen wir uns genauer an, was standardisierte Qualitätstests tatsächlich messen, wie sie es messen und – am wichtigsten – was sie dabei nicht berücksichtigen.
Wenn menschliche Sprachexperten eine Übersetzung bewerten, verwenden sie in der Regel das MQM-Framework (Multidimensional Quality Metrics), das acht verschiedene Dimensionen der Übersetzungsqualität umfasst. Indem man diesen verschiedenen Dimensionen Kennzahlen zuordnet und festlegt, wie sie gewichtet werden sollen, lässt sich eine Formel erstellen, die die Qualität mathematisch durch einen einzigen Zahlenwert darstellt.
Zu den Dimensionen des MQM gehören die Genauigkeit (wie präzise eine Übersetzung in der Zielsprache den Inhalten eines Originaltextes in der Ausgangssprache entspricht), aber auch Aspekte wie der Lesefluss der Übersetzung (wie natürlich die Übersetzung in der Zielsprache klingt), fachspezifische Terminologie (ob Fachbegriffe korrekt wiedergegeben werden), wie gut der Stil widergespiegelt wird, ob lokale Konventionen eingehalten werden und vieles mehr.
Was die verschiedenen Formeln zur Bewertung der Übersetzungsqualität bedeuten
Die Bewertung von Übersetzungen durch erfahrene Sprachexperten ist kompliziert und kostspielig. In der Praxis beruhen viele der Rankings zur Übersetzungsqualität von KI-Anbietern meist nicht auf einer Bewertung durch Menschen. Stattdessen nutzen sie eines der folgenden automatisierten Bewertungssysteme. Im Laufe der Jahre sind diese Systeme immer ausgefeilter geworden.
- Im Jahr 2001 führte IBM BLEU (Bilingual Evaluation Understudy) ein. BLEU analysiert, wie genau eine maschinelle Übersetzung mit einer von Menschen erstellten Übersetzung desselben Ausgangstextes übereinstimmt. Das Problem? Es wird davon ausgegangen, dass diese Referenzübersetzung die bestmögliche Übersetzung darstellt und jede Abweichung davon ein Fehler ist.
- 2006 wurde dieser Ansatz für die Bewertung Translation Edit Rate (TER) angepasst. Dabei wird gezählt, wie viele Änderungen ein menschlicher Übersetzer vornehmen müsste, um die maschinelle Übersetzung in eine menschliche Übersetzung umzuwandeln. TER ähnelt BLEU, doch in diesem System sind niedrigere Werte besser.
- Unbabel führte im Jahr 2020 COMET (Crosslingual Optimized Metric for Evaluation of Translation) ein. Dabei wird ein neuronales Netzwerk verwendet, um eine maschinelle Übersetzung sowohl mit einer menschlichen Übersetzung als auch mit dem Ausgangstext zu vergleichen. Es bezieht sich auf den Ausgangstext, um die Bedeutung zu erfassen – was bei BLEU und TER nicht der Fall ist.
- Mit der Einführung von GEMBA (GPT Estimation Metric Based Assessment) im Jahr 2023 hielt die automatisierte Bewertung Einzug in das LLM-Zeitalter. LLMs werden dazu aufgefordert, die verschiedenen MQM-Dimensionen auf eine Übersetzung anzuwenden und deren Qualität zu bewerten.
Die automatisierte Übersetzungsbewertung hat sich weiterentwickelt und ist immer nützlicher geworden, kann jedoch dem Urteil menschlicher Experten noch immer nicht ganz gerecht werden. Wenn LLMs die Hauptlast der Qualitätsbewertung übernehmen, besteht die Gefahr einer systematischen Voreingenommenheit: Sie bevorzugen konsequent Übersetzungen, die von ihrem eigenen Modell erzeugt wurden – selbst wenn diese weniger genau sind. Das liegt zum Teil an der subjektiven Natur der Übersetzungsqualität. Im Grunde bewertet ein KI-Modell hier seine eigenen Übersetzungsaufgaben und entscheidet, dass seine eigene Lösung die beste war.
Die WMT25, die zehnte Ausgabe einer jährlichen Konferenz zur automatisierten Bewertung, kam zu einem sehr eindeutigen Schluss: „Systeme, die bei automatisierten Metriken die besten Ergebnisse erzielten, schnitten bei der Bewertung durch Menschen nicht durchweg besser ab, was auf anhaltende Verzerrungen der Metriken hindeutet und bestätigt, dass die menschliche Bewertung weiterhin das letzte Wort bei der Übersetzungsqualität haben sollte.“
Anders gesagt: Wenn Sie wirklich wissen möchten, wie gut eine Übersetzung ist, fragen Sie einen menschlichen Experten – so wie DeepL es bei unseren Benchmark-Tests tut. Je geringer die Unterschiede bei der Qualität von KI-Übersetzungen werden, desto wertvoller wird das menschliche Urteilsvermögen, wenn es darum geht, all die verschiedenen Aspekte gegeneinander abzuwägen. Qualitätsunterschiede sind nicht mehr offensichtlich. Zumindest nicht in den üblichen Qualitätstests.
Was Qualitätstests für Übersetzungen nicht erfassen: Kontext, Vorhersagbarkeit und Konsistenz
Wie bereits erwähnt, entspricht die in Tests gemessene Übersetzungsqualität nicht der Qualität, die Sie in der Praxis erleben – insbesondere dann nicht, wenn Sie Übersetzungs- und Lokalisierungsprozesse in einem komplexen Unternehmen koordinieren. Tatsächlich sind es gerade die Aspekte der Übersetzungsqualität, die in diesen Tests nicht gemessen werden, die den größten Einfluss auf Ihr Business haben.
Die meisten der in diesem Blog erwähnten Frameworks und Bewertungssysteme sind „analytisch“. Sie funktionieren oft durch den Vergleich von „Segmenten“ des Ausgangs- und des übersetzten Textes, bei denen es sich in der Regel lediglich um einzelne Sätze handelt. Zudem bewerten sie die Übersetzungsqualität jedes Satzes isoliert, als hätte er nichts mit anderen Sätzen im Text zu tun.
Unsere tatsächliche Erfahrung mit übersetzten Inhalten sieht ganz anders aus. Sie ist „ganzheitlich“. Sie umfasst nicht nur den Satz, den wir gerade lesen, sondern den gesamten Text, zu dem er gehört. Dazu gehört auch jede andere Form der Kommunikation, die wir von einem Unternehmen erhalten. In dieser ganzheitlichen Realität ist die Qualität eines einzeln übersetzten Satzes wohl weniger wichtig als die Konsistenz und Kohärenz der Übersetzungen insgesamt.
Jedes Unternehmen hat seinen eigenen charakteristischen Wortschatz: Begriffe und Formulierungen für Produkte und Funktionen, Unternehmensbereiche, Aspekte des Kundenservice, strategische Konzepte und vieles mehr. Die konsistente Übersetzung dieser Begriffe ist entscheidend für die Übersetzungsqualität. Wenn eine Übersetzung im Hilfecenter nicht mit den Begriffen übereinstimmt, die auf Produkten oder Call-to-Action-Schaltflächen verwendet werden, ist die Übersetzungsqualität mangelhaft. Es spielt keine Rolle, ob die einzelnen Übersetzungen technisch korrekt sind oder nicht.
Wenn eine KI-Übersetzungsplattform Terminologie, Stil und Ton in großem Maßstab konsistent festlegt und umsetzt – wie DeepL mit Glossaren, Stilregeln und Translation Memorys –, wird sie dadurch wesentlich wertvoller. Im Gegensatz dazu führt die grundlegende Funktionsweise großer, universell einsetzbarer LLMs (Claude, Gemini, ChatGPT) zu Einbußen bei Determinismus, Regelkonformität und Konsistenz. Damit fehlt ihnen das, worauf es in der Praxis bei der Übersetzungsqualität wirklich ankommt.
Was bei Qualitätstests für Übersetzungen übersehen wird: Wie Qualität erzielt wird
Standardisierte Qualitätstests für Übersetzungen berücksichtigen auch nicht, wie die Qualität erzielt wird und wie gut sich dieser Ansatz tatsächlich skalieren lässt.
DeepLs eigene Blindtests mit menschlichen Sprachexperten zeigen, dass die neuesten universell einsetzbaren LLMs bei Einstellungen für intensiveres Schlussfolgern bei bestimmten Sprachpaaren eine konkurrenzfähige Übersetzungsqualität erzielen können. Dafür verwenden sie jedoch größere Modelle, einen breiteren Aufgabenbereich und größere Kontextfenster.
Das bedeutet, dass sie viele Tokens verbrauchen (mit unvorhersehbaren Kosten) und deutlich länger brauchen (mindestens viermal und bis zu 29-mal langsamer). Das hat erhebliche Auswirkungen, wenn Sie KI-Übersetzungen über eine API in Produkte integrieren. Am wichtigsten für die Qualität ist jedoch, dass die von ihnen gewählten Übersetzungen grundsätzlich weniger vorhersehbar sind. Im Grunde erfinden sie für jede Aufgabe das Rad der Übersetzung neu. Daher ist es viel unwahrscheinlicher, dass die Begriffe und Formulierungen, die sie in einem Kontext verwenden, in einem anderen wieder auftauchen.
Wenn Sie Übersetzungen im großen Maßstab in Ihrem Unternehmen einsetzen, ist genau das der Qualitätsfaktor, auf den Sie besonders achten sollten. Qualitätstestergebnisse sagen darüber so gut wie nichts aus, was für Sie wirklich nützlich wäre.
Warum wir eine ganzheitliche Sicht auf Qualität entwickeln, bei der Sie die Kontrolle behalten
Aus diesen Gründen sind automatisierte Testergebnisse nur bedingt geeignet, um die Qualität von Übersetzungen zu beurteilen. Das bedeutet jedoch nicht, dass sie kein äußerst nützliches Instrument sein können, wenn es darum geht, die Kontrolle über die Qualität Ihrer Übersetzungen zu übernehmen. Sie sind sogar äußerst wertvoll, wenn man ihre Rolle anders definiert.
Bei DeepL haben wir ein neues Modell für die Qualitätsbewertung von Übersetzungen (Translation Quality Evaluation, TQE) entwickelt, das ein speziell dafür entwickeltes KI-Modell nutzt, um die Qualität von DeepL-Übersetzungen zu bewerten. Entscheidend ist jedoch, dass es nicht einfach nur eine Punktzahl für die Übersetzung liefert und dann weitermacht. Seine Aufgabe besteht darin, potenzielle Fehler und Bereiche einer Übersetzung aufzuzeigen, die durch die Einbindung Ihrer Sprachexperten verbessert werden können. Es berücksichtigt, dass letztlich das menschliche Urteilsvermögen entscheidend ist.
Wenn unser TQE-Modell einen Text analysiert, bezieht es dabei alle Anpassungsfunktionen ein, die Sie bei DeepL verwenden. Es betrachtet die Übersetzungsqualität nicht isoliert. Es prüft, wie die Terminologie, der Stil und der Ton Ihres Unternehmens im Kontext umgesetzt werden. So erhalten Sie die ganzheitliche Sicht auf Qualität, die in der Praxis wirklich zählt.
Wenn Ihnen die Übersetzungsqualität am Herzen liegt – und ich glaube, das sollte sie nach wie vor –, dann ist das die Sicht auf Qualität, auf die es tatsächlich ankommt. Es geht nicht um Tests. Es geht darum, die Perspektive auf Übersetzungsqualität zu finden, die für Sie die richtige ist und in der Praxis für Ihre Inhalte funktioniert.