Echtzeit-Sprachübersetzung ist nicht einfach nur eine Übersetzung mit neuen Ein‑ oder Ausgabetypen. Sie stellt eine völlig neue, andere und spannende Herausforderung für die KI‑Forschung dar. Sie zielt darauf ab, eine neue Nutzererfahrung zu bieten, die die Prioritäten der Übersetzung verschiebt, neue Einschränkungen mit sich bringt und für die KI‑Modelle neue Formen der Schlussfolgerung und Entscheidungsfindung benötigen. 

Das ist die Herausforderung, der sich Sascha Brinker, Research Manager, und die Kristina Geißler, Research Scientist, als Teil unseres Forschungsteams im Bereich Sprachübersetzung stellen. Sie gehören zu der Gruppe, die das hochwertige KI‑Modell von DeepL für die Textübersetzung weiterentwickelt, um neue Maßstäbe bei der Echtzeit-Sprachübersetzung zu setzen. Auf diesen früheren Erfolgen bauen sie nun auf: mit neuen Modellen und Trainingstechniken, die völlig neue Möglichkeiten für mehrsprachige Echtzeit-Sprachübersetzung eröffnen.

Hochwertige Textübersetzungsmodelle als Grundlage

Wir hatten eine gute Ausgangsbasis: die Qualität und das Kontextverständnis des bestehenden Textübersetzungsmodells von DeepL. Das Voice‑Team dieses Modell genutzt und die Inferenzstrategie angepasst, um die Übersetzungsgeschwindigkeit zu steigern, und konnte so schon früh wichtige Fortschritte erzielen. Anschließend hat es maßgeschneiderte Modelle für die Sprachübersetzung entwickelt, die den optimalen Zeitpunkt für die Ausgabe von Übersetzungen erkennen können. Dabei hat das Team DeepLs Verständnis der Beziehungen zwischen Sprachkombinationen genutzt und neue Trainingsebenen angewendet. 

Ziel war es hierbei, das richtige Gleichgewicht zu finden: zwischen Latenz und Übersetzungsgeschwindigkeit – die entscheidend sind, damit Nutzer in Echtzeit dem Gespräch folgen und sich daran beteiligen können – und Präzision und Stabilität. Indem das Team dieses Gleichgewicht gemeistert hat, muss DeepL nicht bis zum Ende eines Satzes warten, bevor es ihn übersetzen kann. Gleichzeitig wird hierdurch das „Flackern“ minimiert, das auftritt, wenn Modelle gezwungen sind, bereits angezeigte Übersetzungen zu korrigieren. Diese Aspekte haben enormen Einfluss auf die Benutzerfreundlichkeit.

Wegfall der Transkriptionsphase

Die Anpassung und Weiterentwicklung unseres Textübersetzungsmodells hat uns weit gebracht. Das Ganze hat so gut funktioniert, dass Slator DeepL derzeit sowohl bei der Qualität als auch bei der Stabilität von Echtzeit-Sprachübersetzungen als klaren Marktführer einstuft. Und indem wir dafür sorgen, dass Text vor der Übersetzung nicht erst transkribiert werden muss, können wir unsere Lösungen noch weiter verbessern und beschleunigen. Das Team entwickelt derzeit Modelle, die übersetzte Sprachausgabe direkt aus Audioeingaben generieren können, ohne sie erst einmal im Text umzuwandeln.

Und wir können noch weitere Fortschritte erzielen, indem wir unserem Modell mehr Kontext zu den Gesprächen zur Verfügung stellen, die es übersetzt: worüber gesprochen wird, wer am Gespräch beteiligt ist und welche spezifischen Ausdrücke und Fachbegriffe dabei voraussichtlich verwendet werden. Das entspricht weitgehend der intensiven Arbeit, die hochkarätige menschliche Dolmetscher vor wichtigen Events oder Meetings leisten. Und genau wie diese Dolmetscher können unsere Modelle hierdurch das übersetzen, was jemand gleich sagen wird – und zwar ab dem Moment, in dem die Person das erste Wort ausspricht.

Neue Horizonte für die Sprachübersetzung

Diese neuen, direkten Speech‑to‑Speech-Modelle beseitigen einige der wichtigsten Einschränkungen, mit denen die Sprachübersetzung derzeit zu kämpfen hat, und eröffnen damit einige spannende neue Möglichkeiten.

Da Inhalte nicht erst in Text und nach der Übersetzung wieder in Sprache umgewandelt werden müssen, können wir ganze Sekunden bei der Bereitstellung einer gesprochenen Übersetzung einsparen. Und wenn es darum geht, Gesprächen in Echtzeit zu folgen, ist das eine sehr wichtige Beschleunigung, die große Auswirkungen auf die Benutzerfreundlichkeit haben wird – sowohl für Sprecher als auch für ihr Publikum.

Und das ist noch nicht alles: Die direkte Verarbeitung von Audioeingaben bedeutet, dass wir Modelle so trainieren können, dass sie Akzente, Dialekte und Nuancen in der menschlichen Sprache erkennen können. Dank zusätzlicher Inferenzzeit und umfassenderer Eingaben in Audioform können wir gesprochene Ausgaben erstellen, die die Emotionen und die tiefere Bedeutung dessen einfangen, was Menschen sagen.

Die Zukunft der KI‑gestützten Echtzeit-Sprachübersetzung ist nicht nur schneller, sondern auch menschlicher: Sie erfasst mehr sprachliche Ebenen, mit denen Menschen kommunizieren. So verwandelt sich DeepL von einer Übersetzungsengine zu einer Echtzeit-Sprachübersetzungsebene, die die natürlichste Form der menschlichen Kommunikation unterstützt – und zwar so, dass sprachliche Probleme einfach wegfallen. 

Das macht diesen Bereich zu einem der spannendsten Gebiete der KI‑Forschung bei DeepL.