Was bedeutet Vertrauen in KI‑Sprachtechnologie? Ein Gespräch mit Slator

Jede Ausschreibung im Bereich der Sprachtechnologie enthält eine „Vertrauensfrage“ und jeder Anbieter versucht, diese Frage gut zu beantworten. Sechs Monate nach der Inbetriebnahme läuft etwas schief: Die Daten befinden sich in der falschen Rechtsordnung, die Ausgabe hat sich nach einem Modell-Update verändert, das niemand erwähnt hat, oder die Kosten sind dreimal so hoch wie erwartet. Das heißt nicht, dass Ihr Anbieter Sie getäuscht hat – es heißt nur, dass die Begriffe „Vertrauen“ oder „Qualität“ für jede Person im Raum etwas anderes bedeuteten.

In einer kürzlich erschienenen Folge des Podcasts The New Fluency haben Slators Geschäftsführer Florian Faes und Head of Consulting Alex Edwards erläutert, was Unternehmenskunden tatsächlich meinen, wenn sie von „Vertrauen“ sprechen.

1. Vertrauen in die Genauigkeit: das Thema, nach dem jeder fragt

Genauigkeit ist der Ausgangspunkt jeder Diskussion über Vertrauen. Doch es ist auch der Punkt, bei dem es sich am wenigsten lohnt, Zeit zu investieren, weil sich die Messlatte längst verschoben hat:

„Vor vier Jahren hieß es immer: ‚Oh, das wurde von einer KI erstellt? Dann enthält es auf jeden Fall Fehler‘“, erklärt Florian. „Das allgemeine Vertrauen in die Ergebnisse von KI hat dramatisch zugenommen. Menschen vertrauen KI heute allgemein mehr, was bedeutet, dass sie auch KI‑Übersetzungen deutlich mehr vertrauen.“

Die Frage ist, ob die KI‑Ergebnisse für bestimmte Anwendungsfälle genau genug sind. Packungsbeilagen für Arzneimittel, eine von Nutzern verfasste Produktbewertung oder eine interne Zusammenfassung für Kollegen – jeder Anwendungsfall und jede Art von Inhalt umfasst andere Anforderungen an die Genauigkeit.

Kunden, die keinen konkreten Inhaltstyp angeben, laufen also Gefahr, die Qualität bei weniger wichtigen Inhalten zu hoch anzusetzen oder sie bei Inhalten, wo es wirklich darauf ankommt, zu niedrig anzusetzen.

2. Vertrauen in die Einheitlichkeit: das eigentliche Problem von Kunden in streng regulierten Branchen

Für Finanzdienstleister, Pharmaunternehmen und Rechtsabteilungen ist absolute Genauigkeit eine Selbstverständlichkeit. Alex beschreibt das Problem wie folgt:

„Wenn man mit Kunden aus streng regulierten Branchen spricht, liegt der Schwerpunkt oft stärker auf Einheitlichkeit und Zuverlässigkeit. Für diese Kunden ist es wahrscheinlich wichtiger, darauf vertrauen zu können, dass das, was Anbieter liefern, einheitlich und zuverlässig sein wird.“

Die Frage dreht sich also eher um das System als um das Ergebnis. Einem Anbieter, der sein Modell im zweiten Quartal aktualisiert hat, ohne Kunden darüber zu informieren, können Sie bei behördlichen Dokumenten nicht vertrauen.

3. Vertrauen in die Sicherheit: die Frage, die Geschäfte bei der InfoSec-Prüfung zum Scheitern bringt

Sobald Anbieter Ihre Daten erhalten, wo werden diese gespeichert? Wer kann sie einsehen? Alex erklärt hierzu:

„Das Vertrauen, dass lokalisierte Inhalte von Menschen erstellt wurden und nicht von Maschinen … diese Transparenz gegenüber Kunden ist wichtig, ebenso wie Nachvollziehbarkeit und Sicherheitsmaßnahmen. Und es hat auch Einfluss auf das Vertrauen – ebenso wie die Frage, wo Kundendaten gespeichert werden und wie der Anbieter damit umgeht.“

Dies ist die Anforderung, die erst spät zur Sprache kommt. Die funktionale Bewertung ist abgeschlossen, die Beteiligten sind sich einig, und dann stellt das InfoSec-Team eine Frage, an die vorher niemand gedacht hat. KI‑Anbieter bearbeiten heute Inhalte, die zuvor vor Ort oder durch streng regulierte Sprachdienstleister verarbeitet wurden, wodurch das Risiko steigt. Außerdem sind die Datenanforderungen der EU, der USA und des asiatisch-pazifischen Raums nicht deckungsgleich.

4. Vertrauen in Skalierung: „In der Demo funktioniert es“ ist keine Garantie

„Menschen müssen darauf vertrauen können, dass die KI‑Übersetzung flächendeckend funktioniert: Sie darf nicht nur ein Spielzeug sein oder nur in einer Demo oder einem Testprojekt funktionieren – sie muss auch dann funktionieren, wenn Sie Millionen von Wörtern übersetzen. Sonst kann es in der Produktion zu Ausfällen kommen.“

Florian fügte die Kostenaspekte hinzu, die von Kunden regelmäßig außer Acht gelassen werden:

„Wir haben von Fällen gehört, in denen Unternehmen im ersten Monat anderthalb Millionen Dollar für Claude-Token ausgegeben haben.“

Das ist für sich genommen kein Fehler des Anbieters, sondern ein Problem mit dem Vertrauen in die Skalierbarkeit: Der Kunde hat das Kostenmodell vor der Entscheidung nicht mit realen Zahlen getestet.

5. Vertrauen in das Ergebnis: die Anforderung, die die meisten Kunden gänzlich außer Acht lassen

„Viele Unternehmenskunden denken heute darüber nach, wie sich die Qualität auf die nachgelagerten Prozesse auswirkt: Wie hoch sind die Konversionsraten meiner übersetzten Websites? Es geht darum, die Vorteile der Qualität tatsächlich messen zu können – darum, die Auswirkungen und den Zusammenhang zwischen Qualität und geschäftlichen Ergebnissen zu verstehen.“

Die meisten Unternehmenskunden bewerten KI‑Sprachtechnologie anhand von Metriken zur Ausgabequalität, beispielsweise über Bewertungen der maschinellen Übersetzungsqualität oder über Prüfungsgremien. Sie messen jedoch selten, ob Unterschiede in der Übersetzungsqualität tatsächlich die geschäftlichen Ergebnisse beeinflussen. Was sie genauer unter die Lupe nehmen sollten, sind die Konversionsraten, die Entlastung des Kundensupports und die NPS‑Unterschiede zwischen Kunden, die Inhalte in der Muttersprache des Unternehmens nutzen, und solchen, die übersetzte Inhalte erhalten.

Kunden, die diese Messinfrastruktur jetzt aufbauen, können ihre Anbieter auf Grundlage realer Signale auswählen, nicht anhand von Annahmen.

„So ziemlich jeder Kunde betrachtet Genauigkeit als Grundvoraussetzung für Vertrauen“, erklärt Alex. „Aber es kommt darauf an, mit welchem Kunden Sie sprechen.“

Und genau das ist das Problem: Jeder Anbieter beantwortet die Qualitätsfrage anhand der Genauigkeit – denn das ist die Frage, die ihm gestellt wird. Die anderen vier Anforderungen bleiben unbeantwortet, bis sie irgendwann in der Produktion zum Vorschein kommen.

Die Lösung liegt nicht in einer besseren Ausschreibung, sondern darin, zu wissen, bei welchen dieser fünf Vertrauenskriterien Ihr Unternehmen keine Kompromisse eingehen will.

Sehen Sie sich jetzt die gesamte Folge an

Hier gehen Florian, Alex und Morana näher auf Experimente und Qualitätsframeworks ein und geben ihre Einschätzung dazu, wie die nächsten Jahre für die Lokalisierungsbranche aussehen werden. Sehen Sie sich die gesamte Folge auf YouTube an:Definition der Übersetzungsqualität im KI‑Zeitalter – mit Alex Edwards und Florian Faes von SlatorMöchten Sie mehr erfahren? Dann Sehen Sie sich die gesamte erste Staffel von The New Fluency auf unserem YouTube-Kanal an. Wie kann man 79 Milliarden Wörter pro Jahr lokalisieren? mit Mik Szajna von Booking.com

Entwicklung von AI‑First-Lokalisierungsprozessen mit Claudia Müller von Trusted Shops Überwindung der Komplexität mit einer produktorientierten Denkweise mit Olga Stokowiec von Maxon Schnelle Lieferung, noch schnellere Übersetzung mit María José Salmerón Ibáñez von GitLab

Markenaufbau über Kulturen hinweg mit CMO und Autorin Katherine Melchior Ray

Aufbau von Lokalisierungsengines für wachsende Unternehmen mit Riina Tolonen von headout