Czy nadal warto zwracać uwagę na jakość tłumaczeń?
Gdy zapytasz o jakość dowolnej usługi tłumaczeniowej opartej na AI, w odpowiedzi prawdopodobnie zostanie podana jakaś liczba, zazwyczaj w skali do 100. Często jest ona obliczana przy użyciu jednego ze standardowych wzorów służących do oceny jakości tłumaczeń. Będzie to wyglądało na prostą, obiektywną i ostateczną ocenę tego, który dostawca oferuje „najlepsze” tłumaczenia. I prawie na pewno na samym szczycie listy znajdą się tłumaczenia właśnie tego dostawcy, z którym rozmawiasz. Po dziesięcioleciach powtarzania mantry „dane są najważniejsze” wiemy dziś, że dane można interpretować w sposób, który najlepiej odpowiada narracji autora.
Będę szczera. Jeśli zapytasz DeepL o jakość tłumaczeń, otrzymasz taką samą odpowiedź. Podzielimy się z Tobą szczegółową analizą porównawczą jakości, którą przeprowadziliśmy w marcu w ramach 48 000 ślepych testów z udziałem ekspertów językowych. Wyniki pokazały, że DeepL wygrał w 94% grup testowych w 16 parach językowych, pokonując wszystkich pięciu głównych konkurentów, w tym wszystkie najpotężniejsze modele LLM. Nie będziemy mieć z tego powodu żadnych wyrzutów sumienia.
Jest jednak coś, do czego nikt z branży tłumaczeń AI nie chce się przyznać. To niewygodna prawda, którą zamiata się pod dywan za każdym razem, gdy publikowane są wyniki testów. Różnice w jakości nieustannie się zmniejszają. Są tak niewielkie, że według niektórych nie mają już żadnego znaczenia.
Obecnie wszystkie tłumaczenia tekstów generowane przez AI są ogólnie dobre. Można w nich znaleźć niewiele błędów, które laik dostrzegłby na pierwszy rzut oka. Różnice są marginalne, subtelne i dość subiektywne. To częściowo wyjaśnia, dlaczego istnieje tak wiele różnych rankingów i dlaczego twórcom czołowych modeli łatwo znaleźć taki, który stawia ich model w korzystnym świetle.
W takim razie czy podczas poszukiwań dostawcy tłumaczeń opartych na AI wciąż należy traktować jakość jako decydujący czynnik? Uważam, że tak, ale nie należy skupiać się na jakości mierzonej wynikami testów.
Coraz większa jest rozbieżność między wynikami tłumaczeń AI w standaryzowanych testach jakości a tym, jak dobrze sprawdzają się one w rzeczywistych zastosowaniach W testach różnice w jakości są marginalne. W rzeczywistości są one znacznie większe i mają bardzo realny wpływ na działalność firmy.
Co mierzą testy jakości tłumaczeń opartych na AI
Aby wyjaśnić, o co mi chodzi, przyjrzyjmy się bliżej temu, co faktycznie mierzą standardowe testy jakości, w jaki sposób to mierzą i – co najważniejsze – czego nie uwzględniają.
Kiedy lingwiści oceniają tłumaczenie, zazwyczaj korzystają z modelu MQM (Multidimensional Quality Metrics), który obejmuje osiem różnych wymiarów jakości tłumaczenia. Przypisując poszczególnym wymiarom odpowiednie wskaźniki i określając ich wagi, można stworzyć wzór, który matematycznie wyraża jakość tłumaczenia w postaci pojedynczego wyniku liczbowego.
Wymiary modelu MQM obejmują dokładność (jak precyzyjnie tłumaczenie na język docelowy odpowiada treści tekstu oryginalnego w języku źródłowym), ale także takie elementy, jak płynność tłumaczenia (jak naturalnie brzmi tłumaczenie w języku docelowym), terminologia branżowa (czy poprawnie użyto terminów specjalistycznych), stopień odzwierciedlenia stylu, zgodność z lokalnymi konwencjami i wiele innych.
Co oznaczają różne wzory oceny jakości tłumaczenia
Ocena tłumaczeń przez ekspertów językowych jest procesem złożonym i kosztownym. W praktyce wiele rankingów jakości tłumaczeń, którymi chwalą się dostawcy rozwiązań AI w ogóle nie opiera się na ocenie dokonywanej przez ludzi. Zamiast tego stosuje się jeden z poniższych zautomatyzowanych systemów punktacji. Z biegiem lat systemy te stały się coraz bardziej zaawansowane.
- W 2001 roku firma IBM wprowadziła system BLEU (Bilingual Evaluation Understudy). Służy on do analizy stopnia zgodności tłumaczenia maszynowego z tłumaczeniem tego samego tekstu źródłowego wykonanym przez człowieka. W czym tkwi problem? System ten zakłada, że tłumaczenie człowieka jest najlepszym możliwym tłumaczeniem, a każde odstępstwo od niego to błąd.
- W 2006 roku system ten został dostosowany do metody TER (Translation Edit Rate), w której zlicza się liczbę poprawek, jakie tłumacz musiałby wprowadzić, aby przekształcić tłumaczenie maszynowe w tłumaczenie ludzkie. TER jest podobne do BLEU, ale w tym systemie niższe wartości oznaczają lepszy wynik.
- W 2020 roku firma Unbabel wprowadziła system COMET (Crosslingual Optimized Metric for Evaluation of Translation), który wykorzystuje model sieci neuronowej do porównywania tłumaczenia maszynowego zarówno z tłumaczeniem wykonanym przez człowieka, jak i z tekstem źródłowym. COMET odwołuje się do tekstu źródłowego, próbując ustalić znaczenie, czego nie robią BLEU i TER.
- W 2023 roku, wraz z uruchomieniem GEMBA (GPT Estimation Metric Based Assessment), automatyczna ocena jakości tłumaczeń wkroczyła w erę LLM. GEMBA wydaje modelom LLM polecenie, aby oceniły tłumaczenie pod kątem poszczególnych wymiarów MQM i na tej podstawie określiły jego jakość.
Automatyczna ocena tłumaczeń stała się coraz bardziej użyteczna, ale wciąż nie dorównuje ludzkiej ocenie dokonywanej przez ekspertów. Gdy modele LLM przejmują główny ciężar oceny jakości, pojawia się problem stronniczości – modele konsekwentnie faworyzują tłumaczenia wygenerowane przez siebie, nawet jeśli tym tłumaczeniom brakuje dokładności. Częściowo wynika to z subiektywnego charakteru jakości tłumaczenia. W efekcie model AI sam ocenia swoje tłumaczenie i uznaje, że jego własne rozwiązanie było najlepsze.
WMT25, dziesiąta edycja corocznej konferencji poświęconej automatycznej ocenie, doprowadziła do bardzo jednoznacznego wniosku w tej kwestii: „Systemy, które osiągały najlepsze wyniki w automatycznych ocenach jakości, nie zawsze zwyciężały w ocenie dokonywanej przez ludzi, co wskazuje na utrzymującą się stronniczość wskaźników i potwierdza, że to ocena człowieka powinna pozostać ostatecznym wyznacznikiem jakości tłumaczenia”.
Innymi słowy, jeśli chcesz poznać prawdziwą jakość tłumaczenia, zapytaj eksperta (tak jak robi to DeepL w naszych testach porównawczych). W miarę jak różnice w jakości tłumaczeń opartych na AI stają się coraz mniejsze, coraz większego znaczenia nabiera ludzka ocena tego, jak wyważyć wszystkie poszczególne elementy. Różnice w jakości nie są już tak oczywiste. Przynajmniej nie w standardowych testach jakości.
Czego brakuje w testach jakości tłumaczeń: kontekst, determinizm i spójność
Jak już wspomniałam, jakość tłumaczenia mierzona w testach nie jest tożsama z jakością tłumaczenia, z jaką mamy do czynienia w praktyce, zwłaszcza gdy zarządzamy tłumaczeniami i lokalizacją w złożonej organizacji. W rzeczywistości to właśnie te aspekty jakości tłumaczenia, których testy nie mierzą, mają największy wpływ na działalność przedsiębiorstw.
Większość wspomnianych przeze mnie w tym artykule modeli i systemów oceniania ma charakter „analityczny”. Często działają one poprzez porównywanie „segmentów” tekstu źródłowego i tłumaczenia, którymi zazwyczaj są po prostu pojedyncze zdania. Oceniają też jakość tłumaczenia każdego zdania w oderwaniu od pozostałych, tak jakby nie miało ono żadnego związku ze zdaniami znajdującymi się w innych częściach tekstu.
W praktyce odbiór przetłumaczonych treści wygląda zupełnie inaczej. Jest „holistyczny”. Obejmuje nie tylko zdanie, które akurat czytamy, ale cały tekst, którego jest częścią. Obejmuje też każdą inną formę komunikacji, z jaką mamy do czynienia ze strony danej organizacji. W tej holistycznej rzeczywistości jakość pojedynczego przetłumaczonego zdania ma prawdopodobnie mniejsze znaczenie niż spójność i koherencja całego przetłumaczonego tekstu.
Każda organizacja ma swoje własne, charakterystyczne słownictwo: terminologię i zwroty dotyczące produktów i funkcji, obszarów działalności, aspektów obsługi, koncepcji strategicznych i nie tylko. Spójne tłumaczenie tych terminów stanowi istotny element jakości tłumaczenia. Jeśli tłumaczenie w Centrum pomocy nie jest zgodne z terminami występującymi w produktach lub na przyciskach, oznacza to, że jakość tłumaczenia jest niska. Nie ma znaczenia, czy poszczególne tłumaczenia są technicznie poprawne, czy nie.
Kiedy platforma tłumaczeniowa oparta na AI pozwala określać terminologię, styl i ton na dużą skalę (tak jak robi to DeepL za pomocą glosariuszy, reguł stylu i pamięci tłumaczeniowych), staje się o wiele bardziej wartościowa. Natomiast zasadniczo probabilistyczny charakter modeli LLM ogólnego przeznaczenia (Claude, Gemini, ChatGPT) oznacza rezygnację z determinizmu, zgodności z wytycznymi i spójności. A to właśnie te cechy decydują o rzeczywistej jakości tłumaczenia.
Czego nie uwzględniają testy jakości tłumaczeń: jak osiąga się wysoką jakość
Standardowe testy jakości tłumaczeń nie uwzględniają również tego, w jaki sposób osiągana jest wysoka jakość ani na ile można ją rzeczywiście skalować.
Własne ślepe testy przeprowadzone przez DeepL z udziałem ekspertów pokazują, że najnowsze modele LLM ogólnego przeznaczenia, przy ustawieniach wysokiego poziomu rozumowania, mogą zapewnić konkurencyjną jakość tłumaczeń w przypadku określonych par językowych. Robią to jednak przy użyciu większych modeli, szerszego zakresu zadań i większych okien kontekstowych.
Oznacza to, że zużywają mnóstwo tokenów (co wiąże się z nieprzewidywalnymi kosztami) i działają znacznie wolniej (co najmniej 4 razy, a nawet do 29 razy wolniej), co ma ogromne znaczenie, jeśli wdrażasz tłumaczenie AI w produktach za pośrednictwem API. Co najważniejsze z punktu widzenia jakości, modele te są z natury mniej przewidywalne pod względem wybieranych tłumaczeń. W zasadzie na nowo wymyślają proces tłumaczenia dla każdego zadania, przez co terminy i sformułowania użyte w jednym kontekście znacznie rzadziej pojawiają się ponownie w innym.
W przypadku tłumaczeń na skalę przedsiębiorstwa jest to aspekt, na który należy zwrócić szczególną uwagę. Wyniki testów jakości niemal w ogóle go nie odzwierciedlają.
Dlaczego opracowujemy holistyczne podejście do jakości, które daje klientom kontrolę
Z tych powodów wyniki automatycznych testów są bardzo ograniczonym wskaźnikiem jakości tłumaczeń. Nie oznacza to jednak, że nie mogą one być niezwykle przydatnym narzędziem pozwalającym kontrolować jakość tłumaczeń. W rzeczywistości są one niezwykle cenne, jeśli inaczej zdefiniuje się ich rolę.
W DeepL stworzyliśmy nowy model oceny jakości tłumaczenia (TQE, Translation Quality Evaluation), który ocenia jakość tłumaczeń DeepL za pomocą specjalnie zaprojektowanego modelu AI. Co jednak kluczowe, nie ogranicza się on tylko do wystawienia tłumaczeniu „oceny”. Jego rolą jest wskazanie potencjalnych błędów oraz fragmentów tłumaczenia, które można poprawić dzięki zaangażowaniu ekspertów. Model ten uznaje, że to właśnie ludzka ocena ma ostatecznie największe znaczenie.
Kiedy nasz model TQE analizuje tekst, bierze pod uwagę wszystkie opcje personalizacji, których używasz w DeepL. Nie analizuje jakości tłumaczenia w oderwaniu od kontekstu. Sprawdza, jak w danym kontekście zastosowano terminologię, styl i ton charakterystyczne dla Twojej organizacji. Zapewnia holistyczne spojrzenie na jakość, które ma rzeczywiste znaczenie.
Jeśli zależy Ci na jakości tłumaczenia – a uważam, że nadal powinno Ci na tym zależeć – to właśnie na tym aspekcie należy się skupić. Nie chodzi o testy. Chodzi o znalezienie takiego spojrzenia na jakość tłumaczenia, które będzie dla Ciebie odpowiednie i sprawdzi się w praktyce.