Měli byste se stále zajímat o kvalitu překladu?
Když se zeptáte na kvalitu jakékoli služby využívající AI k překladu, nejspíš dostanete odpověď v podobě čísla. Obvykle jde o číslo na stupnici do 100. Často se vypočítává pomocí některého ze standardních vzorců pro hodnocení kvality překladu. Působí to jako jednoduchý, objektivní a jednoznačný ukazatel toho, který poskytovatel nabízí „nejlepší“ překlady. A téměř jistě se na prvním místě objeví překlady od poskytovatele, se kterým právě mluvíte. Po desetiletích opakování mantry „data jsou král“ už také víme, že data lze interpretovat tak, jak se to jejich prezentujícímu nejvíce hodí.
Budu upřímná. Když se na kvalitu překladu zeptáte DeepL, dostanete stejnou odpověď. Podělíme se s vámi o výsledky důkladné srovnávací analýzy kvality, kterou jsme provedli v březnu na základě 48 000 slepých testů za účasti jazykových odborníků a odbornic. DeepL v nich zvítězil v 94 % testovacích skupin napříč 16 jazykovými kombinacemi a předčil všech pět hlavních konkurentů, včetně všech nejvýkonnějších velkých jazykových modelů. Nemáme důvod se za to omlouvat.
Existuje však něco, co nikdo v oblasti překladu pomocí AI nerad přiznává. Je to nepříjemná pravda, která se při zveřejňování výsledků testů zametá pod koberec. Měříme rozdíly v kvalitě, které se neustále zmenšují. Dokonce natolik, že by se dalo tvrdit, že už na nich nezáleží.
V současnosti jsou všechny překlady psaných textů vytvořené AI obecně kvalitní. Chyb, kterých by si laik všiml na první pohled, je málo. Rozdíly jsou nepatrné, spočívají v jemných nuancích a jsou poměrně subjektivní. I proto existuje tolik různých žebříčků a přední modely snadno najdou takový, který jim hraje do karet.
Měli byste tedy při výběru poskytovatele překladů využívajících AI stále zohledňovat kvalitu jako rozhodující faktor? Podle mě ano, ale kvalita vyjádřená výsledky testů není ve skutečnosti to, na co byste se měli zaměřit.
Rozdíl mezi tím, jak si překlady vytvořené AI vedou ve standardizovaných testech kvality, a tím, jak fungují v praxi ve vaší organizaci a u vašeho obsahu, se stále prohlubuje. V testech se rozdíly v kvalitě jeví jako zanedbatelné. Ve skutečném světě jsou rozdíly mnohem větší a mají velmi reálný dopad na podnikání.
Co měří testy kvality překladu pomocí AI
Aby bylo jasné, co tím myslím, podívejme se blíže na to, co standardizované testy kvality vlastně měří, jak to měří a především, co nezohledňují.
Když lingvisté a lingvistky hodnotí překlad, obvykle používají rámec MQM (Multidimensional Quality Metrics), který zahrnuje osm různých hledisek kvality překladu. Přiřazením metrik k těmto hlediskům a stanovením jejich váhy lze vytvořit vzorec, který kvalitu matematicky vyjádří jediným číselným skóre.
Mezi hlediska rámce MQM patří přesnost, tedy nakolik překlad do cílového jazyka odpovídá obsahu původního textu ve zdrojovém jazyce, ale také prvky, jako je plynulost překladu, tedy jak přirozeně text v cílovém jazyce působí, správné používání oborové terminologie, zachování stylu, dodržování místních zvyklostí a další.
Co znamenají různé vzorce pro hodnocení kvality překladu
Hodnocení překladů jazykovými odborníky a odbornicemi je složité a nákladné. V praxi mnoho žebříčků kvality překladů, které se vztahují k poskytovatelům AI, lidské hodnocení vůbec nevyužívá. Místo toho používají některý z následujících automatizovaných hodnoticích systémů. Tyto systémy se v průběhu let postupně zdokonalovaly.
- V roce 2001 představila společnost IBM systém BLEU (Bilingual Evaluation Understudy). Ten analyzuje, do jaké míry se strojový překlad shoduje s lidským překladem stejného zdrojového textu. V čem je problém? Předpokládá, že tento referenční překlad je nejlepším možným překladem a jakákoli odchylka od něj představuje chybu.
- V roce 2006 byl tento systém upraven pro hodnocení pomocí metriky Translation Edit Rate (TER), která počítá počet úprav, jež by překladatel musel provést, aby se strojový překlad shodoval s lidským. Podobá se metrice BLEU, v tomto systému však platí, že čím nižší číslo, tím lepší.
- Společnost Unbabel představila v roce 2020 metriku COMET (Crosslingual Optimized Metric for Evaluation of Translation), která pomocí modelu neuronové sítě porovnává strojový překlad jak s lidským překladem, tak se zdrojovým textem. Při určování významu vychází také z původního textu, což metriky BLEU ani TER nedělají.
- Do éry velkých jazykových modelů vstoupilo automatizované hodnocení v roce 2023 se zavedením metriky GEMBA (GPT Estimation Metric Based Assessment), která vede velké jazykové modely k tomu, aby na překlad uplatnily různá hlediska rámce MQM a vyhodnotily jeho kvalitu.
Automatizované hodnocení překladů je díky svému vývoji stále užitečnější, stále se však nedokáže zcela vyrovnat úsudku odborníků a odbornic. Když velké jazykové modely převezmou hlavní část posouzení kvality, narážejí na problém zaujatosti, kdy soustavně upřednostňují překlady vytvořené jejich vlastním modelem, i když nejsou zcela přesné. Částečně je to dáno subjektivní povahou kvality překladu. Model AI si v podstatě známkuje vlastní překladatelský domácí úkol a rozhoduje, že právě jeho řešení bylo nejlepší.
Desátý ročník konference o automatizovaném hodnocení WMT25 v této věci dospěl ke zcela jasnému závěru: „Systémy, které dosahovaly nejlepších výsledků v automatizovaných metrikách, nezískávaly při hodnocení lidmi vždy nejlepší výsledky, což poukazuje na přetrvávající zaujatost metrik a potvrzuje, že konečným měřítkem kvality překladu by mělo zůstat lidské hodnocení.“
Jinými slovy, pokud se chcete skutečně dozvědět, jak kvalitní překlad je, zeptejte se lidského odborníka nebo odbornice (jak to dělá DeepL ve svých srovnávacích testech). S tím, jak se rozdíly v kvalitě překladů vytvořených AI zmenšují, nabývá na významu lidský úsudek o tom, jak správně vyvážit všechny jednotlivé prvky. Rozdíly v kvalitě již nejsou zřejmé. Alespoň ne ve standardních testech kvality.
Co testy kvality překladu opomíjejí: kontext, předvídatelnost a konzistentnost
Jak jsem však již zmínila, kvalita překladu naměřená v testech není totéž jako kvalita, se kterou se setkáte v praxi, zejména pokud řídíte překlady a lokalizaci ve složitě strukturované organizaci. Největší dopad na podnikání mají ve skutečnosti právě ta hlediska kvality překladu, která testy neměří.
Většina rámců a hodnoticích systémů, o kterých se v tomto článku zmiňuji, je „analytická“. Často fungují na principu porovnávání „segmentů“ původního a přeloženého textu, což jsou obvykle jednotlivé věty. Kvalitu překladu každé věty navíc posuzují samostatně, jako by nijak nesouvisela s ostatními větami v textu.
Naše skutečná zkušenost s přeloženým obsahem je ale úplně jiná. Je „celostní“. Zahrnuje nejen větu, kterou právě čteme, ale celý text, jehož je součástí. Zahrnuje také veškerá další sdělení dané organizace, se kterými se setkáváme. V této celostní realitě je kvalita jednotlivě přeložené věty pravděpodobně méně důležitá než konzistentnost a soudržnost přeloženého obsahu jako celku.
Každá organizace má svou vlastní charakteristickou slovní zásobu: terminologii a pojmenování produktů a jejich funkcí, oblastí podnikání, jednotlivých aspektů služeb, strategických konceptů a dalších prvků. Konzistentní překlad těchto pojmů je klíčovým aspektem kvality překladu. Pokud překlad v centru nápovědy neodpovídá pojmům použitým v produktech nebo na tlačítkách s výzvou k akci, je kvalita překladu nízká. Nezáleží na tom, zda jsou jednotlivé překlady technicky správné.
Pokud platforma pro překlad pomocí AI dokáže určovat terminologii, styl a tón i ve velkém měřítku, jako to dělá DeepL pomocí glosářů, pravidel stylu a překladových pamětí, její hodnota výrazně roste. Naproti tomu obecně zaměřené velké jazykové modely, jako jsou Claude, Gemini nebo ChatGPT, kvůli své principiálně pravděpodobnostní povaze obětují předvídatelnost, dodržování pravidel a konzistentnost. Přicházejí tak o to, na čem při hodnocení kvality překladu v praxi skutečně záleží.
Co testy kvality překladu opomíjejí: jak se kvality dosahuje
Standardní testy kvality překladu se rovněž nezabývají tím, jak se určité úrovně kvality dosahuje ani nakolik je takový přístup skutečně škálovatelný.
Vlastní slepé testy DeepL prováděné za účasti odborníků a odbornic ukazují, že nejnovější obecně zaměřené velké jazykové modely mohou při nastavení vysoké úrovně uvažování u konkrétních jazykových kombinací dosahovat konkurenceschopné kvality překladu. Dělají to však pomocí větších modelů, širšího záběru úloh a rozsáhlejších kontextových oken.
To znamená, že spotřebovávají velké množství tokenů, a tedy přinášejí nepředvídatelné náklady, a zároveň potřebují mnohem více času: jsou nejméně čtyřikrát a až devětadvacetkrát pomalejší. To má zásadní dopad, pokud překlady pomocí AI zavádíte do produktů prostřednictvím API. Z hlediska kvality je však nejdůležitější, že jejich výběr konkrétního překladu je ze své podstaty méně předvídatelný. Při každém úkolu v podstatě znovu vynalézají překladatelské kolo, a proto je mnohem méně pravděpodobné, že výrazy a formulace použité v jednom kontextu zopakují i v jiném.
Pokud překládáte v měřítku celé velké společnosti, právě tomuto aspektu kvality byste měli věnovat největší pozornost. Výsledky testů kvality vám o něm neřeknou téměř nic užitečného.
Proč rozvíjíme celostní pohled na kvalitu, díky kterému mají zákazníci překlady pod kontrolou
Z těchto důvodů jsou výsledky automatizovaných testů pouze velmi omezeným vodítkem při posuzování kvality překladu. To však neznamená, že nemohou být mimořádně užitečným nástrojem, pokud chcete mít kvalitu svých překladů pod kontrolou. Pokud jejich úlohu vymezíte jinak, mohou být ve skutečnosti nesmírně cenné.
V DeepL jsme vytvořili nový model posouzení kvality překladu (Translation Quality Evaluation neboli TQE), který k posouzení kvality překladů DeepL využívá speciálně vyvinutý model AI. Zásadní však je, že se neomezuje pouze na vygenerování „skóre“ pro daný překlad a tím to končí. Jeho úkolem je upozorňovat na možné chyby a části překladu, které lze vylepšit zapojením vašich odborníků a odbornic. Zohledňuje skutečnost, že právě lidský úsudek je v konečném důsledku rozhodující.
Když náš model pro posouzení kvality překladu (TQE) analyzuje text, přihlíží při tom ke všem funkcím přizpůsobení, které v DeepL používáte. Kvalitu překladu nehodnotí izolovaně. V příslušném kontextu kontroluje, jak se uplatňuje terminologie, styl a tón vaší organizace. Poskytuje celostní pohled na kvalitu, na kterém v praxi skutečně záleží.
Pokud vám na kvalitě překladů záleží, a podle mě by stále mělo, právě tomuto pohledu byste měli věnovat pozornost. Nejde o testy. Jde o to najít takový pohled na kvalitu překladu, který je pro vás ten pravý a funguje pro váš obsah v reálných podmínkách.