Bör man fortfarande bry sig om översättningskvaliteten?
Frågar man om kvaliteten på AI-översättningstjänster blir svaret ofta ett poängbetyg. Det är vanligtvis en siffra mellan 0 och 100. Det beräknas ofta med hjälp av en av standardformlerna för att rangordna översättningskvalitet. Det kan verka som en enkel, objektiv och definitiv bedömning av vilken leverantörs översättningar som är ”bäst”. Och det kommer nästan säkert att visa att översättningarna från den leverantör du pratar med ligger i topp. Efter årtionden av mantrat ”data ljuger inte” vet vi nu också att data kan tolkas på det sätt som passar berättaren bäst.
Jag ska vara ärlig. Om du frågar DeepL om översättningskvalitet får du samma svar. Vi delar gärna med oss av den djupgående kvalitetsjämförelseanalys som vi genomförde i mars med 48 000 blindtester med språkexperter, som visade att DeepL vann 94 % av testgrupperna i 16 språkpar och mot alla fem stora konkurrenter, inklusive alla de mest kraftfulla LLM:erna. Vi hymlar inte med detta.
Det finns dock något som ingen inom AI-översättning gärna vill erkänna. Det är en obekväm sanning som sopas under mattan varje gång testresultaten offentliggörs. Vi mäter kvalitetsskillnader som blir allt mindre. Så små, faktiskt, att vissa kanske hävdar att de inte längre spelar någon roll.
I dagsläget är alla AI-översättningar av skriftlig text generellt sett bra. De gör få fel som en lekman skulle upptäcka vid första anblicken. Skillnaderna är marginella, nyanserade och ganska subjektiva. Det är delvis därför det finns så många olika rankningar, och därför dom det är lätt för ledande modeller att hitta en rankning som gynnar just dem.
Så när du väljer en leverantör av AI-översättningar, bör du då fortfarande bry dig om kvalitet som en avgörande faktor? Det tycker jag absolut. Men kvalitet mätt i testresultat är inte riktigt det du bör fokusera på.
Det finns en växande skillnad mellan hur AI-översättning presterar i standardiserade kvalitetstester och hur den presterar i praktiken, för din organisation och för ditt innehåll. I ett test verkar kvalitetsskillnaderna marginella. I verkligheten är skillnaderna betydligt större, och de har mycket konkreta konsekvenser för företagen.
Vad kvalitetstesterna för AI-översättning mäter
För att förklara vad jag menar ska vi titta närmare på vad standardiserade kvalitetstester faktiskt mäter, hur de mäter det och, framför allt, vad de inte inkluderar.
När mänskliga lingvister utvärderar en översättning använder de vanligtvis MQM-ramverket (Multidimensional Quality Metrics), som omfattar åtta olika dimensioner av översättningskvalitet. Genom att koppla mätvärden till dessa olika dimensioner och välja hur de ska viktas kan man skapa en formel som matematiskt representerar kvaliteten genom ett poängtal.
MQM:s dimensioner omfattar noggrannhet (hur exakt en översättning till målspråket överensstämmer med innehållet i originaltexten på källspråket), men även faktorer som översättningens flyt (hur naturligt översättningen låter på målspråket), ämnesspecifik terminologi (om specialtermerna är korrekta), hur väl den återspeglar stilen, om den följer lokala konventioner och annat.
Vad de olika formlerna för översättningskvalitet innebär
Att anlita språkexperter för att utvärdera översättningar är komplicerat och kostsamt. I praktiken använder många av de översättningskvalitetsrankningar som kopplas till AI-leverantörer inte mänsklig utvärdering alls. Istället använder de något av följande automatiserade poängsystem. Med åren har dessa blivit allt mer sofistikerade.
- År 2001 introducerade IBM BLEU (Bilingual Evaluation Understudy). Det analyserar hur väl en maskinöversättning stämmer överens med en mänsklig översättning av samma källtext. Problemet? Det utgår från att denna referensöversättning är den bästa möjliga översättningen och att varje avvikelse från den är ett fel.
- År 2006 anpassades detta för utvärdering med Translation Edit Rate (TER), som räknar antalet redigeringar som en mänsklig översättare skulle behöva göra för att omvandla maskinöversättningen till en mänsklig översättning. Det liknar BLEU, men i detta system är lägre siffror bättre.
- Unbabel lanserade COMET (Crosslingual Optimized Metric for Evaluation of Translation) år 2020, där man använder en modell för neurala nätverk för att jämföra en maskinöversättning med både en mänsklig översättning och källtexten. Den hänvisar till originaltexten för att försöka uttyda betydelsen, vilket varken BLEU eller TER gör.
- Den automatiserade utvärderingen gick in i LLM-eran 2023 med lanseringen av GEMBA (GPT Estimation Metric Based Assessment), som uppmanar LLM:er att tillämpa de olika MQM-dimensionerna på en översättning och avgöra hur den presterar.
Den automatiserade översättningsutvärderingen har utvecklats och blivit allt mer användbar, men kan fortfarande inte helt mäta sig med bedömningen av mänskliga experter. När LLM-modellerna tar på sig det tunga arbetet med kvalitetsbedömning stöter de på problem med partiskhet och gynnar konsekvent översättningar som producerats av deras egen modell, även om dessa saknar en viss grad av noggrannhet. Detta beror delvis på att översättningskvalitet är subjektiv. I praktiken innebär det att en AI-modell rättar sin egen översättningsuppgift och beslutar att den egna lösningen var bäst.
WMT25, den tionde upplagan av en årlig konferens om automatiserad utvärdering, kom fram till en mycket tydlig slutsats om detta: ”System som toppade de automatiserade mätningarna vann inte konsekvent vid mänsklig utvärdering, vilket pekar på ihållande partiskhet i mätningarna och bekräftar att mänsklig utvärdering bör förbli den slutgiltiga bedömningen av översättningskvaliteten.”
Med andra ord: om du verkligen vill veta något om översättningskvalitet, fråga en mänsklig expert (precis som DeepL gör i våra jämförande tester). I takt med att skillnaderna i kvaliteten på AI-översättningar blir mindre blir människans bedömning av hur man ska balansera alla olika element allt mer värdefull. Kvalitetsskillnaderna är inte längre uppenbara. Åtminstone inte i de vanliga kvalitetstesterna.
Vad kvalitetstesterna för översättning missar: korrekt sammanhang, determinism och att vara konsekvent
Som jag nämnde är dock den översättningskvalitet som mäts i tester inte densamma som den översättningskvalitet du upplever i praktiken, särskilt när du hanterar översättning och lokalisering i en komplex organisation. Faktum är att det är just de aspekter av översättningskvaliteten som testerna inte mäter som har störst inverkan på företaget.
De flesta ramverk och poängsystem som jag har nämnt i den här bloggen är ”analytiska”. De fungerar ofta genom att jämföra ”segment” av originaltexten och den översatta texten, vilket vanligtvis bara är enskilda meningar. De betygsätter också översättningskvaliteten för varje mening separat, som om den inte hade något att göra med andra meningar i texten.
Vår faktiska upplevelse av översatt innehåll ser inte alls ut så här. Vi ser till helheten. Den omfattar inte bara den mening vi läser just då, utan hela den text som den ingår i. Den omfattar också all annan kommunikation som vi möter från en organisation. I denna helhetssyn är kvaliteten på en individuellt översatt mening förmodligen mindre viktig än enhetlighet och anpassning till sammanhang i det översatta materialet som helhet.
Varje organisation har sin egen distinkta vokabulär: terminologi och uttryck för produkter och funktioner, företagsområden, aspekter av tjänster, strategiska begrepp med mera. Att översätta dessa termer på ett konsekvent sätt är en viktig del av översättningskvaliteten. Om en översättning i hjälpcentret inte stämmer överens med de termer som används på produkter eller på beskrivningar, är översättningskvaliteten dålig. Det spelar ingen roll om de individuella översättningarna är tekniskt korrekta eller inte.
När en AI-översättningsplattform fastställer terminologi, stil och tilltal i stor skala (som DeepL gör med ordlistor, stilregler och översättningsminnen) blir den betydligt mer värdefull. Den i grunden probabilistiska naturen hos stora allmänna LLM:er (Claude, Gemini, ChatGPT) betyder istället att man offrar determinism, efterlevnad och enhetlighet. De förlorar det som verkligen betyder något när det gäller översättningskvalitet i praktiken.
Vad kvalitetstester för översättning missar: hur kvalitet uppnås
Standardkvalitetstester för översättning tar inte heller hänsyn till hur kvalitetsprestanda uppnås och hur skalbart detta egentligen är.
DeepL:s egna blindtester med mänskliga experter visar att de senaste allmänna LLM:erna med höga resonemangsinställningar kan producera konkurrenskraftig översättningskvalitet för specifika språkpar. Detta uppnås dock genom att de använder större modeller, bredare uppgiftsytor och större kontextfönster.
Detta innebär att de använder många token (med oförutsägbara kostnader) och att de tar mycket längre tid (minst 4 gånger och upp till 29 gånger långsammare), vilket har stor inverkan om du implementerar AI-översättning i produkter via ett API. Vad som är viktigast för kvaliteten är att de i sig är mindre förutsägbara när det gäller vilka översättningar de väljer. De uppfinner i princip översättningshjulet på nytt för varje uppgift, och därför är det mycket mindre troligt att de termer och fraser de använder i ett sammanhang upprepas i ett annat.
Om du hanterar översättning i företagsstorlek är det just den här aspekten av kvaliteten du måste vara mest uppmärksam på. Resultatet från kvalitetstesterna säger nästan ingenting användbart om detta.
Varför vi utvecklar en helhetssyn på kvalitet som ger kunderna kontrollen
Automatiserade testresultat är alltså en mycket begränsad vägledning när det gäller översättningskvalitet. Detta betyder dock inte att de inte är ett oerhört användbart verktyg när det gäller att ta kontroll över kvaliteten på dina översättningar. De är faktiskt extremt värdefulla, om du definierar deras roll på ett annat sätt.
På DeepL har vi utvecklat en ny modell för kvalitetsbedömning av översättningskvalitet (TQE), som använder en specialutvecklad AI-modell för att bedöma kvaliteten på DeepL-översättningar. Det viktigaste är dock att den inte bara ger ett ”betyg” för översättningen och går vidare. Dess roll är att lyfta fram potentiella fel och delar av en översättning som kan förbättras genom att involvera dina mänskliga experter. Modellen inser att det i slutändan är det mänskliga omdömet som räknas.
När vår TQE-modell analyserar en text gör den det med hänsyn till alla de anpassningsfunktioner som du arbetar med i DeepL. Den analyserar inte översättningskvaliteten isolerat. Den kontrollerar hur din organisations terminologi, stil och ton används i sammanhanget. Den ger en helhetsbild av kvalitet som verkligen räknas i praktiken.
Om du bryr dig om översättningskvalitet – och det tror jag att du gör – är det denna syn på kvalitet du verkligen bör lägga vikt vid. Det handlar inte om tester. Det handlar om att hitta det perspektiv på översättningskvalitet som är rätt för dig och som fungerar för ditt innehåll i praktiken.