Ti dovrebbe interessare ancora la qualità della traduzione?
Se chiedi informazioni sulla qualità di un servizio di traduzione con IA, probabilmente ti forniranno un numero. Di solito è un numero su 100. Spesso viene calcolato usando una delle formule standard per classificare la qualità delle traduzioni. Sembrerà una visione semplice, oggettiva e definitiva di quali siano le traduzioni “migliori” tra i vari fornitori. E quasi sicuramente le traduzioni del fornitore con cui stai parlando saranno in cima alla classifica. Dopo decenni di mantra del tipo “i dati sono tutto”, ora sappiamo anche che i dati possono essere interpretati nel modo che meglio si adatta a chi racconta la storia.
Sarò onesta. Se chiedi a DeepL della qualità delle traduzioni, otterrai la stessa risposta. Condivideremo con te l’approfondita analisi comparativa sulla qualità che abbiamo condotto a marzo su 48.000 test alla cieca con esperti linguistici, che ha dimostrato che DeepL ha vinto nel 94% dei gruppi di test su 16 coppie di lingue e rispetto a tutti e cinque i principali concorrenti, compresi tutti i modelli linguistici più potenti (LLM). Non ci scusiamo per questo.
Tuttavia, c’è qualcosa che nessuno nel mondo della traduzione con l’IA ama ammettere. È una verità scomoda che viene nascosta sotto il tappeto ogni volta che vengono pubblicati i risultati di test. Stiamo misurando differenze di qualità che stanno diventando sempre più piccole. Così piccole che qualcuno potrebbe sostenere che ormai non contino più nulla.
A questo punto, tutte le traduzioni di testi scritti fatte con l’IA sono generalmente buone. Ci sono pochi errori che un non esperto noterebbe a prima vista. Le differenze sono marginali, sottili e piuttosto soggettive. Questo spiega in parte perché ci siano così tante classifiche diverse in giro e perché sia facile per i modelli leader trovare una classifica che li favorisca.
Quindi, se stai scegliendo un fornitore di traduzioni con l'IA, dovresti ancora considerare la qualità come un fattore di differenziazione? Credo di sì, ma non dovresti concentrarti sulla qualità misurata dai punteggi dei test.
C’è una differenza sempre più marcata tra le prestazioni della traduzione con IA nei test di qualità standardizzati e quelle nella pratica, per la tua organizzazione e per i tuoi contenuti. In un test, le differenze di qualità sembrano marginali. Nel mondo reale, invece, le differenze sono ben più marcate e hanno un impatto concreto sul piano professionale.
Cosa misurano i test di qualità della traduzione con l’IA
Per spiegarti cosa intendo, diamo un’occhiata più da vicino a cosa misurano effettivamente i test di qualità standardizzati, come lo misurano e, soprattutto, cosa non includono.
Quando i linguisti valutano una traduzione, di solito usano il quadro di riferimento MQM (Multidimensional Quality Metrics), che comprende otto diverse dimensioni della qualità della traduzione. Assegnando dei parametri a queste diverse dimensioni e scegliendo come ponderarli, puoi creare una formula che rappresenta matematicamente la qualità, attraverso un punteggio espresso da un unico numero.
Le dimensioni dell’MQM includono la precisione (quanto una traduzione nella lingua di arrivo rispecchia esattamente il contenuto del testo originale nella lingua di partenza), ma anche elementi come la scorrevolezza della traduzione (quanto la traduzione scorre in modo naturale nella lingua di arrivo), la terminologia specifica (se i termini specialistici sono corretti), la resa dello stile, il rispetto delle convenzioni locali e altro ancora.
Cosa significano le diverse formule di qualità della traduzione
Affidarsi a linguisti esperti per valutare le traduzioni è complicato e costoso. In pratica, molte delle classifiche sulla qualità delle traduzioni associate ai fornitori di IA non utilizzano affatto la valutazione umana. Al loro posto, usano uno dei seguenti sistemi di valutazione automatizzati. Nel corso degli anni, questi sistemi sono diventati sempre più sofisticati.
- Nel 2001, IBM ha introdotto BLEU (Bilingual Evaluation Understudy). Analizza quanto una traduzione automatica si avvicini a una traduzione umana dello stesso testo di partenza. Il problema? Si parte dal presupposto che la traduzione di riferimento sia la migliore possibile e che qualsiasi deviazione da essa sia un errore.
- Nel 2006, questo sistema è stato adattato per la valutazione del Translation Edit Rate (TER), che conta il numero di modifiche che un traduttore umano dovrebbe apportare per trasformare la traduzione automatica in una traduzione umana. È simile a BLEU, ma in questo sistema i numeri più bassi sono migliori.
- Nel 2020 Unbabel ha lanciato COMET (Crosslingual Optimized Metric for Evaluation of Translation), che utilizza un modello a rete neurale per confrontare una traduzione automatica sia con una traduzione umana che con il testo di partenza. Si basa sul testo originale per cercare di ricavarne il significato, cosa che BLEU e TER non fanno.
- La valutazione automatizzata è entrata nell’era degli LLM nel 2023 con il lancio di GEMBA (GPT Estimation Metric Based Assessment), che spinge gli LLM ad applicare le diverse dimensioni dell’MQM a una traduzione e a valutarne le prestazioni.
La valutazione automatica delle traduzioni si è evoluta diventando sempre più utile, ma non riesce ancora a eguagliare appieno il giudizio degli esperti umani. Quando gli LLM si assumono il compito gravoso della valutazione della qualità, si scontrano con problemi di parzialità, favorendo costantemente le traduzioni prodotte dal proprio modello, anche se non sono completamente precise. Questo è in parte dovuto alla natura soggettiva della qualità della traduzione. In pratica, un modello di IA corregge i propri compiti di traduzione e decide che la propria soluzione è la migliore.
WMT25, la decima edizione di una conferenza annuale sulla valutazione automatizzata, è giunta a una conclusione molto chiara al riguardo: “I sistemi che hanno ottenuto i punteggi più alti nelle metriche automatiche non hanno vinto in modo costante nella valutazione umana, il che indica una persistente parzialità delle metriche e rafforza l’idea che la valutazione umana debba rimanere l’arbitro finale della qualità della traduzione.”
In altre parole, se vuoi davvero sapere com’è la qualità di una traduzione, chiedi a un esperto in carne e ossa (come fa DeepL nei nostri test di benchmark). Man mano che le differenze nella qualità della traduzione basata sull’IA si riducono, il giudizio umano su come bilanciare tutti i diversi elementi diventa sempre più prezioso. Le differenze di qualità non sono più evidenti. Almeno, non nei test di qualità standard.
Cosa sfugge ai test di qualità della traduzione: contesto, determinismo e coerenza
Come ho già detto, però, la qualità della traduzione misurata nei test non è la stessa che si sperimenta nella pratica, specialmente quando si gestiscono traduzioni e localizzazioni all’interno di un’organizzazione complessa. In realtà, sono proprio gli aspetti della qualità della traduzione che i test non misurano ad avere il maggiore impatto professionale.
La maggior parte dei framework e dei sistemi di valutazione di cui ho parlato in questo blog sono “analitici”. Spesso funzionano confrontando "segmenti" del testo originale e di quello tradotto, che di solito sono solo singole frasi. Inoltre, valutano la qualità della traduzione di ogni frase a sé stante, come se non avesse nulla a che fare con le altre frasi del testo.
La nostra esperienza reale nel fruire di contenuti tradotti non è affatto così. È “olistica”. Non include solo la frase che si sta leggendo in quel momento, ma l’intero testo di cui fa parte. Include anche ogni altra forma di comunicazione che riceviamo da un’organizzazione. In questa realtà olistica, la qualità di una singola frase tradotta conta probabilmente meno della della coerenza e dell’uniformità dell’intero testo tradotto.
Ogni organizzazione ha un proprio vocabolario distintivo: terminologia ed espressioni relative a prodotti e funzionalità, aree dell’azienda, aspetti del servizio, concetti strategici e altro ancora. Tradurre questi termini in modo coerente è un aspetto fondamentale della qualità della traduzione. Se una traduzione nel centro assistenza non corrisponde ai termini presenti sui prodotti o sui pulsanti di invito all’azione, allora la qualità della traduzione è scarsa. Non importa se le singole traduzioni sono tecnicamente corrette o meno.
Quando una piattaforma di traduzione basata sull’IA definisce terminologia, stile e tono su larga scala (come fa DeepL con glossari, regole di stile e memorie di traduzione), il suo valore aumenta enormemente. Al contrario, la natura fondamentalmente probabilistica dei grandi modelli linguistici generici (LLM) come Claude, Gemini e ChatGPT sacrifica il determinismo, la conformità e la coerenza. Perdono proprio ciò che conta davvero quando si tratta della qualità della traduzione nella pratica.
Cosa sfugge ai test di qualità della traduzione: come si ottiene la qualità
I test di qualità standard per la traduzione non si preoccupano nemmeno di come si ottenga un risultato di qualità, né di quanto questo sia realmente scalabile.
I test alla cieca condotti da DeepL con esperti umani dimostrano che i più recenti LLM generici, con impostazioni di ragionamento avanzate, possono produrre una qualità di traduzione competitiva su coppie linguistiche specifiche. Tuttavia, lo fanno utilizzando modelli più grandi, aree di attività più ampie e finestre di contesto più estese.
Questo significa che usano un sacco di token (con costi imprevedibili) e impiegano molto più tempo (sono da almeno 4 a fino a 29 volte più lenti), il che ha un impatto notevole se stai implementando la traduzione con l’IA nei tuoi prodotti tramite un’API. Ma soprattutto, per quanto riguarda la qualità, sono intrinsecamente meno prevedibili nelle traduzioni che scelgono. In pratica, reinventano l'ingranaggio della traduzione per ogni compito, quindi i termini e le frasi che usano in un contesto hanno molte meno probabilità di ripetersi in un altro.
Se gestisci traduzioni su scala aziendale, questo è l’aspetto della qualità a cui devi prestare maggiore attenzione. I punteggi dei test di qualità non ti dicono praticamente nulla di utile al riguardo.
Perché stiamo sviluppando una visione olistica della qualità che dia il controllo ai clienti
Per questi motivi, i punteggi dei test automatizzati sono un indicatore molto limitato della qualità della traduzione. Tuttavia, questo non significa che non siano uno strumento estremamente utile quando si tratta di assumere il controllo della qualità delle tue traduzioni. In realtà sono estremamente preziosi, se ne definisci il ruolo in modo diverso.
Noi di DeepL abbiamo creato un nuovo modello di valutazione della qualità della traduzione (TQE), che utilizza un modello di IA appositamente progettato per valutare la qualità delle traduzioni di DeepL. Ma, cosa fondamentale, non si limita a dare un “punteggio” alla traduzione e basta. Il suo ruolo è quello di evidenziare potenziali errori e parti della traduzione che possono essere migliorate coinvolgendo esperti umani. Riconosce che, in fin dei conti, è proprio il giudizio umano a contare.
Quando il nostro modello TQE analizza un testo, lo fa tenendo conto di tutte le opzioni di personalizzazione che usi su DeepL. Non analizza la qualità della traduzione in modo isolato. Verifica come vengono applicati, nel contesto, la terminologia, lo stile e il tono della tua organizzazione. Offre una visione olistica della qualità che conta davvero nella pratica.
Se ti interessa la qualità della traduzione, e credo che dovrebbe, questa è la prospettiva su cui dovresti davvero concentrarti. Non si tratta di test. Si tratta di trovare la prospettiva sulla qualità della traduzione che fa al caso tuo e che funziona per i tuoi contenuti, nella realtà.