Faut-il toujours accorder de l'importance à la qualité de traduction ?
Demandez à un fournisseur de traduction par IA ce qu'il en est de sa qualité, et l'on vous répondra probablement par un chiffre. Il s'agit généralement d'une note sur 100. Elle est bien souvent calculée selon l'une des formules standards d'évaluation de la qualité de traduction. Le résultat ressemble à un indicateur simple, objectif et incontestable visant à désigner le « meilleur » fournisseur. Et, sans surprise, il placera presque toujours les traductions du fournisseur interrogé en tête du classement. Après des décennies de dogme où la donnée régnait en maître, nous savons désormais que les chiffres peuvent être interprétés à l'avantage de celui qui les présente.
Soyons honnêtes. Si vous interrogez DeepL sur la qualité de ses traductions, vous obtiendrez le même type de réponse. Nous vous partagerons l'analyse comparative approfondie menée en mars auprès d'experts linguistiques dans le cadre de 48 000 tests à aveugle : DeepL l'a emporté dans 94 % des groupes de test, sur 16 combinaisons linguistiques et face à cinq concurrents majeurs, y compris les LLM les plus puissants. Et nous n'avons pas à rougir de ces résultats.
Cependant, il y a une réalité que personne dans le secteur de la traduction par IA n'aime admettre. C'est une vérité dérangeante souvent balayée sous le tapis lors de la publication des classements. Nous mesurons des écarts de qualité qui s'amenuisent de jour en jour. Des écarts devenus si faibles que certains s'interrogent même sur leur réelle importance.
À ce jour, l'ensemble des traductions de textes écrits générées par IA sont globalement de bonne qualité. Un non-expert n'y verra que très peu d'erreurs au premier coup d'œil. Les nuances sont marginales, subtiles et subjectives. C'est ce qui explique la multiplication des classements et la facilité avec laquelle chaque modèle trouve une grille de lecture à son avantage.
Dès lors, au moment de choisir un fournisseur de traduction par IA, la qualité doit-elle rester un critère de choix décisif ? Je pense que oui, mais l'attention ne doit plus se porter sur la qualité telle qu'elle est mesurée dans les scores d'évaluation.
Un fossé se creuse entre les performances de la traduction par IA lors de tests standardisés et ses résultats sur le terrain, au service de votre entreprise et de vos contenus. Dans un cadre de test, les écarts de qualité semblent négligeables. Dans le monde réel, ces différences sont bien plus marquées et ont des répercussions très concrètes sur l'activité.
Ce que mesurent les tests de qualité de traduction par IA
Pour comprendre cet enjeu, examinons de plus près ce que mesurent réellement les tests de qualité standardisés, comment ils procèdent et, surtout, ce qu'ils laissent de côté.
Lorsque des linguistes évaluent une traduction, ils s'appuient généralement sur la grille MQM (Multidimensional Quality Metrics), qui intègre huit dimensions de la qualité linguistique. En associant des métriques à ces dimensions et en leur attribuant une pondération, il est possible de traduire la qualité sous forme mathématique avec une note globale unique.
La grille MQM évalue la précision (la fidélité du texte cible par rapport au texte source), mais aussi la fluidité (le naturel de la rédaction dans la langue cible), la terminologie métier (l’exactitude des termes spécialisés), le respect du style ou la conformité aux usages locaux.
Ce que révèlent les différentes formules de qualité de traduction
Faire appel à des experts linguistes pour évaluer des traductions s'avère complexe et coûteux. En pratique, une grande partie des classements attribués aux fournisseurs d'IA ne reposent sur aucune évaluation humaine. Ils privilégient des systèmes d'évaluation automatisés, détaillés ci-dessous. Au fil des ans, ces outils gagnent en sophistication.
- En 2001, IBM lançait le score BLEU (Bilingual Evaluation Understudy). Cette méthode mesure le degré de correspondance entre une traduction automatique et une traduction humaine de référence. Le problème ? Elle part du principe que la traduction de référence est parfaite et considère le moindre écart comme une erreur.
- En 2006, le score TER (Translation Edit Rate) est venu adapter cette approche en comptabilisant le nombre de modifications nécessaires pour qu'un traducteur humain obtienne le texte de référence. Le fonctionnement s'apparente au score BLEU, à ceci près qu'un résultat plus bas indique une meilleure qualité.
- Unbabel a lancé COMET (Crosslingual Optimized Metric for Evaluation of Translation) en 2020, en s'appuyant sur un réseau neuronal pour comparer la traduction automatique à la fois à la référence humaine et au texte source. Contrairement aux méthodes BLEU et TER, COMET prend en compte le texte original pour en saisir le sens.
- L'évaluation automatisée a franchi le cap des LLM en 2023 avec l'arrivée de GEMBA (GPT Estimation Metric Based Assessment), un protocole qui sollicite les LLM pour appliquer les critères MQM à une traduction et en juger le résultat.
Si l'évaluation automatique de la traduction a nettement progressé pour devenir un outil précieux, elle ne remplace pas l'expertise humaine. Lorsque l'on confie l'évaluation aux LLM, des biais apparaissent : les modèles ont tendance à favoriser les traductions issues de leur propre architecture, quitte à fermer les yeux sur certains manques de précision. Cela s'explique en partie par la subjectivité propre à la qualité linguistique. Dans les faits, le modèle d'IA auto-évalue sa propre copie et décrète que sa formulation est la meilleure.
La dixième édition de la conférence annuelle WMT25 sur l'évaluation automatisée a tiré un constat limpide à ce sujet : « Les systèmes arrivant en tête des métriques automatisées ne s'imposent pas systématiquement lors d'une évaluation humaine. Ce décalage confirme la présence de biais persistants et rappelle que le jugement humain doit demeurer l'arbitre ultime de la qualité de traduction. »
En d'autres termes, pour évaluer fidèlement la qualité d'une traduction, la consultation d'experts humains reste la méthode la plus sûre (comme le fait DeepL dans ses tests comparatifs). À mesure que les performances des modèles d'IA se resserrent, l'arbitrage humain permettant de pondérer chaque aspect prend d'autant plus de valeur. Les écarts de qualité ne sautent plus aux yeux au premier abord. Du moins pas dans les tests de qualité conventionnels.
Ce qui échappe aux tests de qualité : contexte, prédictibilité et cohérence
Cependant, la qualité mesurée lors des tests ne reflète pas toujours le rendu effectif au quotidien, en particulier lors du déploiement de projets de traduction et de localisation au sein d'organisations complexes. En réalité, ce sont précisément les critères non mesurés par les tests qui ont le plus fort impact sur l'activité.
La plupart des grilles et systèmes de notation présentés dans cet article suivent une logique « analytique ». Ils fonctionnent le plus souvent en comparant des « segments » de texte source et traduit, généralement réduits à des phrases isolées. La qualité de chaque phrase est ainsi évaluée indépendamment du reste du document, sans tenir compte du contexte global.
Or, la lecture réelle d'un contenu traduit ne fonctionne pas ainsi. Elle s'inscrit dans une démarche « holistique ». Elle prend en compte non seulement la phrase lue, mais aussi l'ensemble du texte dans lequel elle s'insère. Elle intègre également l'ensemble des communications diffusées par une entreprise. Dans cette perspective globale, la précision d'une phrase isolée importe parfois moins que la cohérence d'ensemble de l'ensemble des contenus traduits.
Chaque entreprise possède un vocabulaire propre : noms de produits, fonctionnalités, métiers, services ou concepts stratégiques. Garantir la traduction homogène de cette terminologie constitue un volet essentiel de la qualité linguistique. Si les termes employés dans le centre d'aide ne correspondent pas à ceux des produits ou des boutons d'action, la qualité de la traduction laisse à désirer. Peu importe que chaque traduction soit techniquement exacte ou non.
Lorsqu'une plateforme de traduction par IA maîtrise la terminologie, le style et le ton à grande échelle (à l'image de DeepL grâce à ses glossaires, règles de style et mémoires de traduction), sa valeur ajoutée devient démultipliée. À l'inverse, la nature fondamentalement probabiliste des grands LLM génériques (Claude, Gemini, ChatGPT) se fait au détriment de la prédictibilité, de la conformité et de la cohérence. Ils passent à côté de ce qui fait la véritable valeur de la qualité de traduction sur le terrain.
Ce que les tests de qualité oublient : la méthode d'obtention de la qualité
Les tests de qualité standards ne s'intéressent pas non plus à la manière dont ces performances sont obtenues, ni à leur capacité réelle à passer à l'échelle.
Les tests à aveugle menés par DeepL avec des experts humains indiquent que les derniers LLM génériques configurés sur des modes de raisonnement poussés peuvent offrir une qualité compétitive sur certaines combinaisons linguistiques. Cependant, ils y parviennent en sollicitant des modèles plus volumineux, des périmètres de traitement plus larges et des fenêtres de contexte plus étendues.
Résultat : ils consomment une quantité massive de jetons (engendrant des coûts imprévisibles) et s'avèrent nettement plus lents (de 4 à 29 fois plus lents), un frein majeur pour une intégration via API au cœur de vos produits. Sur le plan de la qualité, leur principal défaut réside dans leur manque de prédictibilité. Ils réinventent en quelque sorte la traduction à chaque requête ; les termes et tournures employés dans un contexte ont donc peu de chances d'être réutilisés à l'identique dans un autre.
Pour une entreprise déployant la traduction à grande échelle, c'est précisément cet aspect de la qualité qui exige la plus grande vigilance. Et sur ce point, les scores des tests de qualité ne vous apprennent pratiquement rien.
Pourquoi nous développons une approche holistique de la qualité au service des clients
Pour toutes ces raisons, les scores d'évaluation automatisés ne constituent qu'un indicateur très parcellaire. Pour autant, ils demeurent des outils précieux pour piloter et maîtriser la qualité de vos traductions. Leur valeur devient évidente dès lors qu'on leur assigne un rôle adapté.
Chez DeepL, nous avons développé un nouveau modèle d'évaluation de la qualité de traduction (TQE), basé sur une IA sur mesure dédiée à l'analyse des traductions DeepL. Surtout, ce modèle ne se contente pas d'attribuer une « note » avant de passer à autre chose. Son rôle consiste à signaler les erreurs potentielles et les passages susceptibles d'être optimisés par vos experts humains. Il réaffirme ainsi que le jugement humain reste la référence ultime.
Lorsqu'il évalue un texte, notre modèle TQE prend en compte l'ensemble de vos paramètres de personnalisation sur DeepL. Il n'analyse pas la qualité de manière isolée. Il vérifie l'application effective de votre terminologie, de votre style et de votre ton en contexte. Il offre cette vision globale de la qualité, celle qui compte réellement sur le terrain.
Si la qualité de traduction compte pour vous, et elle le devrait, c'est cette perspective globale qu'il convient de privilégier. L'enjeu ne réside pas dans les tests. Il s'agit de définir l'approche de la qualité la plus adaptée à vos besoins et à l'épreuve du monde réel.