Décoder la notion de confiance dans l'IA linguistique pour les entreprises Entretien avec Slator

Dans le secteur des technologies linguistiques, chaque appel d'offres comporte sa « question sur la confiance », et chaque fournisseur s'efforce d'y répondre au mieux. Puis, six mois après le déploiement, les problèmes commencent. Les données se trouvent dans la mauvaise juridiction, les résultats ont changé après la mise à jour d'un modèle dont personne n'avait parlé, ou les coûts sont trois fois supérieurs aux prévisions. Ce ne sont pas les mots qui vous ont fait défaut ; c'est simplement que les termes « confiance » ou « qualité » revêtaient une signification différente pour chaque personne présente autour de la table.

Dans un récent épisode du podcast « The New Fluency », Florian Faes (directeur général) et Alex Edwards (responsable du conseil) de Slator ont détaillé ce que les acheteurs en entreprise entendent réellement par « confiance ».

1. La confiance dans la précision : la question que tout le monde pose

La précision est le point de départ de toute discussion sur la confiance. Et en réalité, c'est l'aspect sur lequel il est le moins utile de s'attarder, car les standards ont déjà évolué.

« Il y a quatre ans, la réaction était toujours : "Oh, cela a été fait par une IA. Il y a forcément une erreur quelque part", explique Florian. Aujourd'hui, la confiance générale dans les résultats de l'IA a considérablement augmenté. Les gens font plus confiance à l'IA de manière générale, ce qui signifie qu'ils font aussi beaucoup plus confiance à la traduction par IA. »

La question est désormais de savoir si les résultats de l'IA sont assez précis pour des cas d'usage spécifiques. Une notice pharmaceutique, un avis produit rédigé par un utilisateur ou un résumé interne : chaque cas d'usage et chaque type de contenu a un seuil d'exigence différent.

Les acheteurs qui ne spécifient pas leur type de contenu risquent de surévaluer la qualité pour des contenus à faible enjeu, ou au contraire de sous-estimer les exigences là où cela compte vraiment.

2. La confiance dans la cohérence : le véritable défi des secteurs réglementés

Pour les services financiers, le secteur pharmaceutique et les équipes juridiques, le besoin d'une précision totale est une évidence. La question la plus difficile est celle qu'Alex décrit ainsi :

« Lorsque vous échangez avec des acheteurs de secteurs réglementés, l'accent mis sur la cohérence et la fiabilité est souvent plus fort. Avoir la certitude que ce que vous livrez sera cohérent et fiable est probablement leur préoccupation majeure. »

La question porte alors davantage sur le système que sur le résultat. Un fournisseur qui met à jour son modèle au deuxième trimestre sans vous en informer est un fournisseur à qui vous ne pouvez pas confier des documents réglementaires.

3. La confiance dans la sécurité : la question qui bloque les contrats lors de l'examen InfoSec

Une fois que vous disposez des données, où résident-elles ? Qui peut les voir ? Alex souligne ce point :

« Savoir si votre contenu localisé est produit ou non par des humains et avoir cette transparence avec les clients est capital, tout comme les mesures auditabilité et de sécurité. Cela joue un rôle majeur dans la confiance, au même titre que le lieu d'hébergement de vos données et leur traitement. »

C'est une exigence qui fait souvent surface tardivement. L'évaluation fonctionnelle est terminée, les parties prenantes sont alignées, puis InfoSec pose la question à laquelle personne n'avait pensé dans l'appel d'offres. Les fournisseurs d'IA traitent désormais des contenus qui étaient auparavant gérés sur site ou dans le cadre de relations très strictes avec des agences de traduction. Cela augmente l'exposition aux risques, d'autant que les réglementations sur les données en Europe, aux États-Unis et en Asie-Pacifique ne se recoupent pas parfaitement.

4. La confiance dans la scalabilité : une démo réussie ne garantit rien

« Les clients ont besoin d'avoir la certitude que la traduction par IA fonctionne à grande échelle. Que ce n'est pas un simple gadget ou quelque chose qui fonctionne uniquement lors d'une démonstration ou d'un projet pilote, mais que le système tient la route lorsque vous y injectez des millions de mots. C'est en production que les failles apparaissent. »

Florian ajoute la dimension des coûts, que les acheteurs omettent régulièrement :

« Nous avons entendu des histoires d'entreprises qui ont dépensé un million et demi de dollars en jetons Claude dès le premier mois. »

En soi, ce n'est pas un échec du côté du fournisseur. C’est un manque de visibilité sur la scalabilité : l'acheteur n'a pas testé la viabilité du modèle tarifaire sur des volumes réels avant de s'engager.

5. La confiance dans les résultats : l'exigence que la plupart des acheteurs oublient

« Beaucoup d'acheteurs en entreprise commencent à réfléchir à la manière dont la qualité affecte les processus en aval. Quels sont les taux de conversion de mes sites web traduits ? Il s'agit de pouvoir mesurer concrètement les effets de la qualité pour comprendre l'impact et la relation directe entre la qualité de traduction et les résultats commerciaux. »

La plupart des acheteurs évaluent l'IA linguistique sur des indicateurs de qualité de sortie : les scores MTQE et les panels de révision. Mais ils mesurent rarement si les écarts de qualité de traduction font réellement évoluer les indicateurs business. Ils devraient plutôt analyser de près les taux de conversion, la réduction du volume de tickets au support client, et les écarts de Net Promoter Score (NPS) entre les utilisateurs en langue maternelle et ceux qui lisent les contenus traduits.

Les acheteurs qui mettent en place cette infrastructure de mesure dès maintenant seront ceux qui pourront choisir leurs fournisseurs sur la base de signaux réels, et non d'indicateurs indirects.

« Presque tout le monde considère la précision comme la base de la confiance, conclut Alex. Mais tout dépend de l'acheteur à qui vous vous adressez. »

Et c'est bien le problème ! Chaque fournisseur répond à la question de la qualité sous l'angle de la précision. C’est la question qu’on leur pose. Les quatre autres exigences restent dans l'ombre jusqu'à ce que la phase de production les mette en lumière.

La solution ne réside pas dans un meilleur appel d'offres. C’est de savoir sur lesquels de ces cinq critères de confiance votre entreprise ne fera aucun compromis.

Regardez l’épisode dans son intégralité.

Florian, Alex et Morana approfondissent les thèmes de l'expérimentation, des cadres de qualité et de ce à quoi ressembleront réellement les prochaines années pour le secteur de la localisation. Regardez l'épisode complet sur YouTube :Définir la qualité de la traduction à l'ère de l'IA avec Alex Edwards et Florian Faes de Slator Vous voulez en savoir plus ? Découvrez l’intégralité de la saison 1 de The New Fluency sur notre chaîne YouTube. Comment localiser 79 milliards de mots par an ? Avec Mik Szajna, de Booking.com.

Concevoir des processus de localisation axés sur l’IA avec Claudia Mueller, de Trusted Shops Surmonter le goulot d’étranglement lié à la complexité grâce à une approche produit avec Olga Stokowiec, de Maxon Livrer rapidement, traduire encore plus rapidement avec María José Salmerón Ibáñez, de GitLab

Construire des marques au-delà des frontières culturelles avec Katherine Melchior Ray, directrice marketing et autrice

Développer des moteurs de localisation pour les entreprises en pleine croissance, avec Riina Tolonen, headout