¿Debería seguir importándote la calidad de traducción?
Basta con preguntar por la calidad de cualquier servicio de traducción con IA para que alguien te dé una cifra. Suele ser una puntuación sobre 100. A menudo se calcula utilizando una de las fórmulas estándar para medir la calidad de traducción. Parecerá una visión sencilla, objetiva y definitiva de qué proveedor ofrece las «mejores» traducciones. Y casi seguro que pondrá en primer lugar las traducciones del proveedor con el que estás hablando. Después de décadas repitiendo el mantra de que «los datos son lo más importante», ahora también sabemos que se pueden interpretar de la forma que más le convenga a quien los presenta.
Voy a ser sincera. Si le preguntas a DeepL sobre la calidad de traducción, obtendrás la misma respuesta. Te mostraremos el análisis detallado de calidad en profundidad que llevamos a cabo en marzo con 48 000 pruebas a ciegas con expertos lingüísticos. Dicho estudio demostró que DeepL se impuso en el 94 % de los grupos de prueba en 16 combinaciones de idiomas y frente a los cinco principales competidores, incluidos todos los LLM más avanzados. No nos disculpamos por ello.
Sin embargo, hay algo que a nadie en el sector de la traducción con IA le gusta admitir. Es una verdad incómoda que se pasa por alto cada vez que se publican los resultados de las pruebas. Estamos midiendo diferencias de calidad que cada vez son menores. De hecho, son tan pequeñas que cualquiera diría que ya no importan.
A estas alturas, todas las traducciones de textos hechas con IA suelen ser buenas. Hay pocos errores que alguien que no sea experto pueda detectar a primera vista. Las diferencias son mínimas, sutiles y bastante subjetivas. Ese es en parte el motivo por el que circulan tantas clasificaciones diferentes, y por eso a los principales modelos les resulta fácil encontrar una clasificación que les favorezca.
Entonces, a la hora de elegir un proveedor de traducción de IA, ¿sigue siendo la calidad un factor diferenciador? Yo opino que sí, aunque la calidad reflejada en las puntuaciones de las pruebas no debería ser realmente aquello en lo que deberías centrarte.
Hay una diferencia cada vez mayor entre cómo funciona la traducción con IA en las pruebas de calidad estandarizadas y cómo lo hace en la práctica, en tu organización y con tu contenido. En una prueba, las diferencias de calidad parecen insignificantes. En el mundo real, las diferencias son mucho mayores y tienen repercusiones comerciales muy tangibles.
Qué miden las pruebas de calidad de la traducción con IA
Para ilustrarlo mejor, analicemos más de cerca lo que miden realmente las pruebas de calidad estandarizadas, cómo lo hacen y, lo más importante, qué es lo que no incluyen.
Cuando los lingüistas humanos evalúan una traducción, suelen utilizar el marco MQM (Multidimensional Quality Metrics), que incluye ocho dimensiones diferentes de la calidad de traducción. Al asignar métricas a cada una de estas dimensiones y decidir cómo ponderarlas, puedes crear una fórmula que represente la calidad matemáticamente, mediante una puntuación de un solo número.
Entre las dimensiones del MQM se encuentran la precisión —el grado en que una traducción reproduce con fidelidad el contenido del texto de partida—, pero también elementos como la fluidez natural en el idioma de llegada, el uso de la terminología específica de cada dominio, la fidelidad al estilo, el seguimiento de las convenciones locales y mucho más.
El significado de las diferentes fórmulas de calidad de traducción
Recurrir a lingüistas expertos para evaluar las traducciones es complejo y costoso. En la práctica, muchas de las clasificaciones de calidad de traducción asociadas a los proveedores de IA ni siquiera se basan en evaluaciones humanas. En su lugar, utilizan uno de los siguientes sistemas de puntuación automatizados. Con el paso de los años, se han vuelto cada vez más sofisticados.
- En 2001, IBM presentó el método BLEU (Bilingual Evaluation Understudy). Mide el grado de coincidencia entre una traducción automática y una traducción humana del mismo texto de partida. ¿Cuál es el problema? Da por hecho que esa traducción de referencia es la óptima y que cualquier desviación al respecto constituye un error.
- En 2006, se adaptó para calcular la tasa de edición (Translation Edit Rate o TER), que cuantifica las modificaciones necesarias por parte de un traductor humano para equiparar la traducción automática a una humana. Es similar al método BLEU, aunque en este sistema cuanto menor es la puntuación, mejor es el resultado.
- Unbabel lanzó COMET (Crosslingual Optimized Metric for Evaluation of Translation) en 2020, utilizando un modelo de redes neuronales para comparar una traducción automática tanto con una traducción humana como con el texto de partida. Toma como referencia el texto original para tratar de comprender el significado, a diferencia de BLEU y TER.
- La evaluación automatizada entró en la era de los LLM en 2023 con el lanzamiento de GEMBA (GPT Estimation Metric Based Assessment); este sistema pide a los LLM que evalúen una traducción aplicando las distintas dimensiones del MQM.
La evaluación automatizada de traducciones ha avanzado hasta volverse cada vez más útil, pero aún no llega a igualar del todo el criterio de los expertos humanos. Cuando los LLM asumen la ardua tarea de la evaluación de la calidad, se enfrentan a problemas de sesgo y favorecen sistemáticamente las traducciones generadas por su propio modelo, aunque carezcan de cierta precisión. Esto se debe en parte a la naturaleza subjetiva de la calidad de traducción. En el fondo, es como si un modelo de IA se autoevaluara el examen de traducción y se pusiera la mejor nota.
La décima edición del congreso anual sobre evaluación automática, WMT25, zanjó la cuestión con una conclusión muy clara: «Los sistemas que obtuvieron mejores resultados en las métricas automatizadas no se impusieron de forma sistemática en la evaluación humana, lo que apunta a un sesgo persistente en las métricas y refuerza la idea de que la evaluación humana debe seguir siendo el árbitro de la calidad de traducción en última instancia».
En otras palabras, si de verdad quieres medir con precisión la calidad de una traducción, pregúntale a un experto humano (como hace DeepL en nuestras pruebas comparativas). A medida que las diferencias en la calidad de traducción con IA se van reduciendo, el criterio humano a la hora de equilibrar todos los elementos adquiere aún más valor. Las diferencias de calidad ya no son evidentes. Al menos, no en las pruebas de calidad estándar.
Carencias de las pruebas de calidad de traducción: contexto, determinismo y coherencia
No obstante, tal y como mencionaba antes, la calidad que reflejan las pruebas no es la misma que la que experimentas en la práctica, sobre todo cuando te encargas de coordinar procesos de traducción y localización en una organización compleja. De hecho, son los aspectos de la calidad de traducción que las pruebas no miden los que tienen mayor repercusión en el negocio.
La mayoría de los modelos y sistemas de puntuación que he mencionado en este blog son de tipo «analítico». Suelen funcionar comparando «segmentos» del texto original y del traducido, que por lo general son solo frases sueltas. Además, califican la calidad de traducción de cada oración de forma aislada, como si no tuviera nada que ver con el resto del texto.
Nuestra experiencia real al consumir contenido traducido poco se parece a esto. Es «holística». No solo incluye la frase que estamos leyendo en ese momento, sino todo el texto del que forma parte. Del mismo modo, comprende cualquier otro mensaje que recibamos de una organización. En esta realidad holística, podría decirse que la calidad de una frase aislada resulta menos relevante que la coherencia y la uniformidad en todo el texto traducido en su conjunto.
Cada organización tiene su propio vocabulario característico: terminología y expresiones para productos y funciones, áreas de negocio, aspectos del servicio, conceptos estratégicos y mucho más. Traducir estos términos de forma coherente es un aspecto fundamental de la calidad de traducción. Si una traducción del centro de ayuda no coincide con los términos que aparecen en los productos o en los botones de llamada a la acción, la calidad deja entonces mucho que desear. Poco importa que cada traducción por separado sea técnicamente correcta o incorrecta.
Cuando una plataforma de traducción con IA determina la terminología, el estilo y el tono a gran escala (como hace DeepL mediante glosarios, reglas de estilo y memorias de traducción), se convierte en una herramienta infinitamente más valiosa. Por el contrario, la naturaleza fundamentalmente probabilística de los LLM genéricos (como Claude, Gemini o ChatGPT) compromete el determinismo, el cumplimiento normativo y la coherencia. Pierden de vista lo que de verdad importa en lo que respecta a la calidad de traducción en la práctica.
Carencias de las pruebas de calidad de traducción: cómo se logra la calidad
Las pruebas de calidad estándar en el ámbito de la traducción tampoco tienen en cuenta cómo se consigue ese nivel de calidad ni hasta qué punto es realmente escalable.
Las propias pruebas a ciegas de DeepL con expertos humanos muestran que los últimos LLM genéricos, configurados con un razonamiento avanzado, pueden ofrecer una calidad de traducción competitiva en determinadas combinaciones de idiomas. Sin embargo, para ello emplean modelos de mayor tamaño, un abanico más amplio de tareas y ventanas de contexto más extensas.
Esto implica un gran uso de tókenes (con costes impredecibles) y tiempos de espera más largos (entre cuatro y 29 veces más lentos), lo cual pasa factura si estás implementando la traducción con IA en productos mediante una API. Y lo más importante en cuanto a la calidad: son intrínsecamente menos predecibles en las traducciones que eligen. Básicamente, vuelven a empezar de cero con cada traducción, lo que significa que rara vez repiten en un contexto los mismos términos y expresiones que usaron en otro.
Si gestionas traducciones a escala empresarial, ese es el aspecto de la calidad al que debes prestar más atención. Las puntuaciones de las pruebas de calidad no sirven prácticamente de nada para entender esto.
Por qué estamos desarrollando una visión holística de la calidad que da el control a los clientes
Por todas estas razones, las puntuaciones de las pruebas automatizadas son una guía muy limitada de la calidad de traducción. Sin embargo, esto no significa que no sean una herramienta sumamente útil a la hora de tomar el control de la calidad de tus traducciones. De hecho, resultan de gran utilidad si se concibe su función de otra manera.
En DeepL, hemos creado un nuevo modelo de evaluación de la calidad de traducción, basado en un modelo de IA diseñado expresamente para evaluar la calidad de nuestras traducciones. Pero lo más importante es que no se limita a dar una «puntuación» a la traducción y pasar a otra cosa. Su función es señalar posibles errores y aspectos de la traducción que se pueden mejorar con la intervención de expertos humanos. Reconoce que, en última instancia, lo que cuenta es el criterio humano.
Cuando nuestro modelo de evaluación de la calidad de traducción analiza un texto, toma como referencia todas las opciones de personalización que utilizas en DeepL. No evalúa la calidad de traducción de forma aislada. Comprueba cómo se aplican la terminología, el estilo y el tono de tu organización, en contexto. Ofrece una visión holística de la calidad que realmente cuenta en la práctica.
Si te importa la calidad de traducción —y creo que debería seguir importándote—, esta es la perspectiva que realmente deberías tener en cuenta. La cuestión no son las pruebas, sino encontrar el enfoque de la calidad de traducción que mejor se adapte a ti y funcione para tu contenido, en la vida real.