La fiabilidad de la IA lingüística para empresas: un análisis con Slator

Todas las solicitudes de propuestas en el ámbito de la tecnología lingüística incluyen una «pregunta sobre fiabilidad», a la que cada proveedor trata de dar la mejor respuesta posible. A los seis meses de la puesta en marcha, algo falla. Los datos están en la jurisdicción incorrecta, los resultados han variado tras una actualización del modelo de la que nadie avisó y el coste triplica la previsión inicial. No es que las palabras no fueran las adecuadas. El problema es que ciertos conceptos como «fiabilidad» o «calidad» significaban algo distinto para cada persona.

En un episodio reciente del podcast «The New Fluency», el director general de Slator, Florian Faes, y el responsable de consultoría, Alex Edwards, analizaron a qué se refieren realmente los compradores empresariales cuando hablan de «fiabilidad».

1. Fiabilidad en la precisión: lo que todo el mundo quiere

Toda conversación sobre fiabilidad parte de la precisión. En realidad, es el aspecto al que menos merece la pena dedicar tiempo, porque el listón ya ha subido.

«Hace cuatro años, la reacción era siempre la misma: “Si esto lo ha hecho la IA, seguro que debe de estar mal”», señaló Florian. «La fiabilidad general en los resultados de la IA ha aumentado drásticamente. Existe una tendencia más amplia a confiar en la IA, lo que se traduce en una mayor confianza en la traducción automática».

La cuestión es si los resultados de la IA son lo bastante precisos para casos de uso específicos. Desde una etiqueta farmacéutica o una reseña de producto escrita por un usuario hasta un resumen interno informativo, cada caso de uso y tipo de contenido exige un nivel de precisión diferente.

Si los compradores no especifican el tipo de contenido, corren el riesgo de acabar invirtiendo demasiados recursos en contenidos de menor importancia o quedándose cortos allí donde realmente hacen falta.

2. Fiabilidad en la coherencia: el verdadero problema del comprador en sectores regulados

La precisión absoluta es un requisito indispensable para los equipos jurídicos, financieros y farmacéuticos. La cuestión más compleja es la que Alex describió en estos términos:

«Cuando hablas con compradores de sectores regulados, el énfasis en la coherencia y la fiabilidad es mucho mayor. Lo que más preocupa a estos clientes es probablemente tener la seguridad de que lo que reciben será coherente y fiable».

La pregunta, por tanto, se centra más en el sistema que en el resultado final. Si un proveedor actualiza su modelo en el segundo trimestre sin avisarte, ya no es alguien de fiar para las presentaciones reglamentarias.

3. Fiabilidad en la seguridad: la cuestión que tumba los acuerdos en las auditorías de seguridad de la información

Una vez que tienes los datos, ¿dónde se alojan? ¿Quién puede verlos? Alex apuntó lo siguiente:

«Tener la confianza de saber si tu contenido localizado es de origen humano o no —y ofrecer esa transparencia a los clientes— es tan importante como contar con medidas de auditoría y seguridad. Eso también es una cuestión de fiabilidad, al igual que saber dónde se almacenan y cómo se gestionan tus datos».

Este es el requisito que surge cuando ya es demasiado tarde. Ya se ha hecho la evaluación funcional, todas las partes interesadas están de acuerdo y, de repente, el equipo de seguridad de la información plantea una pregunta que a nadie se le había ocurrido incluir en la solicitud de propuestas. Los proveedores de IA ahora gestionan contenido que antes se procesaba internamente o mediante acuerdos muy restringidos con proveedores de servicios lingüísticos. Esto aumenta la exposición al riesgo, sin olvidar que las normativas de datos en la UE, EE. UU. y APAC no son totalmente compatibles entre sí.

4. Fiabilidad a gran escala: demostrar que «funciona en la demo» no es una garantía

«La gente tiene que confiar en que la traducción con IA funciona a gran escala. Que no es un juguete, ni algo que solo sirve para una demo o un proyecto de prueba, sino que realmente funciona al procesar millones de palabras. Es la única forma de poner a prueba su rendimiento en condiciones reales de trabajo».

Florian añadió el factor del coste, que los compradores suelen pasar por alto:

«Hemos oído historias de empresas que se gastaron un millón y medio en tókenes de Claude durante el primer mes».

Eso, por sí solo, no es un fallo del proveedor. Es un fallo de fiabilidad a gran escala: el comprador no puso a prueba el modelo de costes con volúmenes reales antes de dar el paso.

5. Fiabilidad en los resultados: el requisito que la mayoría de los compradores pasa por alto

«Muchos compradores empresariales están empezando a considerar la repercusión de la calidad en los procesos posteriores. ¿Cuáles son las tasas de conversión de mis sitios web traducidos? El objetivo es poder medir los efectos reales de la calidad y entender tanto su repercusión como la relación entre esta y los resultados del negocio».

La mayoría evalúa la IA lingüística basándose en métricas de calidad de los resultados, como las puntuaciones de MTQE y los paneles de revisión. Sin embargo, rara vez miden si las diferencias en la calidad de la traducción afectan realmente a los resultados de la empresa. Lo que deberían analizar con mayor detalle son las tasas de conversión, la reducción de las consultas al servicio de atención al cliente y las diferencias en el NPS entre los usuarios nativos y los que utilizan versiones traducidas.

Los compradores que establezcan ahora esa infraestructura de medición serán quienes podrán tomar decisiones sobre los proveedores basándose en datos reales, en lugar de estimaciones.

«Prácticamente todo el mundo considera la precisión como la base de la fiabilidad», afirmó Alex. «Pero eso depende del comprador con el que hables».

¡Ese es precisamente el problema! Todos los proveedores responden a la pregunta sobre la calidad centrándose solo en la precisión, porque esa es la pregunta que les hacen. Los otros cuatro requisitos se quedan en la presentación, sin respuesta, hasta que se manifiestan en condiciones reales de trabajo.

La solución no es redactar mejor la solicitud de propuestas, sino tener claro en cuáles de estos cinco indicadores de fiabilidad tu organización no está dispuesta a jugársela.

No te pierdas el episodio completo

Florian, Alex y Morana analizan a fondo la experimentación, los marcos de calidad y sus predicciones reales para el sector de la localización durante los próximos años. Puedes ver el episodio completo en YouTube:La definición de la calidad de traducción en la era de la IA, con Alex Edwards y Florian Faes, de Slator¿Quieres saber más? No te pierdas toda la primera temporada de The New Fluency en nuestro canal de YouTube. How do you localize 79 billion words a year? con Mik Szajna, de Booking.com

Designing AI-first localization processes, con Claudia Mueller, de Trusted Shops Beating the complexity bottleneck with a product mindset, con Olga Stokowiec, de Maxon Ship fast, translate faster, con María José Salmerón Ibáñez, de GitLab

Building brands across cultures, con la directora de marketing y escritora Katherine Melchior Ray

Building localization engines for scale-up organizations, con Riina Tolonen, de Headout