Decifrare la fiducia nell'IA linguistica aziendale. A colloquio con Slator

Ogni richiesta di offerta nel settore delle tecnologie linguistiche contiene una “domanda sulla fiducia”, e ogni fornitore cerca di rispondere al meglio. Dopo sei mesi di produzione, qualcosa va storto. I dati sono nella giurisdizione sbagliata, l’output è cambiato dopo un aggiornamento del modello di cui nessuno ha parlato, il costo è tre volte superiore alle previsioni. Non sono state le parole a tradirti; è solo che i termini “fiducia” o “qualità” avevano un significato diverso per ogni persona presente nella stanza.

In una recente puntata del podcast “The New Fluency”, l’amministratore delegato di SlatorFlorian Faes e il responsabile della consulenza Alex Edwards hanno spiegato cosa intendono davvero gli acquirenti aziendali quando parlano di “fiducia”.

1. Fiducia nell’accuratezza: Quella di cui tutti parlano

L’accuratezza è il punto di partenza di ogni discorso sulla fiducia. E in realtà, è il punto su cui vale meno la pena soffermarsi, perché il livello di riferimento si è già spostato.

"Quattro anni fa si diceva sempre: 'Oh, questo è stato fatto dall’IA. Ci sarà sicuramente un errore al 100%», ha detto Florian. «La fiducia generale nei risultati dell’IA è aumentata tantissimo. La gente si fida dell’IA in generale, il che significa che si fida anche molto di più della traduzione automatica».

La domanda è se i risultati dell’IA siano abbastanza precisi per casi d’uso specifici. Un’etichetta farmaceutica, una recensione di un prodotto scritta da un utente e un riassunto interno informativo: ogni caso d’uso e tipo di contenuto ha un livello massimo di accuratezza diverso.

Chi acquista senza specificare un tipo di contenuto preciso potrebbe finire per puntare troppo sulla qualità per contenuti di poca importanza o non prestare abbastanza attenzione proprio dove conta davvero.

2. Fiducia nella coerenza: il vero problema degli acquirenti soggetti a regolamentazione

Per i team dei servizi finanziari, del settore farmaceutico e legale, la necessità di una precisione totale è scontata. La domanda più difficile è quella che Alex ha descritto così:

«Quando parli con acquirenti soggetti a regolamentazione, l’enfasi sulla coerenza e sull’affidabilità può essere ancora più marcata. Avere la certezza che ciò che stai fornendo sarà coerente e affidabile è probabilmente una preoccupazione maggiore tra questi clienti.”

La questione, quindi, riguarda più il sistema che il risultato. Un fornitore che ha aggiornato il proprio modello nel secondo trimestre senza avvisarti è un fornitore di cui non puoi fidarti per le richieste di autorizzazione.

3. Fiducia nella sicurezza: la domanda che fa saltare gli accordi durante la revisione InfoSec

Una volta ottenuti i dati, dove vengono conservati? Chi può vederli? Alex ha sottolineato questo punto:

"Avere la certezza che i tuoi contenuti di localizzazione siano prodotti da persone o meno — garantire questa trasparenza ai clienti è importante, così come la verificabilità e le misure di sicurezza. Anche questo incide sulla fiducia, insieme a dove vengono conservati i tuoi dati e a come vengono gestiti."

Questo è il requisito che emerge solo alla fine. La valutazione funzionale è stata completata, le parti interessate sono d’accordo, e poi il reparto InfoSec pone una domanda che nessuno aveva pensato di includere nella richiesta di offerta. I fornitori di IA ora gestiscono contenuti che prima venivano elaborati in loco o nell’ambito di rapporti con fornitori di servizi linguistici (LSP) ben definiti. Questo aumenta l’esposizione, e i requisiti sui dati dell’UE, degli Stati Uniti e dell’APAC non si sovrappongono in modo chiaro.

4. Fiducia su larga scala: "funziona nella demo" non è una garanzia

"La gente deve poter contare sul fatto che la traduzione con l’IA funzioni su larga scala. Che non sia solo un giocattolo, che non sia solo qualcosa che funziona in una demo o in un progetto di prova, ma che funzioni davvero quando ci fai passare milioni di parole. Quindi può davvero andare in tilt in produzione.”

Florian ha aggiunto la questione dei costi, che chi acquista spesso trascura:

"Abbiamo sentito storie di aziende che hanno speso un milione e mezzo in token Claude nel primo mese."

Questo di per sé non è un fallimento del fornitore. È un problema di fiducia su larga scala; l’acquirente non ha sottoposto il modello di costo a uno stress test con volumi reali prima di impegnarsi.

5. Fiducia nel risultato: il requisito che la maggior parte degli acquirenti trascura completamente

«Molti acquirenti aziendali stanno iniziando a riflettere su come la qualità influisca sui processi a valle. Quali sono i tassi di conversione dei miei siti web tradotti? Si tratta di riuscire a misurare davvero gli effetti della qualità. Per capire gli impatti e la relazione tra qualità e risultati professionali.”

La maggior parte degli acquirenti aziendali valuta l’IA linguistica in base a metriche di qualità dell’output: punteggi MTQE, comitati di revisione. Ma raramente verificano se le differenze nella qualità della traduzione incidono davvero sui risultati professionali. Ciò che dovrebbero esaminare più da vicino sono i tassi di conversione, la riduzione delle richieste di assistenza e i divari di NPS tra gli utenti di lingua madre e quelli di lingua tradotta.

Gli acquirenti che creano ora questa infrastruttura di misurazione saranno quelli in grado di prendere decisioni sui fornitori basandosi su segnali reali, non su indicatori approssimativi.

«Praticamente tutti considerano l’accuratezza come punto di riferimento in termini di fiducia», ha detto Alex. «Ma dipende dall’acquirente con cui stai parlando.»

È proprio questo il problema! Ogni fornitore risponde alla domanda sulla qualità in termini di accuratezza. Perché è questa la domanda che gli viene posta. Gli altri quattro requisiti restano nella presentazione, senza risposta, finché la produzione non li mette in luce.

La soluzione non è una richiesta di offerta migliore. È capire su quale di questi cinque indicatori di affidabilità la tua organizzazione non è disposta a scendere a compromessi.

Guarda l’episodio completo!

Florian, Alex e Morana approfondiscono il tema della sperimentazione, dei modelli di qualità e di come, secondo loro, si presenteranno effettivamente i prossimi anni per il settore della localizzazione. Guarda l’episodio completo su YouTube:Definire la qualità della traduzione nell’era dell’IA con Alex Edwards e Florian Faes di SlatorVuoi saperne di più? Guarda tutta la Stagione 1 di The New Fluency sul nostro canale YouTube. Come si fa alla localizzazione di 79 miliardi di parole all’anno? Con Mik Szajna di Booking.com.

Progettare processi di localizzazione basati sull’IA con Claudia Mueller, Trusted Shops Superare il collo di bottiglia della complessità con una mentalità orientata al prodotto con Olga Stokowiec, Maxon Consegna veloce, traduzione ancora più veloce con María José Salmerón Ibáñez, GitLab

Costruire marchi che superano i confini culturali con la CMO e autrice Katherine Melchior Ray

Creare motori di localizzazione per organizzazioni in fase di espansione, con Riina Tolonen, headout