Att tolka förtroendet för Språk-AI inom Enterprise-världen. I samtal med Slator

Varje anbudsförfrågan inom språkteknologiområdet innehåller en ”förtroendefråga”, och varje leverantör försöker besvara den på bästa sätt. Efter sex månader i drift går något sönder. Data hamnar i fel jurisdiktion, resultatet förändras efter en modelluppdatering som ingen nämnde, och kostnaden blir tre gånger högre än beräknat. Det var inte orden som svek dig; det var bara så att orden ”förtroende” eller ”kvalitet” betydde något annat för varje person i rummet.

I ett nyligen sänd avsnitt av podcasten ”The New Fluency” gick Slators verkställande direktör Florian Faes och konsultchefen Alex Edwards igenom vad företagsinköpare egentligen menar när de säger ”förtroende”.

1. Förtroende för noggrannhet: Det som alla frågar om

Noggrannhet är utgångspunkten för alla samtal om förtroende. Och faktiskt är det den minst givande punkten att ägna tid åt, eftersom utgångspunkten redan har förändrats.

”För fyra år sedan var det alltid så här: ’Åh, det här gjordes av AI. Det måste innehålla fel till 100 %”, sa Florian. ”Det allmänna förtroendet för AI:s resultat har ökat dramatiskt. Folk litar helt enkelt mer på AI i allmänhet, vilket innebär att de också litar mycket mer på AI-översättning.”

Frågan är om AI-resultaten är tillräckligt exakta för specifika användningsfall. En läkemedelsetikett, en användarrecension av en produkt och en intern sammanfattning – varje användningsfall och innehållstyp har olika krav på noggrannhet.

Inköpare som inte specificerar en viss innehållstyp riskerar att överdriva kvalitetskraven för innehåll med låga insatser eller att underskatta dem där det faktiskt spelar roll.

2. Förtroende för konsekvens: det verkliga problemet för den reglerade köparen

För finansiella tjänster, läkemedelsbranschen och juridiska team förutsätts behovet av total noggrannhet. Den svårare frågan är den som Alex beskrev på följande sätt:

”När man talar med reglerade köpare kan tonvikten på konsekvens och tillförlitlighet vara större. Att kunna lita på att det man levererar kommer att vara konsekvent och tillförlitligt är förmodligen en större angelägenhet bland dessa kunder.”

Frågan handlar alltså mer om systemet än om resultatet. En leverantör som uppdaterade sin modell under andra kvartalet utan att informera dig är en leverantör som du inte kan lita på när det gäller inlämningar till tillsynsmyndigheter.

3. Säkerhetsförtroende: den fråga som sätter stopp för affärer vid informationssäkerhetsgranskningar

När du väl har data, var lagras den då? Vem kan se den? Alex påpekade följande:

”Att kunna lita på att ditt lokaliserade innehåll produceras av människor och inte av maskiner – att ha den transparensen gentemot kunderna är viktigt, liksom möjligheten till granskning och säkerhetsåtgärder. Det påverkar också förtroendet, tillsammans med var dina data lagras och hur de hanteras.”

Det här är kravet som dyker upp sent. Den funktionella utvärderingen är klar, intressenterna är överens, och då ställer InfoSec en fråga som ingen tänkte på att ta med i anbudsförfrågan. AI-leverantörer hanterar nu innehåll som tidigare bearbetades lokalt eller inom strikt avgränsade LSP-relationer. Detta ökar exponeringen, och datakraven inom EU, USA och APAC överlappar inte varandra på ett tydligt sätt.

4. Skala förtroende: ”Det fungerar i demon” är ingen garanti

”Människor måste kunna lita på att AI-översättningen fungerar i stor skala. Att det inte bara är en leksak, att det inte bara är något som fungerar i en demo eller ett testprojekt, utan att det faktiskt fungerar när man matar in miljontals ord i systemet. Så det kan verkligen gå sönder i produktion.”

Florian lyfte fram kostnadsaspekten, som köpare ofta bortser från:

”Vi har hört berättelser om företag som spenderade en och en halv miljon på Claude-tokens redan den första månaden.”

Det är inte i sig ett misslyckande från leverantörens sida. Det är ett misslyckande när det gäller förtroende för skalbarheten; köparen stresstestade inte kostnadsmodellen med verkliga volymer innan man bestämde sig.

5. Resultatförtroende: det krav som de flesta köpare helt bortser från

”Många Enterprise-inköpare börjar fundera på hur kvaliteten påverkar de efterföljande processerna. Vilka är konverteringsgraden för mina översatta webbplatser? Det handlar om att verkligen kunna mäta effekterna av kvaliteten. Att förstå effekterna och sambandet mellan kvalitet och resultat för företagen.”

De flesta Enterprise-inköpare utvärderar Språk-AI utifrån mått på utdatakvalitet: MTQE-poäng och granskningspaneler. Men de mäter sällan om skillnader i översättningskvalitet faktiskt påverkar resultatet för ett företag. Det de borde titta närmare på är konverteringsgrader, minskad supportbelastning och skillnader i NPS mellan användare som talar modersmålet och användare som använder det översatta språket.

De inköpare som bygger upp den mätinfrastrukturen nu är de som kommer att kunna fatta leverantörsbeslut baserade på verkliga signaler, inte på approximativa mått.

”I stort sett alla termer har noggrannhet en grundläggande förutsättning för förtroende”, sa Alex. ”Men det beror på vilken köpare du pratar med.”

Det är precis det som är problemet! Alla leverantörer besvarar kvalitetsfrågan utifrån noggrannhetsnivån. För det är den frågan de får. De övriga fyra kraven ligger kvar i presentationen, obesvarade, tills produktionen avslöjar dem.

Lösningen är inte en bättre anbudsförfrågan. Det handlar om att veta vilka av dessa fem förtroendemått din organisation inte kommer att kompromissa med.

Se hela avsnittet!

Florian, Alex och Morana fördjupar sig i experiment, kvalitetsramverk och hur de tror att de kommande åren faktiskt kommer att se ut för branschen för översättning. Se hela avsnittet på YouTube:Att definiera översättningskvalitet i AI-eran med Slators Alex Edwards och Florian FaesVill du höra mer? Se hela säsong 1 av The New Fluency på vår YouTube-kanal. Hur utförs översättningen av 79 miljarder ord om året? Med Mik Szajna, Booking.com.

Att utforma AI-drivna processer för översättning med Claudia Mueller, Trusted Shops Att övervinna komplexitetens flaskhals med ett produktfokus med Olga Stokowiec, Maxon Leverera snabbt, översätt ännu snabbare med María José Salmerón Ibáñez, GitLab

Att bygga varumärken över kulturgränserna med CMO och författaren Katherine Melchior Ray

Att bygga översättningsmotorer för tillväxtföretag, med Riina Tolonen, headout