Rozluštění důvěry v jazykovou AI pro podniky. Rozhovor se společností Slator

Každá výzva k podání nabídky v oblasti jazykových technologií obsahuje „otázku důvěry“ a každý dodavatel se snaží na ni dobře odpovědět. Po šesti měsících provozu se něco pokazí. Data spadají do nesprávné jurisdikce, výstup se po aktualizaci modelu, o které nikdo neinformoval, změnil, náklady jsou trojnásobné oproti původnímu odhadu. Slova vás nezklamala; jde jen o to, že slova „důvěra“ nebo „kvalita“ znamenala pro každého v místnosti něco jiného.

V nedávné epizodě podcastu „The New Fluency“generální ředitel společnosti SlatorFlorian Faes a vedoucí konzultant Alex Edwards vysvětlili, co podnikoví nákupčí ve skutečnosti myslí, když hovoří o „důvěře“.

1. Důvěra v přesnost: To, na co se všichni ptají

Přesnost je bodem, od kterého se odvíjí každá diskuse o důvěře. A ve skutečnosti je to nejméně užitečné místo, kde trávit čas, protože základní úroveň se již posunula.

„Před čtyřmi lety to vždycky vypadalo takhle: ‚Ach, tohle udělala AI. Určitě to bude mít chybu na 100 %,“ řekl Florian. „Obecná důvěra ve výstupy AI dramaticky vzrostla. Lidé prostě AI důvěřují obecněji, což znamená, že mnohem více důvěřují i překladům z AI.“

Otázkou je, zda jsou výstupy AI dostatečně přesné pro konkrétní případy použití. Štítek na léčivém přípravku, uživatelská recenze produktu a interní shrnutí pro informaci – každý případ použití a typ obsahu má jinou maximální úroveň přesnosti.

Zákazníci, kteří nespecifikují konkrétní typ obsahu, mohou skončit s nadměrným důrazem na kvalitu u obsahu s nízkými nároky nebo naopak s nedostatečným důrazem tam, kde na tom skutečně záleží.

2. Důvěra v konzistenci: skutečný problém regulovaných odběratelů

U finančních služeb, farmaceutického průmyslu a právních týmů se předpokládá potřeba absolutní přesnosti. Složitější otázkou je to, co Alex popsal takto:

„Když mluvíte s regulovanými zákazníky, může být kladen větší důraz na konzistentnost a spolehlivost. Důvěra v to, že to, co dodáváte, bude konzistentní a spolehlivé, je pro tyto klienty pravděpodobně větší starostí.“

Otázka se tedy týká spíše systému, nikoli výstupu. Dodavatel, který ve druhém čtvrtletí aktualizoval svůj model, aniž by vám o tom dal vědět, je dodavatel, kterému nemůžete důvěřovat při podávání žádostí o schválení regulačními orgány.

3. Důvěra v bezpečnost: otázka, která maří dohody při posuzování informační bezpečnosti

Jakmile data získáte, kde jsou uložena? Kdo k nim má přístup? Alex na to upozornil:

„Důvěra v to, zda je váš lokalizovaný obsah vytvářen lidmi, nebo nikoli – tato transparentnost vůči klientům je důležitá, stejně jako auditovatelnost a bezpečnostní opatření. To také hraje roli v budování důvěry, stejně jako to, kde jsou vaše data uložena a jak s nimi zacházíte.“

Toto je požadavek, který se objevuje až později. Funkční hodnocení je hotové, zainteresované strany se shodly, a pak se oddělení informační bezpečnosti zeptá na jednu otázku, kterou nikdo nezahrnul do zadávací dokumentace. Dodavatelé AI nyní zpracovávají obsah, který byl dříve zpracováván na místě nebo v rámci úzce vymezených vztahů s poskytovateli jazykových služeb (LSP). To zvyšuje riziko a požadavky na data v EU, USA a regionu APAC se navzájem zcela nepřekrývají.

4. Důvěra v měřítko: „V ukázce to funguje“ není zárukou

„Lidé musí věřit, že překlad pomocí AI funguje ve velkém měřítku. Že to není jen hračka, že to není jen něco, co funguje v demoverzi nebo v experimentálním projektu, ale že to skutečně funguje, když tím protáhnete miliony slov. Může se totiž ve skutečném provozu opravdu pokazit.“

Florian přidal ještě aspekt nákladů, který kupující běžně opomíjejí:

„Slyšeli jsme příběhy o firmách, které v prvním měsíci utratily jeden a půl milionu za tokeny Claude.“

To samo o sobě není selhání dodavatele. Jedná se o selhání důvěry v měřítko; kupující před závazkem neprovedl zátěžový test nákladového modelu při reálném objemu.

5. Důvěra ve výsledek: požadavek, který většina kupujících zcela opomíjí

„Mnoho kupujících z Enterprise začíná uvažovat o tom, jak kvalita ovlivňuje navazující procesy. Jaké jsou konverzní poměry mých přeložených webových stránek? Jde o to, abychom byli schopni skutečně měřit dopady kvality. Abychom pochopili dopady a vztah mezi kvalitou a obchodními výsledky.“

Většina firemních nákupčích hodnotí jazykovou AI na základě metrik kvality výstupu: skóre MTQE, hodnotící komise. Zřídka však měří, zda rozdíly v kvalitě překladu skutečně ovlivňují obchodní výsledky. Měli by se spíše zaměřit na konverzní poměry, snížení zátěže zákaznické podpory a rozdíly v NPS mezi uživateli v rodném jazyce a v přeloženém jazyce.

Nákupčí, kteří si tuto infrastrukturu pro měření vybudují již nyní, budou ti, kteří budou moci rozhodovat o výběru dodavatelů na základě reálných signálů, nikoli náhradních ukazatelů.

„Přesnost je pro téměř každého základním pojmem důvěry,“ řekl Alex. „Záleží však na tom, s jakým kupujícím mluvíte.“

A právě v tom je ten problém! Každý dodavatel odpovídá na otázku kvality na úrovni přesnosti. Protože právě takovou otázku dostávají. Ostatní čtyři požadavky zůstávají v prezentaci bez odpovědi, dokud je neodhalí samotná výroba.

Řešením není lepší žádost o nabídku. Je to vědomí toho, u kterých z těchto pěti měřítek důvěryhodnosti vaše organizace neudělá kompromis.

Podívejte se na celou epizodu!

Florian, Alex a Morana se podrobněji zabývají experimentováním, rámcemi kvality a tím, jak podle nich budou vypadat příští roky v odvětví lokalizace. Podívejte se na celou epizodu na YouTube:Definice kvality překladu v éře AI s Alexem Edwardsem a Florianem Faesem ze SlatoruChcete se dozvědět více? Sledujte celou 1. sezónu pořadu The New Fluency na našem YouTube kanálu. Jak se provádí lokalizace 79 miliard slov ročně? S Mikem Szajnou z Booking.com.

Návrh procesů lokalizace s prioritou AI s Claudií Mueller z Trusted Shops Překonání překážky složitosti díky produktovému přístupu s Olgou Stokowiec z Maxonu Rychlé dodání, ještě rychlejší překlad s Maríou José Salmerón Ibáñez z GitLabu

Budování značek napříč kulturami s CMO a autorkou Katherine Melchior Ray

Vytváření nástrojů pro lokalizaci pro rychle rostoucí organizace, s Riinou Tolonen z headout