Розшифровка довіри до мовного ШІ в підприємстві. У розмові зі Slator

У кожному запиті на пропозицію (RFP) у сфері мовних технологій є «питання про довіру», і кожен постачальник намагається дати на нього переконливу відповідь. Через шість місяців після запуску щось виходить з ладу. Дані опиняються в неправильній юрисдикції, результати змінюються після оновлення моделі, про яке ніхто не згадував, а вартість виявляється втричі вищою за прогнозовану. Слова вас не підвели; просто слова «довіра» чи «якість» означали щось різне для кожної людини в кімнаті.

У недавньому випуску подкасту «The New Fluency» керуючий директор SlatorФлоріан Фаес та керівник відділу консалтингу Алекс Едвардс розібрали, що насправді мають на увазі підприємства, коли говорять про «довіру».

1. Довіра до точності: Те, про що запитують усі

Точність — це те, з чого починається кожна розмова про довіру. І насправді це найменш корисна тема, на яку варто витрачати час, оскільки базовий рівень вже змінився.

«Чотири роки тому завжди було так: „О, це зробила ШІ. Тут на 100% має бути помилка», — сказав Флоріан. «Загальний рівень довіри до результатів роботи ШІ різко зріс. Люди просто довіряють ШІ в цілому, а це означає, що вони також набагато більше довіряють перекладам, зробленим ШІ».

Питання полягає в тому, чи є результати роботи ШІ достатньо точними для конкретних випадків використання. Етикетка фармацевтичного препарату, відгук про товар, написаний користувачем, та внутрішнє резюме — для кожного випадку використання та типу контенту встановлено різні вимоги до точності.

Замовники, які не вказують конкретний тип контенту, можуть в результаті переоцінити вимоги до якості для контенту з низькою важливістю або недооцінити їх там, де це насправді має значення.

2. Довіра до послідовності: справжня проблема покупців у регульованих галузях

Для команд у сфері фінансових послуг, фармацевтики та юриспруденції необхідність повної точності вважається самоочевидною. Складніше питання полягає в тому, що Алекс описав так:

«Коли ви спілкуєтеся з покупцями, діяльність яких підлягає регулюванню, акцент на послідовності та надійності може бути ще сильнішим. Довіра до того, що те, що ви надаєте, буде послідовним і надійним, ймовірно, є більшою турботою серед цих клієнтів».

Отже, питання стосується більше самої системи, а не кінцевого результату. Постачальник, який оновив свою модель у 2-му кварталі, не попередивши вас про це, — це постачальник, якому ви не можете довіряти у питаннях подання документів до регуляторних органів.

3. Довіра до безпеки: питання, яке зриває угоди під час перевірки інформаційної безпеки

Отримавши дані, де вони зберігаються? Хто має до них доступ? Алекс звернув на це увагу:

«Впевненість у тому, що ваш локалізований контент створюється людьми, а не машинами — така прозорість у відносинах із клієнтами є важливою, так само як і можливість аудиту та заходи безпеки. Це також впливає на довіру, поряд із тим, де зберігаються ваші дані та як з ними поводяться».

Ця вимога з’являється на пізньому етапі. Функціональна оцінка проведена, зацікавлені сторони досягли згоди, і тоді відділ інформаційної безпеки ставить одне питання, яке ніхто не подумав включити в запит на пропозицію. Постачальники ШІ тепер обробляють контент, який раніше оброблявся на місці або в рамках тісно обмежених відносин із постачальниками мовних послуг (LSP). Це збільшує ризик витоку, а вимоги до даних у ЄС, США та Азіатсько-Тихоокеанському регіоні не повністю збігаються.

4. Масштаб довіри: «у демо-версії це працює» — це не гарантія

«Люди повинні бути впевнені, що переклад за допомогою ШІ працює у великих обсягах. Що це не просто іграшка, що це не просто щось, що працює в демо-версії чи експериментальному проєкті, а що воно насправді працює, коли через нього пропускають мільйони слів. Тож у виробничому середовищі це може справді дати збій».

Флоріан додав аспект вартості, який покупці зазвичай ігнорують:

«Ми чули історії про компанії, які витратили півтора мільйона на токени Claude вже у перший місяць».

Сама по собі це не провина постачальника. Це провал довіри до масштабу; покупець не перевірив модель витрат на реальних обсягах перед тим, як укласти угоду.

5. Довіра до результату: вимога, яку більшість покупців повністю ігнорують

«Багато підприємств починають замислюватися над тим, як якість впливає на подальші процеси. Які коефіцієнти конверсії у моїх перекладених веб-сайтах? Йдеться про те, щоб мати можливість реально виміряти наслідки якості. Щоб зрозуміти наслідки та взаємозв’язок між якістю та результатами бізнесу».

Більшість підприємств оцінюють мовний ШІ у перекладах за показниками якості результату: оцінки MTQE, експертні комісії. Але вони рідко аналізують, чи справді відмінності в якості перекладу впливають на результати бізнесу. На що їм слід звернути особливу увагу, так це на показники конверсії, зменшення навантаження на службу підтримки та розбіжності в індексі NPS між користувачами, які спілкуються рідною мовою, та тими, хто користується перекладеною версією.

Замовники, які вже зараз створюють таку інфраструктуру вимірювання, зможуть приймати рішення щодо вибору постачальників на основі реальних показників, а не приблизних оцінок.

«Практично для всіх точність є базовим критерієм довіри», — зазначив Алекс. «Але все залежить від того, з яким покупцем ви розмовляєте».

Ось у цьому й полягає проблема! Кожен постачальник відповідає на питання про якість на рівні точності. Адже саме таке питання їм і ставлять. Інші чотири вимоги залишаються в презентації без відповіді, доки їх не виявить процес виробництва.

Вирішенням проблеми не є кращий запит на пропозицію. Вирішення полягає в тому, щоб знати, щодо яких із цих п’яти показників довіри ваша організація не піде на компроміс.

Перегляньте повний епізод!

Флоріан, Алекс і Морана детальніше розглядають експерименти, системи оцінки якості та свої прогнози щодо того, як насправді виглядатимуть найближчі кілька років для галузі локалізації. Перегляньте повний епізод на YouTube:Визначення якості перекладу в епоху ШІ з Алексом Едвардсом та Флоріаном Фесом із SlatorХочете дізнатися більше? Перегляньте весь 1-й сезон The New Fluency на нашому каналі YouTube. Як здійснити локалізацію 79 мільярдів слів на рік? Разом із Міком Шайною з Booking.com.

Розробка процесів локалізації, орієнтованих на ШІ з Клаудією Мюллер, Trusted Shops Подолання перешкод, пов’язаних зі складністю, завдяки продуктовому підходу з Ольгою Стоковець, Maxon Швидка доставка, ще швидший переклад з Марією Хосе Сальмерон Ібаньєс, GitLab

Створення брендів у різних культурах з Кетрін Мельхіор Рей, директором з маркетингу та автором

Створення механізмів локалізації для організацій, що розширюються, з Рііною Толонен, headout