Jak zrozumieć zaufanie do technologii językowej AI w biznesie. Rozmowa ze Slatorem

Każde zapytanie ofertowe w branży technologii językowych zawiera „pytanie o zaufanie”, a każdy dostawca stara się na nie dobrze odpowiedzieć. Po sześciu miesiącach od uruchomienia coś się psuje. Dane trafiają do niewłaściwej jurysdykcji, wyniki się zmieniają po aktualizacji modelu, o której nikt nie wspomniał, a koszt jest trzykrotnie wyższy od prognozy. To nie słowa cię zawiodły; po prostu słowa „zaufanie” czy „jakość” oznaczały coś innego dla każdej osoby w tym pomieszczeniu.

W najnowszym odcinku podcastu „The New Fluency” dyrektor zarządzający SlatorFlorian Faes oraz szef działu konsultingu Alex Edwards omówili, co faktycznie mają na myśli nabywcy korporacyjni, mówiąc o „zaufaniu”.

1. Zaufanie do dokładności: To, o co wszyscy pytają

Dokładność to punkt wyjścia każdej rozmowy o zaufaniu. A tak naprawdę to najmniej sensowne miejsce, na które warto tracić czas, bo poziom odniesienia już się przesunął.

„Cztery lata temu zawsze było tak: »O, to zrobiła AI. To na pewno zawiera błąd w 100%” – powiedział Florian. „Ogólne zaufanie do wyników AI znacznie wzrosło. Ludzie po prostu bardziej ufają AI w ogóle, co oznacza, że znacznie bardziej ufają też tłumaczeniom generowanym przez AI”.

Pytanie brzmi, czy wyniki AI są wystarczająco dokładne w konkretnych przypadkach użycia. Etykieta leku, recenzja produktu napisana przez użytkownika czy wewnętrzne streszczenie informacyjne – każdy przypadek użycia i rodzaj treści ma inne wymagania co do dokładności.

Klienci, którzy nie określą konkretnego typu treści, mogą skończyć z nadmiernym skupieniem się na jakości w przypadku treści o niewielkim znaczeniu lub z niedostatecznym uwzględnieniem jakości tam, gdzie naprawdę ma to znaczenie.

2. Zaufanie do spójności: prawdziwy problem nabywców z branż podlegających regulacjom

W przypadku zespołów zajmujących się usługami finansowymi, farmaceutykami i prawem zakłada się, że potrzebna jest całkowita dokładność. Trudniejsze pytanie sformułował Alex w ten sposób:

„Kiedy rozmawiasz z klientami podlegającymi regulacjom, większy nacisk kładzie się na spójność i niezawodność. Pewność, że to, co dostarczasz, będzie spójne i wiarygodne, jest prawdopodobnie większym zmartwieniem dla tych klientów”.

W takim razie kwestia dotyczy bardziej samego systemu, a nie samego wyniku. Dostawca, który zaktualizował swój model w drugim kwartale, nie informując cię o tym, to dostawca, któremu nie możesz zaufać w kwestii zgłoszeń regulacyjnych.

3. Zaufanie do bezpieczeństwa: kwestia, która psuje umowy podczas przeglądu bezpieczeństwa informacji

Gdy już masz dane, gdzie są przechowywane? Kto ma do nich dostęp? Alex zwrócił na to uwagę:

„Pewność, że twoja lokalizowana treść jest tworzona przez ludzi, a nie przez maszyny – ta przejrzystość wobec klientów jest ważna, podobnie jak możliwość audytu i środki bezpieczeństwa. To też wpływa na zaufanie, podobnie jak to, gdzie przechowujesz dane i jak się nimi zarządzasz”.

To właśnie ten wymóg pojawia się na końcu. Ocena funkcjonalna została przeprowadzona, interesariusze są zgodni, a wtedy dział bezpieczeństwa informatycznego zadaje jedno pytanie, o którym nikt nie pomyślał, żeby uwzględnić je w zapytaniu ofertowym. Dostawcy rozwiązań AI obsługują teraz treści, które wcześniej były przetwarzane na miejscu lub w ramach ściśle określonych relacji z dostawcami usług językowych (LSP). Zwiększa to narażenie, a wymogi dotyczące danych w UE, USA i regionie APAC nie pokrywają się idealnie.

4. Zaufanie na dużą skalę: „działa w wersji demo” to żadna gwarancja

„Ludzie muszą mieć pewność, że tłumaczenie oparte na AI działa na dużą skalę. Że to nie tylko zabawka, że to nie tylko coś, co działa w wersji demonstracyjnej lub w projekcie testowym, ale że faktycznie działa, gdy przepuszczasz przez to miliony słów. Więc naprawdę może się zepsuć w środowisku produkcyjnym”.

Florian wspomniał też o kwestii kosztów, którą kupujący często pomijają:

„Słyszeliśmy historie o firmach, które w pierwszym miesiącu wydały półtora miliona na tokeny Claude’a”.

To nie jest sama w sobie wina dostawcy. To porażka zaufania na dużą skalę; kupujący nie przetestował modelu kosztowego przy rzeczywistych wolumenach przed podjęciem decyzji.

5. Zaufanie do wyników: wymóg, który większość kupujących całkowicie pomija

„Wielu nabywców korporacyjnych zaczyna zastanawiać się, jak jakość wpływa na dalsze procesy. Jakie są współczynniki konwersji na moich przetłumaczonych stronach internetowych? Chodzi o to, żeby naprawdę móc zmierzyć wpływ jakości. Aby zrozumieć wpływ i związek między jakością a wynikami biznesowymi”.

Większość nabywców korporacyjnych ocenia technologię językową AI na podstawie wskaźników jakości wyników: wyniki MTQE, opinie panelów recenzentów. Ale rzadko sprawdzają, czy różnice w jakości tłumaczeń faktycznie wpływają na wyniki biznesowe. Powinni raczej przyjrzeć się bliżej współczynnikom konwersji, zmniejszeniu liczby zgłoszeń do pomocy technicznej oraz różnicom w wskaźniku NPS między użytkownikami posługującymi się językiem ojczystym a tymi korzystającymi z tłumaczenia.

Ci, którzy już teraz zbudują taką infrastrukturę pomiarową, będą mogli podejmować decyzje dotyczące dostawców na podstawie prawdziwych sygnałów, a nie tylko wskaźników zastępczych.

„Praktycznie dla wszystkich dokładność to podstawowy wyznacznik zaufania” – powiedział Alex. „Ale to zależy od tego, z kim rozmawiasz”.

I właśnie w tym tkwi problem! Każdy dostawca odpowiada na pytanie o jakość, odwołując się do poziomu dokładności. Bo właśnie takie pytanie im zadają. Pozostałe cztery wymagania leżą w prezentacji, bez odpowiedzi, dopóki produkcja ich nie ujawni.

Rozwiązaniem nie jest lepsze zapytanie ofertowe. Chodzi o to, żeby wiedzieć, na które z tych pięciu wskaźników zaufania twoja organizacja nie pójdzie na kompromis.

Obejrzyj cały odcinek!

Florian, Alex i Morana zagłębiają się w temat eksperymentów, standardów jakości oraz tego, jak według nich naprawdę będą wyglądały najbliższe lata w branży lokalizacyjnej. Obejrzyj cały odcinek na YouTube:Jak definiować jakość tłumaczenia w erze AI – rozmowa ze Slatorem z Alexem Edwardsem i Florianem FaesemChcesz dowiedzieć się więcej? Zobacz cały sezon 1 The New Fluency na naszym kanale YouTube. Jak przeprowadzić lokalizację 79 miliardów słów rocznie? Z Mikiem Szajną z Booking.com.

Projektowanie procesów lokalizacyjnych opartych na AI z Claudią Mueller z Trusted Shops Pokonywanie przeszkód związanych ze złożonością dzięki podejściu produktowemu z Olgą Stokowiec z Maxon Wysyłaj szybko, tłumacz jeszcze szybciej z Maríą José Salmerón Ibáñez z GitLab

Budowanie marek w różnych kulturach z dyrektorką ds. marketingu i autorką Katherine Melchior Ray

Tworzenie silników dla lokalizacji dla rozwijających się organizacji, z Riiną Tolonen z headout