Kurumsal Dil Yapay Zekasında Güvenin Şifresini Çözmek. Slator ile Söyleşi

Dil teknolojisi alanındaki her teklif talebinde bir "güven sorusu" yer alır ve her satıcı bu soruya iyi bir yanıt vermeye çalışır. Üretime geçtikten altı ay sonra bir sorun ortaya çıkar. Veriler yanlış yargı yetkisi alanına girer, kimse bahsetmediği bir model güncellemesinden sonra çıktı değişir, maliyet tahmin edilenden üç kat daha fazla olur. Sorun kelimelerde değildi; sadece "güven" veya "kalite" kelimeleri, odadaki herkes için farklı bir anlama geliyordu.

"The New Fluency" podcast'inin son bölümünde, Slator'un Genel Müdürü Florian Faes ve Danışmanlık Bölümü Başkanı Alex Edwards, kurumsal alıcıların "güven" derken aslında neyi kastettiklerini ayrıntılı olarak ele aldılar.

1. Doğruluk güveni: Herkesin sorduğu konu

Doğruluk, her güven konuşmasının başladığı noktadır. Aslında, bu konu üzerinde zaman harcamak için en az yararlı olan alandır, çünkü temel standartlar çoktan değişmiştir.

"Dört yıl önce hep şöyle denirdi: 'Ah, bu yapay zeka tarafından yapıldı. 'Bunda %100 hata olmalı' denirdi," dedi Florian. "Yapay zeka çıktısına duyulan genel güven çarpıcı bir şekilde arttı. İnsanlar yapay zekaya genel olarak daha fazla güveniyor, yani yapay zeka çevirisine de çok daha fazla güveniyorlar."

Asıl soru, yapay zeka çıktısının belirli kullanım durumları için yeterince doğru olup olmadığıdır. Bir ilaç etiketi, kullanıcı tarafından oluşturulan bir ürün yorumu ve şirket içi bir bilgilendirme özeti — her kullanım senaryosu ve içerik türünün doğruluk açısından farklı bir sınırı vardır.

Belirli bir içerik türünü belirtmeyen alıcılar, önemi az olan içerikler için kaliteyi gereğinden fazla abartabilir veya asıl önemli olan yerlerde kaliteyi yeterince belirleyemeyebilir.

2. Tutarlılık güveni: Düzenlemelere tabi alıcıların asıl sorunu

Finansal hizmetler, ilaç ve hukuk ekipleri için tam doğruluk ihtiyacı varsayılır. Daha zor olan soru ise Alex’in şu şekilde ifade ettiği konudur:

"Düzenlemelere tabi alıcılarla konuştuğunuzda, tutarlılık ve güvenilirlik daha fazla ön plana çıkabilir. Sunduğunuz hizmetin tutarlı ve güvenilir olacağına dair güven, bu müşteriler arasında muhtemelen daha büyük bir endişe kaynağıdır."

Dolayısıyla soru, çıktıdan çok sistemle ilgili hale gelir. İkinci çeyrekte size haber vermeden modelini güncelleyen bir tedarikçi, düzenleyici kurumlara yapılacak başvurular konusunda güvenebileceğiniz bir tedarikçi değildir.

3. Güvenlik güveni: Bilgi Güvenliği incelemesinde anlaşmaları bozan soru

Verileri elde ettikten sonra, bu veriler nerede saklanır? Kimler görebilir? Alex şu noktaya dikkat çekti:

"Yerelleştirilmiş içeriğinizin insanlar tarafından mı yoksa insanlar tarafından değil mi üretildiğine dair güven duymak — müşterilerle bu şeffaflığı sağlamak, denetlenebilirlik ve güvenlik önlemleri kadar önemlidir. Bu da, verilerinizin nerede saklandığı ve nasıl işlendiği ile birlikte güveni etkiler."

Bu, geç ortaya çıkan bir gerekliliktir. İşlevsel değerlendirme tamamlanır, paydaşlar arasında mutabakat sağlanır ve ardından Bilgi Güvenliği ekibi, teklif talebine (RFP) dahil etmeyi kimsenin akıl etmediği bir soru sorar. Yapay zeka tedarikçileri artık daha önce şirket içinde veya kapsamı sıkı bir şekilde belirlenmiş LSP ilişkileri çerçevesinde işlenen içeriği yönetiyor. Bu durum riski artırır ve AB, ABD ve APAC veri gereklilikleri birbiriyle tam olarak örtüşmez.

4. Güvenin ölçeği: "demoda çalışıyor" bir garanti değildir

"İnsanlar, yapay zeka çevirinin büyük ölçekte çalıştığına güvenmelidir. Bunun sadece bir oyuncak olmadığını, sadece bir demoda veya deneme projesinde çalışan bir şey olmadığını, milyonlarca kelimeyi işlediğinizde de gerçekten çalıştığını bilmeleri gerekir. Yani üretim ortamında gerçekten arıza verebilir."

Florian, alıcıların genellikle göz ardı ettiği maliyet boyutunu da ekledi:

"İlk ayda Claude token'ları için bir buçuk milyon harcayan şirketlerin hikayelerini duyduk."

Bu, tek başına bir satıcı hatası değildir. Bu, ölçek açısından bir güven sorunu; alıcı, taahhütte bulunmadan önce maliyet modelini gerçek hacimde stres testine tabi tutmadı.

5. Sonuç güveni: çoğu alıcının tamamen göz ardı ettiği gereklilik

"Birçok kurumsal alıcı, kalitenin sonraki süreçleri nasıl etkilediğini düşünmeye başlıyor. Çevrilmiş web sitelerimin dönüşüm oranları nedir? Önemli olan, kalitenin etkilerini gerçekten ölçebilmektir. Kalitenin etkilerini ve kalite ile iş sonuçları arasındaki ilişkiyi anlamak."

Çoğu kurumsal alıcı, dil yapay zekasını çıktı kalitesi ölçütlerine göre değerlendirir: MTQE puanları, inceleme panelleri. Ancak çeviri kalitesindeki farklılıkların iş sonuçlarını gerçekten etkileyip etkilemediğini nadiren ölçerler. Aslında daha yakından incelemeleri gereken, ana dilini konuşan kullanıcılarla çevrilmiş dilde hizmet alan kullanıcılar arasındaki dönüşüm oranları, destek taleplerindeki azalma ve NPS farklarıdır.

Bu ölçüm altyapısını şimdiden kuran alıcılar, dolaylı göstergeler yerine gerçek sinyallere dayalı olarak tedarikçi kararları verebilecek olanlardır.

"Hemen hemen herkes, güven terimlerinde doğruluğu bir temel kriter olarak kabul eder," dedi Alex. "Ancak bu, konuştuğunuz alıcıya göre değişir."

İşte sorun da tam olarak bu! Her satıcı, kalite sorusuna doğruluk düzeyinde yanıt verir. Çünkü kendilerine sorulan soru budur. Diğer dört gereklilik ise üretim aşamasına gelene kadar sunumda cevapsız kalır.

Çözüm, daha iyi bir teklif talebi hazırlamak değildir. Çözüm, kuruluşunuzun bu beş güven ölçütünden hangilerinden ödün vermeyeceğini bilmektir.

Bölümün tamamını izleyin!

Florian, Alex ve Morana, deneysel çalışmalar, kalite çerçeveleri ve yerelleştirme sektörünün önümüzdeki birkaç yıl içinde nasıl bir görünüm alacağına dair görüşlerini derinlemesine ele alıyorlar. YouTube'da bölümün tamamını izleyin:Slator’dan Alex Edwards ve Florian Faes ile yapay zeka çağında çeviri kalitesini tanımlamakDaha fazlasını duymak ister misiniz? YouTube kanalımızda The New Fluency dizisinin 1. sezonunun tüm bölümlerini izleyin. Yılda 79 milyar kelimeyi nasıl yerelleştirirsiniz? Booking.com'dan Mik Szajna ile.

Yapay zeka odaklı yerelleştirme süreçlerini tasarlamak Trusted Shops'tan Claudia Mueller ile Ürün odaklı bir yaklaşımla karmaşıklık engelini aşmak Maxon'dan Olga Stokowiec ile Hızlı teslimat, daha hızlı çeviri GitLab'dan María José Salmerón Ibáñez ile

Farklı kültürlerde marka oluşturma, CMO ve yazar Katherine Melchior Ray ile

Büyüyen kuruluşlar için yerelleştirme motorları oluşturmak, Riina Tolonen, headout ile