Mengurai Makna Kepercayaan dalam AI bahasa perusahaan. Dalam percakapan dengan Slator

Setiap RFP di bidang teknologi bahasa memiliki "pertanyaan tentang kepercayaan", dan setiap vendor berusaha menjawabnya dengan baik. Enam bulan setelah produksi, terjadi gangguan. Data berada di yurisdiksi yang salah, hasil keluaran berubah setelah pembaruan model yang tidak disebutkan oleh siapa pun, dan biayanya tiga kali lipat dari perkiraan. Kata-kata tersebut tidak mengecewakan Anda; hanya saja kata "kepercayaan" atau "kualitas" memiliki arti yang berbeda bagi setiap orang di ruangan itu.

Dalam episode terbaru podcast "The New Fluency", Direktur Pelaksana SlatorFlorian Faes dan Kepala Konsultasi Alex Edwards membahas apa yang sebenarnya dimaksud oleh pembeli Enterprise ketika mereka mengatakan "kepercayaan".

1. Kepercayaan terhadap akurasi: Hal yang selalu ditanyakan semua orang

Akurasi adalah titik awal dari setiap pembicaraan mengenai kepercayaan. Dan sebenarnya, ini adalah hal yang paling tidak berguna untuk dibahas, karena standar dasarnya sudah berubah.

"Empat tahun lalu, orang selalu bilang, 'Oh, ini dikerjakan oleh AI. Pasti ada kesalahan 100%," kata Florian. "Kepercayaan umum terhadap hasil yang dihasilkan AI telah meningkat secara dramatis. Orang-orang kini lebih percaya pada AI secara umum, yang berarti mereka juga lebih percaya pada terjemahan AI."

Pertanyaannya adalah apakah hasil AI cukup akurat untuk kasus penggunaan tertentu. Label obat, ulasan produk yang dibuat pengguna, dan ringkasan internal FYI — setiap kasus penggunaan dan jenis konten memiliki batas akurasi yang berbeda.

Pembeli yang tidak menentukan jenis konten tertentu mungkin akan berlebihan dalam mengutamakan kualitas untuk konten yang tidak terlalu penting atau kurang memperhatikan kualitas di tempat yang sebenarnya penting.

2. Kepercayaan terhadap konsistensi: masalah nyata bagi pembeli yang terikat regulasi

Bagi tim layanan keuangan, farmasi, dan hukum, kebutuhan akan akurasi total dianggap sebagai hal yang sudah pasti. Pertanyaan yang lebih sulit adalah apa yang dijelaskan Alex sebagai berikut:

"Saat Anda berbicara dengan pembeli yang tunduk pada regulasi, penekanan pada konsistensi dan keandalan mungkin lebih ditonjolkan. Memiliki keyakinan bahwa apa yang Anda sampaikan akan konsisten dan andal mungkin menjadi perhatian yang lebih besar di kalangan klien tersebut."

Pertanyaannya, kemudian, lebih berfokus pada sistem, bukan hasilnya. Vendor yang memperbarui modelnya pada kuartal kedua tanpa memberi tahu Anda adalah vendor yang tidak dapat Anda percayai untuk pengajuan regulasi.

3. Kepercayaan keamanan: pertanyaan yang menggagalkan kesepakatan dalam tinjauan InfoSec

Setelah Anda memiliki data, di mana data tersebut disimpan? Siapa yang bisa melihatnya? Alex menyoroti hal ini:

"Memiliki keyakinan bahwa konten yang dilokalisasi Anda diproduksi oleh manusia atau bukan oleh manusia — memiliki transparansi tersebut dengan klien sangat penting, begitu pula dengan kemampuan audit dan langkah-langkah keamanan. Hal itu juga memengaruhi kepercayaan, bersama dengan lokasi penyimpanan data Anda dan cara penanganannya."

Ini adalah persyaratan yang muncul belakangan. Evaluasi fungsional telah selesai, para pemangku kepentingan telah sejalan, dan kemudian tim Keamanan Informasi (InfoSec) mengajukan satu pertanyaan yang tidak terpikirkan untuk dimasukkan dalam RFP. Vendor AI kini menangani konten yang sebelumnya diproses di lokasi sendiri atau dalam hubungan LSP yang cakupannya sangat terbatas. Hal ini meningkatkan risiko paparan, dan persyaratan data UE, AS, dan APAC tidak saling tumpang tindih dengan jelas.

4. Skala kepercayaan: "ini berfungsi dalam demo" bukanlah jaminan

"Orang-orang perlu percaya bahwa terjemahan AI berfungsi dalam skala besar. Bahwa ini bukan sekadar mainan, bukan sekadar sesuatu yang berfungsi dalam demo atau proyek percobaan, tetapi benar-benar berfungsi saat Anda memasukkan jutaan kata ke dalamnya. Jadi, sistem ini benar-benar bisa gagal saat diproduksi."

Florian menambahkan aspek biaya, yang sering diabaikan oleh pembeli:

"Kami pernah mendengar cerita tentang perusahaan yang menghabiskan satu setengah juta untuk token Claude pada bulan pertama."

Itu sendiri bukanlah kegagalan dari pihak vendor. Ini adalah kegagalan kepercayaan skala; pembeli tidak menguji ketahanan model biaya pada volume nyata sebelum berkomitmen.

5. Kepercayaan terhadap hasil: persyaratan yang sering diabaikan sepenuhnya oleh pembeli

"Banyak pembeli Enterprise mulai mempertimbangkan bagaimana kualitas memengaruhi proses hilir. Berapa tingkat konversi untuk situs web saya yang telah diterjemahkan? Ini tentang kemampuan untuk benar-benar mengukur dampak kualitas. Untuk memahami dampak dan hubungan antara kualitas dan hasil bisnis."

Sebagian besar pembeli korporat mengevaluasi AI bahasa berdasarkan metrik kualitas hasil: skor MTQE, panel peninjau. Namun, mereka jarang mengukur apakah perbedaan kualitas terjemahan benar-benar memengaruhi hasil bisnis. Yang seharusnya mereka perhatikan lebih cermat adalah tingkat konversi, pengalihan dukungan, dan kesenjangan NPS antara pengguna bahasa asli dan pengguna bahasa terjemahan.

Pembeli yang membangun infrastruktur pengukuran tersebut sekarang adalah mereka yang akan mampu mengambil keputusan vendor berdasarkan sinyal nyata, bukan proksi.

"Hampir semua orang menganggap akurasi sebagai istilah dasar dalam hal kepercayaan," kata Alex. "Tapi itu tergantung pada pembeli yang Anda ajak bicara."

Itulah masalahnya! Setiap vendor menjawab pertanyaan tentang kualitas pada tingkat akurasi. Karena itulah pertanyaan yang mereka terima. Empat persyaratan lainnya tetap tersimpan dalam dokumen, tanpa jawaban, hingga proses produksi mengungkapkannya.

Solusinya bukan RFP yang lebih baik. Solusinya adalah mengetahui mana di antara lima ukuran kepercayaan ini yang tidak akan dikompromikan oleh organisasi Anda.

Tonton episode lengkapnya!

Florian, Alex, dan Morana membahas lebih dalam mengenai eksperimen, kerangka kerja kualitas, serta gambaran yang mereka perkirakan untuk industri pelokalan dalam beberapa tahun ke depan. Tonton episode lengkapnya di YouTube:Mendefinisikan kualitas terjemahan di era AI bersama Alex Edwards dan Florian Faes dari SlatorIngin tahu lebih banyak? Saksikan seluruh Musim 1 dari The New Fluency di saluran YouTube kami. Bagaimana cara melakukan pelokalan untuk 79 miliar kata per tahun? Bersama Mik Szajna, Booking.com.

Merancang proses pelokalan yang mengutamakan AI bersama Claudia Mueller, Trusted Shops Mengatasi hambatan kompleksitas dengan pola pikir produk bersama Olga Stokowiec, Maxon Rilis cepat, terjemahkan lebih cepat bersama María José Salmerón Ibáñez, GitLab

Membangun merek lintas budaya bersama CMO dan penulis Katherine Melchior Ray

Membangun mesin pelokalan untuk organisasi yang sedang berkembang, bersama Riina Tolonen, headout