Apakah mutu terjemahan masih penting?
Jika Anda bertanya tentang mutu layanan terjemahan AI, jawabannya mungkin berupa angka. Dan angka ini biasanya suatu nilai dari 100. Kalkulasinya sering dilakukan menggunakan salah satu formula standar dalam penilaian mutu terjemahan. Angka tersebut akan tampak seperti pandangan sederhana, objektif, dan pasti mengenai penyedia dengan terjemahan “terbaik”. Dan tentu saja, terjemahan dari penyedia tersebut akan ditampilkan di bagian teratas. Setelah mempercayai selama puluhan tahun bahwa ‘data adalah raja’, sekarang kita tahu bahwa data dapat diinterpretasikan dengan cara yang menguntungkan pemberi cerita.
Di sini, saya akan jujur. Jika Anda bertanya kepada DeepL soal mutu terjemahan, jawabannya akan sama. Kami akan memberikan analisis perbandingan mendalam tentang mutu yang kami lakukan bulan Maret. Analisis ini dilakukan melalui 48.000 uji coba buta bersama para ahli bahasa, dan menunjukkan bahwa DeepL unggul sebesar 94% dalam kelompok uji coba 16 pasangan bahasa dari lima pesaing utamanya. Ini termasuk semua LLM terkuat. Hal ini pasti akan terjadi.
Namun, ada sesuatu yang tidak ingin diakui oleh siapa pun di bidang terjemahan AI ini. Dan ini adalah kebenaran tidak menyenangkan yang disisihkan setiap kali hasil tes dirilis. Kami mengukur kesenjangan mutu yang semakin mengecil. Kesenjangan ini demikian kecil hingga terasa tak penting lagi.
Dan di sini, semua terjemahan AI untuk teks tertulis umumnya sudah baik. Hanya ada sedikit kesalahan yang langsung terlihat oleh orang awam, ketika meniliknya pertama kali. Perbedaannya tipis, halus, dan cukup subjektif. Karenanya, ada banyak peringkat di luar sana. Dan berbagai model terkemuka lebih mudah menemukan peringkat yang menguntungkan mereka.
Jika Anda memilih penyedia layanan terjemahan AI, haruskah Anda peduli soal mutu sebagai faktor pembedanya? Saya yakin Anda tentu harus mempertimbangkannya. Tapi, mutu yang diukur dengan skor uji bukan hal yang harus menjadi fokus.
Ada perbedaan yang makin besar antara kinerja terjemahan AI dalam uji mutu standar dan dalam praktik, baik untuk organisasi maupun konten Anda. Dalam uji, kesenjangan mutu terlihat kecil. Di dunia nyata, perbedaannya jauh lebih besar dan memiliki dampak bisnis yang sangat nyata.
Yang diukur oleh tes mutu terjemahan AI
Sebagai penjelasan, mari kita tinjau apa yang sebenarnya diukur oleh uji mutu standar, cara pengukurannya, dan yang terpenting, apa yang tidak termasuk di dalamnya.
Saat ahli bahasa manusia mengevaluasi terjemahan, mereka biasanya menggunakan kerangka kerja MQM (Multidimensional Quality Metrics), yang mencakup delapan dimensi mutu terjemahan. Dengan menetapkan metrik pada berbagai dimensi ini dan memilih bobotnya, Anda dapat membuat rumus yang merepresentasikan mutu secara matematis dengan skor berupa satu angka.
Dimensi MQM mencakup keakuratan (ketepatan terjemahan ke bahasa sasaran sesuai dengan konten teks sumber), dan berbagai elemen seperti kefasihan terjemahan (seberapa alami terjemahan tersebut terbaca dalam bahasa sasaran), terminologi khusus domain (penggunaan berbagai istilah khusus), seberapa baik terjemahan tersebut mencerminkan gaya, mengikuti konvensi lokal, dan lainnya.
Arti dari berbagai rumus mutu terjemahan
Evaluasi terjemahan oleh ahli linguistik bersifat rumit dan juga mahal. Pada praktiknya, banyak peringkat mutu terjemahan sehubungan penyedia AI tidak menggunakan evaluasi manusia. Sebagai gantinya, salah satu sistem penilaian otomatis ini digunakan. Kemudian sistem ini menjadi semakin canggih.
- Pada tahun 2001, IBM memperkenalkan BLEU (Bilingual Evaluation Understudy). Sistem ini menganalisis kesesuaian terjemahan mesin dengan terjemahan manusia dari teks sumber yang sama. Apa masalahnya? Sistem ini mengasumsikan bahwa terjemahan acuan tersebut adalah terjemahan terbaik yang dimungkinkan, dan setiap penyimpangan dianggap sebagai kesalahan.
- Pada tahun 2006, sistem ini diadaptasi untuk evaluasi Translation Edit Rate (TER). Evaluasi ini menghitung jumlah pengeditan yang perlu dilakukan oleh penerjemah manusia untuk mengubah terjemahan mesin menjadi terjemahan manusia. Sistem ini serupa dengan BLEU, tetapi sistem ini menganggap angka lebih rendah sebagai lebih baik.
- Unbabel meluncurkan COMET (Crosslingual Optimized Metric for Evaluation of Translation) pada tahun 2020, melalui penggunaan model jaringan neural untuk membandingkan terjemahan mesin dengan terjemahan manusia dan juga teks sumber. Sistem ini merujuk ke teks asli untuk mencoba memahami maknanya, dan proses ini tidak dilakukan oleh BLEU dan TER.
- Tahun 2023, evaluasi otomatis memasuki era LLM dengan peluncuran GEMBA (GPT Estimation Metric Based Assessment), yang menggunakan penerapan berbagai dimensi MQM pada LLM untuk terjemahan serta menentukan kinerjanya.
Penilaian terjemahan otomatis telah menjadi makin bermanfaat, tapi tetap belum dapat menandingi penilaian ahli manusia. Ketika LLM melakukan tugas berat dalam evaluasi mutu, LLM menghadapi masalah bias. Ini terjadi ketika terjemahan yang lebih disukai adalah yang dihasilkan oleh model itu sendiri, walaupun kurang akurat. Hal ini sebagian disebabkan oleh sifat subjektif mutu terjemahan. Pada dasarnya, model AI menilai hasil terjemahannya sendiri dan memutuskan bahwa solusinya adalah yang terbaik.
Edisi kesepuluh konferensi tahunan evaluasi otomatis, WMT25, menghasilkan kesimpulan jelas mengenai hal ini: “Sistem dengan peringkat metrik otomatis teratas tidak selalu unggul dibandingkan evaluasi manusia. Hal ini mengindikasikan bias metrik berkelanjutan dan sekaligus memperkuat pentingnya evaluasi manusia sebagai penentu akhir mutu terjemahan.”
Dengan kata lain, jika Anda benar-benar ingin mengetahui mutu terjemahan, tanyakan kepada ahli manusia (seperti yang dilakukan DeepL dalam pengujian tolok ukurnya). Seiring dengan semakin tipisnya perbedaan mutu terjemahan AI, penilaian manusia untuk menyeimbangkan semua elemen menjadi semakin berharga. Perbedaan mutu tidak lagi jelas. Setidaknya, tidak dalam pengujian mutu standar.
Yang terlewatkan oleh uji mutu terjemahan: konteks, determinisme, dan konsistensi
Seperti yang telah saya sebutkan, mutu terjemahan yang diukur dalam pengujian tidak sama dengan mutu terjemahan yang Anda alami dalam praktiknya, terutama di posisi manajer terjemahan dan pelokalan di organisasi kompleks. Pada kenyataannya, berbagai aspek mutu terjemahan yang tidak diukur oleh berbagai uji tersebut, memiliki dampak bisnis terbesar.
Sebagian besar kerangka kerja dan sistem penilaian yang dijelaskan dalam blog ini bersifat “analitik”. Proses ini sering kali terjadi melalui perbandingan “segmen” teks asli dan terjemahan, yang pada umumnya berupa satu kalimat tunggal. Sistem tersebut juga menilai mutu terjemahan setiap kalimat secara terpisah, seakan-akan tidak berhubungan dengan yang lainnya dalam teks tersebut.
Pengalaman nyata kita dalam mengonsumsi konten terjemahan sama sekali tidak seperti ini. Pengalaman tersebut cenderung bersifat “holistik”. Dan pengalaman ini tidak hanya mencakup kalimat yang sedang kita baca saat itu, tetapi juga keseluruhan teksnya. Pengalaman ini juga mencakup setiap bentuk komunikasi lain dalam suatu organisasi. Dalam realitas holistik ini, mutu terjemahan kalimat secara terpisah dapat disebut sebagai kurang penting ketika dibandingkan dengan mutu konsistensi dan koherensi hasil terjemahan secara keseluruhan.
Setiap organisasi memiliki kosakata sendiri: terminologi dan frasa untuk produk dan fitur, bidang bisnis, aspek layanan, konsep strategis, dan lainnya. Menerjemahkan berbagai istilah ini secara konsisten merupakan aspek mutu terjemahan yang penting. Jika terjemahan di Pusat Bantuan tidak sesuai dengan istilah Produk atau tombol ajakan bertindak, mutu terjemahannya akan menjadi buruk, walaupun terjemahan yang berdiri secara terpisah itu benar secara teknis.
Ketika platform terjemahan AI menentukan terminologi, gaya, dan bentuk dalam skala besar (seperti yang dilakukan DeepL dengan glosarium, aturan gaya, dan memori terjemahan), platform tersebut menjadi jauh lebih berharga. Sebaliknya, sifat probabilistik mendasar dari LLM serbaguna skala besar (Claude, Gemini, ChatGPT) mengorbankan determinisme, kepatuhan, dan konsistensi. Berbagai model ini melewatkan hal penting dalam hal mutu terjemahan.
Yang dilewatkan uji mutu terjemahan: pencapaian mutu
Uji mutu standar terjemahan juga tidak menilik pencapaian mutu kinerja, dan seberapa terukur hal ini.
Uji buta DeepL bersama para ahli manusia menunjukkan bahwa LLM serbaguna terbaru dengan pengaturan penalaran tinggi dapat menghasilkan mutu terjemahan yang kompetitif untuk pasangan bahasa tertentu. Tetapi, hal ini dicapai dengan model lebih besar, cakupan tugas lebih luas, dan jendela konteks lebih luas.
Ini berarti bahwa mereka menggunakan banyak token (dengan biaya yang tidak dapat diprediksi) dan waktu yang jauh lebih lama (setidaknya 4x dan hingga 29x lebih lambat). Hal ini dapat memberi dampak besar ketika Anda menerapkan terjemahan AI dalam produk melalui API. Dan yang terpenting dalam hal mutu, hasilnya secara inheren kurang dapat diprediksi dalam hasil terjemahan. Pada dasarnya, terjadi penciptaan ulang proses penerjemahan untuk tiap tugas, dan oleh karena itu kecil kemungkinannya untuk mengulang istilah dan frasa yang digunakan dalam konteks lain.
Jika Anda memroses terjemahan dalam skala perusahaan, inilah aspek mutu yang perlu diperhatikan dengan cermat. Skor uji mutu tidak memberikan informasi yang berguna mengenai hal ini.
Alasan pengembangan pandangan holistik mutu yang memberikan kendali kepada pelanggan
Dengan adanya berbagai alasan ini, skor pengujian otomatis menjadi panduan terbatas untuk menilai mutu terjemahan. Tentu saja ini tidak berarti bahwa alat ini sangat tidak bermanfaat untuk mengendalikan mutu terjemahan. Skor tersebut sebenarnya sangat berharga, jika perannya ditentukan secara berbeda.
Di DeepL, kami telah mengembangkan model Evaluasi Mutu Terjemahan (TQE) baru yang menggunakan model AI dengan rancangan khusus untuk menilai mutu terjemahan DeepL. Yang terpenting adalah, model ini tidak hanya menghasilkan “skor” untuk terjemahan tersebut. Peran model ini adalah menyoroti berbagai potensi kesalahan dan bagian terjemahan yang dapat diperbaiki, dengan melibatkan para ahli manusia Anda. Model ini menyertakan penilaian manusia, yang pada akhirnya menjadi penentu.
Saat model TQE kami menganalisis teks, model ini melakukannya sambil merujuk ke semua fitur penyesuaian yang Anda gunakan di DeepL. Model ini tidak menganalisis mutu terjemahan secara terpisah. Model ini memeriksa penerapan terminologi, gaya, dan bentuk organisasi Anda dalam konteksnya. Model ini menyajikan gambaran mutu secara holistik, yang sangat penting dalam penerjemahan.
Jika Anda peduli terhadap mutu terjemahan—dan saya yakin Anda demikian—inilah sudut pandang yang menjadi titik kepedulian Anda. Semua ini bukan tentang uji. Namun, semua ini adalah tentang menemukan perspektif mengenai mutu terjemahan yang tepat, sesuai dengan konten Anda, dalam situasi nyata.