Çeviri kalitesine hâlâ önem vermeli misiniz?
Herhangi bir yapay zeka çeviri hizmetinin kalitesini sorduğunuzda, size büyük olasılıkla bir sayı verilecektir. Bu genellikle 100 üzerinden bir sayıdır. Bu puan, genellikle çeviri kalitesini derecelendirmek için kullanılan standart formüllerden biriyle hesaplanır. Bu, hangi sağlayıcının çevirilerinin "en iyi" olduğuna dair basit, objektif ve kesin bir görüş gibi görünecektir. Ve neredeyse kesin olarak, konuştuğunuz sağlayıcının çevirileri en üstte yer alacaktır. Yıllarca “veri kraldır” mantrasını duyduktan sonra, verilerin hikâyeyi anlatan kişiye en uygun şekilde yorumlanabileceğini de biliyoruz.
Dürüst olacağım. Çeviri kalitesini DeepL'e sorarsanız, aynı yanıtı alırsınız. Mart ayında dil uzmanlarıyla 48.000 kör test üzerinden yürüttüğümüz ve DeepL’in 16 dil çifti ve en güçlü LLM’lerin tümü dahil olmak üzere beş büyük rakibin tamamını geride bırakarak test gruplarının %94’ünü kazandığını gösteren derinlemesine kalite karşılaştırma analizini sizinle paylaşacağız. Bunun için özür dilemeyeceğiz.
Ancak, yapay zeka çevirisi alanında kimsenin kabul etmek istemediği bir gerçek var. Bu, test sonuçları açıklandığında her zaman hasır altı edilen rahatsız edici bir gerçek. Kalite farklarını ölçüyoruz ve bu farklar giderek azalıyor. O kadar küçük ki, bazıları bunların öneminin kalmadığını iddia edebilir.
Bu noktada, tüm yapay zeka tarafından tercüme edilen yazılı metinler genel olarak iyidir. Uzman olmayan bir kişinin ilk bakışta fark edebileceği çok az hata vardır. Farklılıklar marjinal, nüanslı ve oldukça özneldir. Bu durum, piyasada bu kadar çok farklı sıralama olmasının ve önde gelen modellerin kendilerine avantaj sağlayan bir sıralama bulmasının kısmen nedenidir.
Peki, bir yapay zeka çeviri sağlayıcısı seçiyorsanız, kaliteyi bir ayırt edici unsur olarak hâlâ önemsemeli misiniz? Bence önem vermelisiniz, ancak test puanlarıyla ölçülen kalite, aslında odaklanmanız gereken şey değildir.
Yapay zeka çevirisinin standartlaştırılmış kalite testlerindeki performansı ile kuruluşunuz ve içeriğiniz için pratikteki performansı arasında giderek artan bir fark var. Bir testte kalite farkları önemsiz görünebilir. Gerçek dünyada ise farklar çok daha büyüktür ve iş üzerinde çok somut etkileri vardır.
Yapay zeka çeviri kalite testleri neyi ölçer?
Ne demek istediğimi açıklamak için, standartlaştırılmış kalite testlerinin gerçekte neyi ölçtüğüne, bunu nasıl ölçtüğüne ve en önemlisi neleri içermediğine daha yakından bakalım.
İnsan dilbilimciler bir çeviriyi değerlendirdiğinde, genellikle çeviri kalitesinin sekiz farklı boyutunu içeren MQM (Çok Boyutlu Kalite Ölçütleri) çerçevesini kullanır. Bu farklı boyutlara metrikler ekleyerek ve bunlara nasıl ağırlık vereceğinizi seçerek, kaliteyi tek bir sayı puanıyla matematiksel olarak temsil eden bir formül oluşturabilirsiniz.
MQM'nin boyutları arasında doğruluk (hedef dile yapılan çevirinin kaynak dildeki orijinal metnin içeriğiyle ne kadar kesin bir şekilde eşleştiği) yer alır; ancak çeviri akıcılığı (çevirinin hedef dilde ne kadar doğal bir akışa sahip olduğu), alana özgü terminoloji (uzmanlık terimlerinin doğru kullanılıp kullanılmadığı), tarzı ne kadar iyi yansıttığı, yerel kurallara uyup uymadığı ve daha fazlası gibi unsurlar da bulunur.
Farklı çeviri kalitesi formüllerinin anlamı
Çevirileri değerlendirmek için uzman dilbilimcilerden yararlanmak karmaşık ve maliyetlidir. Uygulamada, yapay zeka sağlayıcılarıyla ilişkilendirilen çeviri kalitesi sıralamalarının çoğu, insan değerlendirmelerine hiç başvurmaz. Bunun yerine, aşağıdaki otomatik puanlama sistemlerinden birini kullanırlar. Yıllar geçtikçe bu sistemler giderek daha sofistike hale gelmiştir.
- 2001 yılında IBM, BLEU'yu (Bilingual Evaluation Understudy) piyasaya sürdü. Bu sistem, bir makine çevirisinin aynı kaynak metnin insan tarafından yapılan çevirisiyle ne kadar uyumlu olduğunu analiz eder. Peki sorun nedir? Bu sistem, referans çevirinin mümkün olan en iyi çeviri olduğunu ve ondan herhangi bir sapmanın bir hata olduğunu varsayar.
- 2006 yılında bu sistem, Translation Edit Rate (TER) değerlendirmesine uyarlandı; bu sistem, makine çevirisini insan çevirisine dönüştürmek için bir insan çevirmenin yapması gereken düzenleme sayısını sayar. BLEU'ya benzer, ancak bu sistemde daha düşük sayılar daha iyidir.
- Unbabel, 2020 yılında COMET'i (Çevirinin Değerlendirilmesi için Diller Arası Optimize Edilmiş Metrik) piyasaya sürdü; bu sistem, bir makine çevirisini hem insan çevirisiyle hem de kaynak metinle karşılaştırmak için bir nöral ağ modeli kullanır. BLEU ve TER'in yapmadığı şekilde, anlamı belirlemeye çalışmak için orijinal metne başvurur.
- Otomatik değerlendirme, 2023 yılında GEMBA’nın (GPT Estimation Metric Based Assessment) piyasaya sürülmesiyle LLM çağına girmiştir; bu sistem, LLM’lerin bir çeviriye farklı MQM boyutlarını uygulamasını ve performansını değerlendirmesini sağlar.
Otomatik çeviri değerlendirmesi giderek daha kullanışlı hale gelse de, hâlâ insan uzmanların yargılarıyla tam olarak eşleşememektedir. LLM'ler kalite değerlendirmesinin zorlu işini üstlendiklerinde, önyargı sorunlarıyla karşılaşırlar; kendi modelleri tarafından üretilen çevirileri, bunlar bir dereceye kadar doğruluktan yoksun olsalar bile, tutarlı bir şekilde tercih ederler. Bu durum, kısmen çeviri kalitesinin öznel doğasından kaynaklanmaktadır. Aslında, bir yapay zeka modeli kendi çeviri ödevini notlandırıyor ve kendi çözümünün en iyi olduğuna karar veriyor.
Otomatik değerlendirme konulu yıllık konferansın onuncu edisyonu olan WMT25, bu konuda çok net bir sonuca varmıştır: “Otomatik ölçütlerde en üst sıralarda yer alan sistemler, insan değerlendirmelerinde tutarlı bir şekilde birinci gelemedi; bu durum, ölçütlerdeki önyargının devam ettiğini gösterir ve çeviri kalitesinin nihai karar vericisinin insan değerlendirmesi olması gerektiğini pekiştirir.”
Başka bir deyişle, çeviri kalitesini gerçekten öğrenmek istiyorsanız, bir insan uzmana danışın (DeepL’in karşılaştırmalı testlerinde yaptığı gibi). Yapay zeka çeviri kalitesindeki farklar azaldıkça, tüm farklı unsurları nasıl dengeleyeceğine dair insan yargısı daha değerli hale geliyor. Kalite farkları artık o kadar belirgin değil. En azından standart kalite testlerinde öyle değil.
Çeviri kalitesi testlerinin gözden kaçırdığı unsurlar: Bağlam, belirleyicilik ve tutarlılık
Ancak daha önce de belirttiğim gibi, testlerde ölçülen çeviri kalitesi, özellikle karmaşık bir organizasyonda çeviri ve yerelleştirme işlemlerini yönetirken pratikte deneyimlediğiniz çeviri kalitesiyle aynı değildir. Aslında, testlerin ölçmediği çeviri kalitesi unsurları, iş üzerinde en büyük etkiye sahiptir.
Bu blogda bahsettiğim çerçevelerin ve puanlama sistemlerinin çoğu “analitik”tir. Genellikle, orijinal ve çevrilmiş metnin “segmentlerini” karşılaştırarak çalışırlar; bu segmentler de çoğunlukla bireysel cümlelerden ibarettir. Ayrıca, sanki metnin diğer kısımlarındaki cümlelerle hiçbir ilgisi yokmuş gibi, her bir cümlenin çeviri kalitesini tek başına değerlendirirler.
Çevrilmiş içeriği tüketme konusundaki gerçek deneyimimiz ise bununla hiç de benzer değildir. Bu deneyim “bütünsel”dir. Sadece o anda okuduğumuz cümleyi değil, o cümlenin parçası olduğu metnin tamamını da kapsar. Ayrıca, bir kuruluşta karşılaştığımız diğer tüm iletişim unsurlarını da içerir. Bu bütünsel gerçeklikte, bireysel olarak çevrilmiş bir cümlenin kalitesi, çevrilmiş çıktıların bir bütün olarak tutarlılığı ve uyumu kadar önemli değildir.
Her kuruluşun kendine özgü bir kelime dağarcığı vardır: Ürünler ve özellikler, iş alanları, hizmet unsurları, stratejik kavramlar ve daha fazlası için kullanılan terminoloji ve ifadeler. Bu terimleri tutarlı bir şekilde çevirmek, çeviri kalitesinin çok önemli bir unsurudur. Yardım Merkezi’ndeki bir çeviri, ürünlerde veya eylem çağrısı düğmelerinde yer alan terimlerle eşleşmiyorsa, çeviri kalitesi düşüktür. Bireysel çevirilerin teknik olarak doğru olup olmadığı önemli değildir.
Bir yapay zeka çeviri platformu, terminolojiyi, tarzı ve tonu büyük ölçekte belirlediğinde (DeepL'in sözlükler, tarz kuralları ve çeviri bellekleriyle yaptığı gibi), çok daha değerli hale gelir. Buna karşılık, büyük genel amaçlı LLM'lerin (Claude, Gemini, ChatGPT) temelde olasılıksal doğası, determinizmi, uyumluluğu ve tutarlılığı feda eder. Uygulamada çeviri kalitesi söz konusu olduğunda, gerçekten önemli olan unsurları gözden kaçırırlar.
Çeviri kalite testlerinin gözden kaçırdığı nokta: kalitenin nasıl elde edildiği
Çeviri için standart kalite testleri, kaliteli performansın nasıl elde edildiği ve bunun gerçekte ne kadar ölçeklenebilir olduğu ile de ilgilenmez.
DeepL’in insan uzmanlarla yaptığı kör testler, yüksek akıl yürütme ayarlarında en yeni genel amaçlı LLM’lerin belirli dil çiftlerinde rekabetçi çeviri kalitesi üretebildiğini göstermektedir. Ancak bunu, daha büyük modeller, daha geniş görev alanları ve daha kapsamlı bağlam pencereleri kullanarak başarırlar.
Bu, çok sayıda token kullanmaları (maliyetlerin öngörülemez olması) ve çok daha uzun sürmesi (en az 4 kat, en fazla 29 kat daha yavaş) anlamına gelir; bu da, bir API aracılığıyla ürünlerinize yapay zeka çevirisini entegre ediyorsanız büyük bir etkiye sahiptir. Kalite açısından en önemlisi, seçtikleri çevirilerde doğası gereği daha az öngörülebilir olmalarıdır. Esasen her görev için çeviri sürecini baştan yaratırlar ve bu nedenle bir bağlamda kullandıkları terimler ve ifadelerin başka bir bağlamda tekrarlanma olasılığı çok daha düşüktür.
Kurumsal ölçekte çeviri yapıyorsanız, kalite açısından en çok dikkat etmeniz gereken husus budur. Kalite test sonuçları bu konuda size neredeyse hiçbir yararlı bilgi vermez.
Neden müşterilerin kontrolünde olan bütünsel bir kalite anlayışı geliştiriyoruz?
Bu nedenlerle, otomatik test sonuçları çeviri kalitesi konusunda oldukça sınırlı bir kılavuz niteliğindedir. Ancak bu, çevirilerinizin kalitesini kontrol altına almak söz konusu olduğunda bunların son derece yararlı bir araç olmadığı anlamına gelmez. Aslında, bu araçların rolünü farklı bir şekilde tanımlarsanız son derece değerlidirler.
DeepL'de, DeepL çevirilerinin kalitesini değerlendirmek için özel olarak geliştirilmiş bir yapay zeka modeli kullanan yeni bir TQE modeli oluşturduk. Ancak en önemlisi, bu model çeviriye sadece bir “puan” verip işin peşini bırakmıyor. Bu modelin rolü, insan uzmanlarınızı sürece dahil ederek çevirideki olası hataları ve iyileştirilebilecek alanları vurgulamaktır. Bu model, nihayetinde önemli olanın insan yargısı olduğunu kabul eder.
TQE modelimiz bir metni analiz ederken, DeepL’de kullandığınız tüm özelleştirme özelliklerini dikkate alır. Çeviri kalitesini tek başına analiz etmez. Kuruluşunuzun terminolojisi, tarzı ve tonunun bağlam içinde nasıl uygulandığını kontrol eder. Pratikte gerçekten önemli olan kaliteye dair bütünsel bir bakış açısı sunar.
Çeviri kalitesine önem veriyorsanız – ki bence hâlâ vermelisiniz – asıl önem vermeniz gereken bakış açısı budur. Mesele testler değildir. Mesele, çeviri kalitesine ilişkin size uygun ve içeriğiniz için pratikte işe yarayan bakış açısını bulmaktır.