翻訳の品質は、今なお重要なのでしょうか？
AI翻訳サービスの品質について尋ねると、おそらく何らかの数値を示されるでしょう。多くの場合、それは100点満点のスコアです。そして、そのスコアは翻訳品質を評価する標準的な指標のいずれかを用いて算出されています。どのプロバイダーの翻訳が「最良」なのかを、シンプルかつ客観的に、明確に示す指標のように見えるでしょう。そして、ほぼ間違いなく、あなたが話を聞いているプロバイダーの翻訳が最高評価となっているはずです。「データこそがすべて」という考え方が数十年にわたって唱えられてきましたが、今では、データも語り手にとって最も都合の良いように解釈できることがわかっています。
正直に言えば、DeepLも例外ではありません。翻訳品質について尋ねれば、同じような回答が返ってくるでしょう。その際に示すのが、3月に言語専門家を交えて48,000件のブラインドテストを実施した、詳細な品質ベンチマーク分析の結果です。16の言語ペアで、最も高性能なLLMを含む主要な競合5社と比較した結果、テストグループの94％でDeepLが首位となりました。もちろん、この結果に後ろめたいところはありません。
しかし、AI翻訳業界の誰もが認めたがらないことがあります。それは、テスト結果が発表されるたびに触れられないままにされる、都合の悪い真実です。私たちが測定しているAI翻訳ツール間の品質の差は、縮まり続けています。実際、もはや重要ではないと考える人もいるほど、その差はわずかなものになっています。
現時点では、テキストのAI翻訳はいずれも概して良好な仕上がりとなっています。専門家でない人が一目で気づくような誤りはほとんどありません。その違いはごくわずかで、表現やニュアンスといった細かな部分に限られ、どの翻訳が優れているかはかなり主観的な判断になります。こうした事情もあり、世の中にはさまざまなランキングが存在します。有力なモデルなら、自らが上位に入るランキングを見つけるのも難しくありません。
では、AI翻訳サービスプロバイダーを選ぶ際、今でも「品質」は選定の決め手となるのでしょうか？品質が重要であることに変わりはありません。ただし、本当に注目すべきなのは、テストスコアで測定される品質ではありません。
標準化された品質テストで測定されるAI翻訳の性能と、貴社や貴社のコンテンツにおける実際の性能との隔たりは、ますます大きくなっています。テストでは品質の差はごくわずかに見えます。しかし、実際の現場ではその差ははるかに大きく、ビジネスにも無視できない影響を及ぼします。
AI翻訳の品質テストでは何を測定しているのか
ここで、標準化された品質テストが実際に何を、どのように測定しているのか、そして何より、何を測定していないのかを詳しく見ていきましょう。
人間の言語専門家が翻訳を評価する際は、通常、翻訳品質を8つの側面から評価するMQM（多次元品質指標）フレームワークを使用します。これらの側面ごとに評価指標を設定し、それぞれの重み付けを決めることで、翻訳品質を1つの数値スコアとして算出する計算式を作ることができます。
MQMの評価軸には、正確性（訳文の言語への翻訳が、原文の言語のコンテンツをどの程度正確に再現しているか）だけでなく、翻訳の流暢さ（訳文の言語としてどの程度自然な文章になっているか）、分野固有の用語（専門用語が正しく使用されているか）、原文のスタイルをどの程度反映しているか、現地の慣習に従っているかなども含まれます。
翻訳品質を測るさまざまな算出式の意味
言語専門家による翻訳評価は複雑で、コストもかかります。実際、AIプロバイダーの翻訳品質ランキングの多くは、人間による評価を一切使用していません。その代わりに、以下のいずれかの自動評価システムが採用されています。こうしたシステムは、長年にわたって高度化してきました。
- 2001年、IBMはBLEU（Bilingual Evaluation Understudy）を導入しました。これは、機械翻訳による訳文が、同じ原文を人間が翻訳した訳文とどの程度一致しているかを分析するものです。問題なのは、この評価法では参照となる翻訳が最善の翻訳であり、そこからの逸脱はすべて誤りであると仮定している点です。
- 2006年には、この手法を応用した「翻訳編集率（TER）」という評価方法が登場しました。これは、機械翻訳による訳文を人間による訳文に一致させるために、人間の翻訳者が必要とする編集回数を測定するものです。BLEUと似ていますが、TERでは数値が低いほど高い評価となります。
- Unbabelは2020年にCOMET（Crosslingual Optimized Metric for Evaluation of Translation）を発表しました。これは、ニューラルネットワークモデルを用いて、機械翻訳による訳文を人間による訳文と原文の両方と比較するものです。この指標は、原文を参照してその意味を解釈しようとしますが、BLEUやTERでは原文は参照されません。
- 2023年には、GEMBA（GPT Estimation Metric Based Assessment）の登場により、自動評価もLLM（大規模言語モデル）の時代に入りました。GEMBAは、LLMにMQMのさまざまな評価軸に基づいて翻訳の品質を評価させるものです。
自動翻訳評価は進歩を続け、ますます有用になってきていますが、依然として人間の専門家による判断には及びません。LLMに品質評価の大部分を任せると、バイアスの問題が生じ、多少正確性に欠けていても、自らのモデルが生成した翻訳を一貫して高く評価する傾向があります。これは、翻訳品質には主観的な側面があることも一因です。つまり、AIモデルが自分で自分の翻訳を採点し、自分の答えが一番良いと判断しているようなものです。
自動評価に関する年次会議の第10回となるWMT25では、この点について、「自動評価指標でトップとなったシステムが、人間による評価でも一貫してトップとなったわけではありません。これは、評価指標に根強いバイアスが存在することを示しており、翻訳品質の最終的な判断は人間による評価に委ねるべきであることを改めて裏付けています」という非常に明確な結論が示されました。
つまり、翻訳品質を本当に見極めたいのであれば、人間の専門家に判断を委ねるのが最善です（DeepLでも、ベンチマークテストではこの方法を採用しています）。AI翻訳の品質差が縮まるにつれ、さまざまな要素のバランスを見極める人間の判断が、ますます重要になっています。品質の違いは、もはや明確ではありません。少なくとも、標準的な品質テストではその差はほとんど見えなくなっています。
翻訳品質テストが見落としているもの：コンテキスト、決定性、一貫性
前述したように、テストで測定される翻訳品質は、実際に利用する際に感じる品質とは異なります。特に、複雑な組織全体で翻訳やローカライゼーションを管理する場合はなおさらです。実際、ビジネスに最も大きな影響を与えるのは、テストの測定対象には含まれない翻訳品質の側面なのです。
このブログで取り上げたフレームワークや評価システムの多くは、「分析型」の手法です。多くの場合、原文と訳文を「セグメント」（通常は1文単位）に分け、それぞれを比較して評価します。また、テキスト内の他の文とのつながりを考慮せず、各文の翻訳品質を個別に評価します。
しかし、私たちが実際に翻訳されたコンテンツを読むときの体験は、これとはまったく異なり、文章を「全体」として捉えるものです。そのとき読んでいる一文だけでなく、それを含むテキスト全体を通して理解します。さらに、その組織から発信される、私たちが接するあらゆるコミュニケーションも含まれます。このように全体として捉えた場合、個々の翻訳文の品質よりも、翻訳されたコンテンツ全体に一貫性があり、内容につながりがあることのほうが重要だと言えるでしょう。
どの組織にも、その組織特有の語彙があります。プロダクトや機能、事業領域、サービスに関するさまざまな要素、戦略上の概念などを表す用語やフレーズです。これらの用語を一貫して翻訳することは、翻訳品質を大きく左右します。ヘルプセンターの翻訳が、プロダクトやCTAボタンで使用されている用語と一致していなければ、その翻訳は高品質とは言えません。個々の訳が、それぞれ単独で正しいかどうかは関係ありません。
AI翻訳プラットフォームで、用語、書式、語調を大規模に統一できれば（DeepLでは用語集、カスタムルール、翻訳メモリを活用）、その価値は飛躍的に高まります。一方、大規模な汎用LLM（Claude、Gemini、ChatGPTなど）は、本質的に確率に基づいて動作するため、決定性やルールへの準拠、一貫性が損なわれます。その結果、これらのモデルは、実際の運用における翻訳品質で真に重要な要素を十分に実現できないのです。
翻訳品質テストが見落としている点：品質をどのように実現するか
標準的な翻訳品質テストでは、その品質がどのように実現されているのか、また、大規模な運用でも同じ品質を維持できるのかまでは評価されません。
DeepLが人間の専門家と実施したブラインドテストでは、最新の汎用LLMが、高度な推論設定において、特定の言語ペアで他に匹敵する高品質な翻訳を生成できることが示されています。しかし、こうした品質は、より大規模なモデル、より幅広いタスクへの対応、より広いコンテキストウィンドウによって実現されています。
つまり、大量のトークンを使用するためコストが予測しにくいうえ、処理にも少なくとも4倍、最大29倍の時間がかかります。API経由でAI翻訳をプロダクトに組み込む場合、これは大きな影響を及ぼします。品質の観点で最も重要なのは、これらのモデルによる翻訳結果が本質的に予測しにくいという点です。これらのモデルは実質的に、タスクごとに一から翻訳を行うため、ある文脈で使用した用語やフレーズが、別の文脈でも使われる可能性ははるかに低くなります。
企業規模で翻訳を行う場合、翻訳品質について最も注意すべきなのはこの点です。しかし、品質テストのスコアからは、その判断に役立つ情報はほとんど得られません。
お客様自身がコントロールできる、包括的な品質の捉え方を構築している理由
こうした理由から、自動テストのスコアは、翻訳品質を判断する指標としては非常に限定的です。しかし、自社の翻訳品質をコントロールする上では、非常に有用なツールになり得ます。その役割を捉え直せば、実際には極めて大きな価値があるのです。
DeepLでは、翻訳品質の評価専用に開発されたAIを活用し、DeepLの翻訳品質を評価する新しい翻訳品質評価（TQE）モデルを構築しました。しかし重要なのは、このモデルが単に翻訳の「スコア」を算出して終わるわけではないという点です。その役割は、潜在的な誤りや、人間の専門家によって改善できる箇所を特定することにあります。このモデルは、最終的に重要なのは人間の判断であることを認識しています。
当社のTQEモデルは、DeepLでお客様がご利用のすべてのカスタマイズ機能を考慮して、テキストを分析します。翻訳品質を個別に評価するのではなく、組織の用語、書式、語調が文脈に応じてどのように適用されているかを確認します。これにより、実務で真に重要となる翻訳品質の全体像を把握できます。
翻訳品質は今でも重視すべきですが、本当に注目すべきなのは、このような品質の捉え方だと私は考えています。重要なのはテストではなく、実際の運用環境で、自社とそのコンテンツにとって何が「高品質な翻訳」なのかを見極めることなのです。