DeepLの翻訳品質を支える科学
テキスト翻訳の品質は測定が難しく、不正操作が容易です。このホワイトペーパーでは、DeepLがブラインド比較による人間の判断を用いて品質を評価する方法、BLEUやCOMETなどの確立された指標が不十分な理由、そして私たちのベンチマーク手法が実際に何をテストするのかを解説します。
ホワイトペーパーの内容
- BLEUとCOMETの限界 — 流暢性を重視したスコアでは、実運用において最も重要な誤りが見落とされてしまう理由
- DeepLのブラインド比較評価手法 — DeepLがブランド、位置、親しみやすさによるバイアスを排除するためにテストを設計する方法
- 勝率の算出方法 — 質の高いランキングを生み出すペアワイズ比較モデル
- このアプローチの率直な限界 — ベンチマークが伝えること、そして伝えられないこと
ホワイトペーパーをダウンロード
この手法についてさらに詳しく知りたい方は、『DeepLによる翻訳品質の評価方法』をぜひお読みください。