エンタープライズ向け言語AIの信頼性を読み解く――Slatorとの対談
言語テクノロジー分野のあらゆるRFP（提案依頼書）には、ベンダーの「信頼性」を問う項目があり、どのベンダーも自社の信頼性を示そうとしています。運用開始から6か月後、問題が発生します。データが想定とは異なる法域に保存されていたり、誰にも知らされないまま行われたモデル更新によって出力内容が変わっていたり、コストが当初の見込みの3倍に膨らんでいたりするかもしれません。問題は「信頼」や「品質」という言葉そのものにあるのではありません。それらの言葉が、その場にいた人それぞれにとって異なる意味で受け止められていたことにあるのです。
「The New Fluency」ポッドキャストの最近のエピソードで、Slatorのマネージング・ディレクター、フロリアン・フェース氏と、コンサルティング部門責任者のアレックス・エドワーズ氏が、企業の購買担当者が「信頼」という言葉に実際にどのような意味を込めているのかを詳しく解説しました。
1. 正確性への信頼：誰もが最初に問うポイント
正確性は、信頼に関する議論の出発点です。しかし実際には、すでに求められる水準が当たり前のものとなっているため、この点に時間を費やしてもあまり意味はありません。
「4年前は、『ああ、これはAIが作ったものだな。絶対にどこかに間違いがある』という反応ばかりでした」とフロリアン氏は語りました。「AIの出力に対する信頼は劇的に高まっています。AI全般を信頼する人が増えたことで、AI翻訳に対する信頼も大きく高まったのです」
問題は、AIの出力が特定のユースケースにとって十分な精度を備えているかどうかです。医薬品のラベル、ユーザーによる製品レビュー、社内向けの参考用要約では、ユースケースやコンテンツの種類に応じて求められる精度の水準が異なります。
コンテンツの種類を具体的に指定しないと、重要度の低いコンテンツに必要以上の品質を求めてしまったり、本当に重要なコンテンツでは必要な品質要件を十分に定められなかったりする可能性があります。
2. 一貫性への信頼：規制業界の企業が直面する本当の課題
金融サービス、製薬、法務の各分野では、完全な正確性は当然の前提とされています。本当に難しいのは、その先にある問いです。アレックス氏はそれを次のように説明しています。
「規制の厳しい業界の企業と話をすると、一貫性や信頼性がより重視される傾向があります。提供されるものが常に一貫していて、信頼できるものであるという確信を持てるかどうかは、こうしたお客様にとって特に重要なポイントです」
したがって、焦点となるのは出力そのものではなく、それを支えるシステムです。第2四半期にモデルを更新したにもかかわらず、その事実を知らせなかったベンダーは、規制当局への申請に利用するシステムとしては信頼できません。
3. セキュリティへの信頼：情報セキュリティ審査で取引の成否を左右する問い
データを預けた後、そのデータはどこに保存され、誰がアクセスできるのでしょうか。アレックス氏は次のように指摘しています。
「ローカライズされたコンテンツが人間によって作成されたものなのか、それともそうではないのか。その点についてクライアントに対して透明性を確保することは、監査可能性やセキュリティ対策と同様に重要です。データの保存場所や取り扱い方法とあわせて、これらはいずれも信頼を築くうえで重要な要素となります」
これは、後になって初めて明らかになる要件です。機能評価は完了し、ステークホルダー間の認識も一致した頃になって、情報セキュリティ部門が、誰もRFPに盛り込んでいなかった、たった一つの質問を投げかけます。現在のAIベンダーは、以前はオンプレミス環境や、厳格に管理されたLSP（言語サービスプロバイダー）との関係の中で処理されていたコンテンツを扱っています。その結果、リスクにさらされる範囲が広がり、EU、米国、APACではデータに関する要件も必ずしも一致していません。
4. 大規模運用への信頼：「デモで動く」だけでは十分ではない
「AI翻訳が大規模な運用でもきちんと機能することを、人々は信頼できなければなりません。単なるおもちゃでも、デモや試験的なプロジェクトでしか動かないものでもなく、何百万語ものコンテンツを処理しても実際に機能するものでなければなりません。デモでは問題なく動いていても、本番環境ではうまく機能しないことがあります」
フロリアン氏は、多くの購入者が見落としがちな「コスト」という側面についても言及しました。
「導入初月だけで、Claudeのトークンに150万ドルを費やした企業もあると聞いています」
それ自体は、ベンダー側の問題ではありません。問題は、大規模運用でも想定どおりに機能するかを十分に確認しなかったことです。購入者は、導入を決定する前に、実際の処理量を想定してコストモデルを十分に検証していなかったのです。
5. 成果への信頼：多くの購入者が見落としている要件
「多くの企業の購買担当者は、品質がその後の業務やビジネス成果にどのような影響を及ぼすのかを考え始めています。たとえば、翻訳したWebサイトのコンバージョン率はどう変化するのか。重要なのは、品質がもたらす効果を実際に測定できることです。そして、品質がビジネス成果にどのような影響を与え、両者がどのように結び付いているのかを理解することです」
多くの購買担当者は、MTQEスコアやレビューパネルといった出力品質指標を基に、言語AIを評価しています。しかし、翻訳品質の違いが実際にビジネス成果を左右しているかどうかを測定している企業はほとんどありません。本当に注目すべきなのは、母語版を利用するユーザーと翻訳版を利用するユーザーとの間で、コンバージョン率やサポート問い合わせの回避率、NPSにどのような差が生じているかです。
今のうちにこうした測定基盤を整備した購買担当者は、代理指標ではなく、実際のビジネス成果を示す指標に基づいてベンダーを選定できるようになるでしょう。
「信頼性という観点では、ほぼ誰もが精度を基準としています」とアレックス氏は述べています。「ただし、何が重視されるかは、相手の購買担当者によって異なります」
まさにそこが問題なのです。どのベンダーも、品質に関する問いには「精度」という観点から答えます。なぜなら、それが顧客から問われることだからです。一方で、残る4つの要件は十分に検討されないまま、本番運用になって初めて問題として明らかになります。
解決策は、より優れたRFPを作成することではありません。重要なのは、これら5つの「信頼」のうち、自社として譲れないものがどれなのかを明確にすることです。
ぜひエピソード全編をご覧ください！
フロリアン氏、アレックス氏、モラナ氏が、検証や品質フレームワークについてさらに深く掘り下げるほか、ローカライゼーション業界の今後数年間の展望についても語っています。 YouTubeでエピソード全編を見る：AI時代における翻訳品質の定義 ― Slator アレックス・エドワーズ氏とフロリアン・フェース氏もっと詳しく知りたい方は、もっと詳しく知りたい方は、YouTubeで『The New Fluency』シーズン1の全エピソードをご覧ください。 年間790億語をどうローカライズするのか ― Booking.com ミック・シャイナ氏
AIファースト時代におけるローカライゼーションプロセスの設計― Trusted Shops クラウディア・ミューラー氏 プロダクト志向で複雑性のボトルネックを乗り越える― Maxon オルガ・ストコヴィエツ氏 開発は迅速に、翻訳はさらに迅速に ― GitLab マリア・ホセ・サルメロン・イバニェス氏
文化を越えてブランドを築く ― CMO兼著者 キャサリン・メルキオール・レイ氏
成長企業に向けたスケーラブルなローカライゼーション体制の構築 — headout リーナ・トロネン氏