リアルタイム音声翻訳は、単に入力や出力の形式が新しくなった翻訳ではありません。AI研究にとって、根本的に新しく、これまでにない大きな挑戦です。その実現には、翻訳の優先順位を見直し、新たな制約に対応するとともに、AIモデルにこれまでにない判断や意思決定が求められます。その結果、従来とはまったく異なるユーザー体験が実現します。 

この挑戦に取り組んでいるのが、当社のVoice研究チームに所属するリサーチマネージャーのサシャ・ブリンカーと、リサーチサイエンティストのクリスティーナ・ガイスラーです。二人は、DeepLが誇る高品質なテキスト翻訳AIモデルをさらに進化させ、リアルタイム音声翻訳の新たな基準を打ち立てることを目指すチームの一員です。現在は、これまでの成果を土台に、新たなモデルや学習手法を開発し、多言語によるリアルタイム音声翻訳の可能性をさらに広げています。

高品質なテキスト翻訳モデルを基盤に

私たちは、DeepLの既存のテキスト翻訳モデルが備える高い翻訳品質と文脈理解という強みを基盤に開発を始めました。Voiceチームは、このモデルを活用するとともに、翻訳速度を高めるために推論戦略を最適化することで、早い段階から大きな成果を上げました。その後は、DeepLが持つ言語ペア間の関係性に関する知見を生かし、新たな学習手法を取り入れることで、翻訳を出力する最適なタイミングを判断できる音声専用モデルを開発しました。 

ここでの目標は、レイテンシや翻訳速度（ユーザーが会話の流れを追い、リアルタイムで会話に参加するために欠かせない要素）と、精度・安定性の最適なバランスを見つけることです。このバランスを実現することで、DeepLは文の終わりまで待つことなく翻訳を開始できます。同時に、翻訳済みの字幕を後から修正することで生じる「ちらつき」も最小限に抑えられます。こうした工夫が、ユーザー体験を大きく向上させるのです。

文字起こしの工程を省く

テキスト翻訳モデルを進化させることで、私たちはここまで大きく前進することができました。その成果は顕著で、現在Slatorは、リアルタイム音声翻訳の品質と安定性の両面において、DeepLを圧倒的なリーダーと評価しています。しかし、音声を文字起こしせずに直接翻訳できるようになることで、さらに大きな前進を、より速いペースで実現できます現在チームは、テキストを介することなく、音声入力から直接翻訳音声を生成するモデルの開発に取り組んでいます。

翻訳対象となる会話について、何が話題なのか、誰が話しているのか、そして、どのような表現や用語が使われそうかといった文脈を、モデルにより多く与えることで、翻訳品質をさらに向上させることができます。これは、一流の人間通訳者が重要な会議やイベントの前に行う綿密な事前準備を再現したものです。その結果、人間の通訳者と同様に、話し手が最初の言葉を発し始めた瞬間から、その後に続く内容を先読みしながら翻訳できるようになります。

音声翻訳の新たな可能性を切り拓く

これらの新しい音声から音声へ直接翻訳するモデルは、現在の音声翻訳が抱える主要な制約のいくつかを取り払います。これにより、これまでにない新たな可能性が広がります。

テキストを介した変換が不要になることで、音声翻訳を提供するまでにかかる時間を数秒単位で短縮できます。リアルタイムで話の流れを追う場面では、このスピード向上は非常に大きな意味を持ち、ユーザーや参加者の体験に大きな違いをもたらします。

それだけではありません。音声入力を直接扱うことで、人々の話し方に表れるアクセントや方言、ニュアンスを認識できるようモデルを訓練できます。さらに、推論により多くの時間をかけられることに加え、より豊富な音声情報を活用できるため、人々の言葉に込められた感情や、その背後にある意味まで捉えた音声を生成できるようになります。

AIによるリアルタイム音声翻訳の未来は、単に高速化されるだけではありません。より人間らしいものへと進化し、人が話す際に伝えている多層的な情報を、これまで以上に捉えられるようになります。これにより、DeepLは単なる翻訳エンジンから、リアルタイムの音声レイヤーへと進化します。言語による障壁を感じさせることなく、人と人との最も自然なコミュニケーションを実現できるようになります。 

だからこそ、この分野はDeepLのAI研究の中でも、最も可能性に満ちた領域の一つなのです。