DeepL AI Labs
MixhaloをDeepLプラットフォームに統合したことで、大規模なリアルタイム音声間翻訳が可能になっただけではありません。音声分野で私たちが実現できることの幅そのものが広がっています。音声配信の速度を自在に制御し、それによる制約を取り払うことができれば、これまで不可能だと思われていたことも、すぐに製品ロードマップとして具体化できるようになります。
両社のチームは協力して、あらゆる体験やインタラクションで利用できる音声言語レイヤーを構築しています。DeepL Voice APIを通じて、世界中のイノベーターが、さまざまな顧客体験やオーディエンスとの接点に、リアルタイムの多言語音声機能を組み込めるよう支援しています。
たとえば、ゴールやタッチダウンを伝えるスポーツ実況の感情を余すところなく再現すること、医療現場で非母語話者が感じる孤立感を解消する、すぐに利用可能な音声体験、ストレスやフラストレーションを軽減するよう綿密に設計されたカスタマーサポートの通話体験、さらには、人間の通訳よりもはるかに速く翻訳音声を届ける、ライブイベントでの多言語体験などが挙げられます。
リアルタイムの多言語オーディオに不可欠な基盤
Mixhaloの共同創業者であるヴィク・シン氏と、DeepLのVoice部門責任者であるレオ・ドイン氏は、互いに補完し合う異なるアプローチから、多言語オーディオの遅延を低減するという課題に取り組んできました。Mixhaloは音楽業界から生まれ、ドラマーがスネアを叩く音を、音波そのものが届くよりも速く、スタジアムにいる何千人ものファンにストリーミングしてきました。DeepLの言語モデルは、別のAPIへの受け渡しを一切行うことなく、リアルタイム音声の翻訳をエンドツーエンドで処理し、翻訳の遅延を最小限に抑えています。
感情まで伝わる翻訳音声体験の設計
独自開発の音声キャプチャデーモン、カスタムネットワークプロトコル、リアルタイムのエラー検出、高速再生に最適化されたオーディオエンジン――こうした技術革新のすべてが、ライブ音声翻訳の体験をさらに最適化するための時間と余地を生み出しています。さらに言語インテリジェンスを組み合わせることで、翻訳に最適なタイミングを判断し、文法構造の異なる言語を適切に同期できるモデルによって、こうした最適化を瞬時に実現できます。
理想的なライブ翻訳体験とは、翻訳音声を即座に再生することではありません。重要なのは、各言語の仕組みを深く理解したAIによって、再生を適切に調整することです。
こうした技術を組み合わせることで、コールセンター向けのライブ音声間翻訳を実現しています。これは、DeepL Voice APIの最も強力な活用例のひとつです。ヴィク氏とMixhaloのチームは、お客様がサポート担当者とのつながりを常に感じられるよう、そして翻訳によって「自分の声がきちんと届いている」という感覚が損なわれることがないよう、この仕組みの開発に取り組んでいます。
人間には実現できないスピードで翻訳されるライブイベント
DeepLとMixhaloの連携がもたらす最大のインパクトは、おそらくライブイベントで実感されることになるでしょう。数千人の参加者と数百人の講演者が集まるカンファレンスでも、会場内のどこにいても各自のデバイスにストリーミングされる音声を通じて、誰もが希望する言語でアイデアを共有し、セッションの内容を理解できるようになります。
こうした場面でこそ、リアルタイムの多言語音声レイヤーの真価が発揮されます。超低遅延の音声により、参加者は会場内を移動しながらでも、希望する講演者の話を聞くことができます。セッションが行われている会場にいなくても、その内容を聞くことができます。リアルタイムで瞬時に行われる音声翻訳により、すべての参加者が、感情や言葉に表れないニュアンスまでそのままに、自分が最も理解しやすい言語で講演を聞くことができます。また、すべての講演者が、アイデアを思いついたときの言語で、そのまま共有できるようになります。
しかし、おそらく最も印象的なのは、これらすべてが行われるスピードでしょう。ライブイベントの通訳者が事前に準備するのと同じように、DeepLのAIモデルが基調講演やパネルディスカッションなどの各セッションの背景情報を把握し、取り込めるようにするための革新的な手法を開発しています。これをAIの高速な処理能力と組み合わせることで、人間の通訳者をはるかに上回るスピードで、リアルタイムの音声間翻訳を生成できるようになります。これにより、多言語コンテンツの体験に対する常識が塗り替えられます。まるで未来を先取りしたような、魔法のような体験になるでしょう。そして、音声コミュニケーションに何を期待できるのか、その常識も変わり始めます。