Překlad řeči v reálném čase není jen překlad s novou formou vstupu nebo výstupu. Jedná se o zásadně novou, odlišnou a vzrušující výzvu pro výzkum AI. Jeho cílem je poskytnout zcela odlišnou formu uživatelské přívětivosti, která posouvá priority překladu, zavádí nové omezení a vyžaduje od modelu AI nové formy úsudku a rozhodování. 

To je výzva, které se v rámci našeho týmu pro výzkum hlasu věnují vedoucí výzkumu Sascha Brinker a výzkumná pracovnice Kristina Geißler. Jsou součástí skupiny, která dále vyvíjí vysoce kvalitní model AI společnosti DeepL pro překlad textu, aby nastavila nový standard v překladu řeči v reálném čase. Na tomto počátečním úspěchu nyní staví s novými modely a technikami pro trénování, které otevírají zcela nové možnosti pro vícejazyčnou řeč v reálném čase.

Vycházíme z vysoce kvalitních modelů pro překlad textu

Vycházeli jsme z dobrého základu: kvality a kontextového porozumění stávajícího modelu DeepL pro překlad textu. Tým Voice dokázal díky nasazení tohoto modelu a úpravě strategie odvozování dosáhnout významných počátečních úspěchů a zvýšit tak rychlost překladu. Následně vyvinuli na míru šité modely pro hlas, které dokážou identifikovat nejvhodnější okamžik pro výstup překladu, a to s využitím znalostí DeepL o vztazích mezi jazyky a aplikací nových vrstev trénování. 

Cílem je zde najít správnou rovnováhu mezi latencí a rychlostí překladu (což je klíčové pro schopnost uživatelů sledovat konverzaci a zapojit se do ní v reálném čase) na jedné straně a přesností a stabilitou na straně druhé. Díky zvládnutí této rovnováhy nemusí DeepL čekat na konec věty, než ji přeloží. Zároveň se tím minimalizuje „blikání“, ke kterému dochází, když jsou modely nuceny opravovat přeložené titulky. Tyto aspekty mají obrovský vliv na uživatelskou přívětivost.

Vynechání fáze transkripce

Přizpůsobování a zdokonalování našeho modelu překladu textu nás posunulo o velký kus dál. A to natolik, že Slator v současné době řadí DeepL mezi jasné lídry jak v kvalitě, tak ve stabilitě překladu hlasu v reálném čase. Odstranění nutnosti přepisovat text před jeho překladem nás však může posunout ještě dál a rychleji. Tým v současné době vyvíjí modely, které dokážou generovat přeložený hlasový výstup přímo ze zvukového vstupu, aniž by procházely mezistupněm v podobě textu.

Dalšího zlepšení můžeme dosáhnout tím, že našemu modelu poskytneme více kontextu o konverzacích, které překládá: o čem se mluví, kdo o tom mluví a jaké konkrétní fráze a terminologii pravděpodobně použijí. Tím se do značné míry napodobuje intenzivní trénink, který absolvují špičkoví lidští tlumočníci před významnými událostmi nebo schůzkami. Stejně jako u nich to našim modelům umožňuje překládat to, co se někdo chystá říct, a to od okamžiku, kdy začne formulovat první slovo.

Otevírání nových horizontů pro překlad hlasu

Tyto nové, přímé modely převodu řeči na řeč odstraňují některé z nejdůležitějších omezení, s nimiž se překlad hlasu v současné době potýká. Tím otevírají některé velmi vzrušující nové možnosti.

Díky tomu, že není nutné překládat do textu a zpět, můžeme ušetřit celé sekundy v době potřebné k doručení mluveného překladu. V kontextu sledování řeči v reálném čase jde o velmi významné zrychlení, které bude mít velký dopad na uživatelskou přívětivost i zážitky posluchačů.

A to není vše. Práce přímo se zvukovým vstupem znamená, že můžeme modely trénovat tak, aby rozpoznávaly přízvuky, dialekty a nuance zakotvené ve způsobu, jakým lidé mluví. Díky delší době na odvození a bohatším zvukovým vstupům můžeme vytvářet mluvené výstupy, které zachycují emoce a hlubší význam toho, co lidé říkají.

Budoucnost překladu hlasu v reálném čase pomocí AI není jen rychlejší. Je také mnohem lidštější: zachycuje více z mnoha úrovní, na nichž lidé při mluvení komunikují. Díky tomu se DeepL mění z překladatelského nástroje na hlasovou vrstvu v reálném čase, která umožňuje tu nejpřirozenější formu lidské komunikace tak, že jazyk přestává být zdrojem překážek. 

Právě proto je to jedna z nejzajímavějších oblastí výzkumu AI ve společnosti DeepL.