Penerjemahan ucapan real-time bukan sekadar penerjemahan dengan bentuk masukan atau keluaran yang baru. Ini merupakan tantangan yang secara fundamental baru, berbeda, dan menarik bagi penelitian AI. Tujuannya adalah menghadirkan bentuk pengalaman pengguna yang sangat berbeda, yang mengubah prioritas terjemahan, memperkenalkan batasan baru, dan menuntut bentuk penilaian serta pengambilan keputusan baru dari model AI. 

Itulah tantangan yang dihadapi oleh Manajer Riset Sascha Brinker dan Ilmuwan Riset Kristina Geißler sebagai bagian dari tim riset suara kami. Mereka merupakan bagian dari kelompok yang mengembangkan model AI berkualitas tinggi DeepL untuk terjemahan teks guna menetapkan standar baru dalam menerjemahkan suara real-time. Kini, mereka mengembangkan kesuksesan awal tersebut dengan model dan teknik pelatihan baru yang membuka kemungkinan yang sepenuhnya baru untuk ucapan multibahasa secara real-time.

Mengembangkan model terjemahan teks berkualitas tinggi

Kami memulai dari titik yang baik: kualitas dan pemahaman konteks dari model terjemahan teks DeepL yang sudah ada. Tim Suara berhasil meraih kemajuan awal yang signifikan dengan menerapkan model ini, serta menyesuaikan strategi inferensi untuk meningkatkan kecepatan terjemahan. Mereka kemudian mengembangkan model khusus untuk suara yang dapat mengidentifikasi momen terbaik untuk menghasilkan terjemahan suara, memanfaatkan pemahaman DeepL tentang hubungan antarpasangan bahasa, dan menerapkan lapisan pelatihan baru. 

Tujuannya di sini adalah menemukan keseimbangan yang tepat antara latensi dan kecepatan terjemahan (yang sangat penting bagi kemampuan pengguna untuk mengikuti dan terlibat dalam percakapan saat berlangsung), dengan akurasi dan stabilitas. Menguasai keseimbangan ini berarti DeepL tidak perlu menunggu akhir kalimat sebelum menerjemahkannya. Pada saat yang sama, hal ini meminimalkan ‘flickering’ yang terjadi ketika model dipaksa untuk mengoreksi terjemahan subtitle. Hal-hal ini memberikan perbedaan yang sangat besar pada pengalaman pengguna.

Menghilangkan tahap transkripsi

Menyesuaikan dan mengembangkan model terjemahan teks kami telah membawa kami jauh. Bahkan, Slator saat ini menempatkan DeepL sebagai pemimpin yang jelas dalam hal kualitas dan stabilitas terjemahan suara real-time. Namun, menghilangkan keharusan untuk mentranskripsi teks sebelum menerjemahkannya dapat membawa kami lebih jauh lagi, dengan lebih cepat. Tim kami saat ini sedang mengembangkan model yang dapat menghasilkan keluaran ucapan terjemahan langsung dari masukan audio, tanpa melalui tahap teks perantara.

Kami dapat meraih kemajuan lebih lanjut dengan memberikan model kami konteks yang lebih luas mengenai percakapan yang diterjemahkannya: apa yang sedang dibahas, siapa yang membicarakannya, serta frasa dan terminologi spesifik yang kemungkinan besar akan mereka gunakan. Hal ini meniru banyak pekerjaan pelatihan intensif yang dilakukan oleh penerjemah manusia tingkat atas sebelum acara atau pertemuan besar. Sama seperti mereka, hal ini memungkinkan model kami menerjemahkan apa yang akan dikatakan seseorang, sejak saat mereka mulai menyusun kata pertama.

Membuka cakrawala baru bagi terjemahan suara

Model-model baru yang langsung ini, yang mengubah ucapan menjadi ucapan, menghilangkan beberapa kendala terpenting yang saat ini dihadapi oleh terjemahan suara. Dengan demikian, model-model ini membuka beberapa kemungkinan baru yang sangat menarik.

Tanpa perlu menerjemahkan ke teks dan kembali ke suara, kami dapat menghemat beberapa detik dalam waktu yang dibutuhkan untuk menyampaikan terjemahan lisan. Dalam konteks mengikuti ucapan secara real-time, ini merupakan percepatan yang sangat signifikan yang akan berdampak besar pada pengalaman pengguna dan audiens.

Dan masih ada lagi. Bekerja secara langsung dengan input audio berarti kita dapat melatih model untuk mendeteksi aksen, dialek, dan nuansa yang tertanam dalam cara orang berbicara. Waktu inferensi tambahan dan masukan audio yang lebih kaya berarti kita dapat menciptakan keluaran lisan yang menangkap emosi dan makna yang lebih dalam dari apa yang dikatakan orang.

Masa depan terjemahan suara secara real-time melalui AI bukan hanya soal kecepatan. Masa depan terjemahan suara real-time melalui AI juga lebih manusiawi: menangkap lebih banyak tingkatan komunikasi yang dilakukan orang saat berbicara. Hal ini mengubah DeepL dari mesin terjemahan menjadi lapisan suara real-time, yang mampu mewujudkan bentuk komunikasi manusia yang paling alami sehingga bahasa tidak lagi menjadi sumber gesekan. 

Itulah yang menjadikan ini salah satu bidang Penelitian AI paling menarik di DeepL.