Як працює DeepL?
Нас часто запитують, чому Перекладач DeepL часто працює краще, ніж системи конкурентів від великих технологічних компаній. Для цього є кілька причин. Як і більшість систем перекладу, Перекладач DeepL перекладає тексти за допомогою штучних нейронних мереж. Ці мережі навчаються на основі мільйонів перекладених текстів. Однак наші дослідники змогли покращити загальну методологію нейронної мережі, головним чином у чотирьох областях.
Архітектура мережі
Загальновідомо, що більшість загальнодоступних систем перекладу є прямими модифікаціями архітектури Transformer. Звичайно, нейронні мережі DeepL також містять частини цієї архітектури, такі як механізми уваги. Однак існують також істотні відмінності в топології мереж, що призводить до загального значного покращення якості перекладу порівняно з сучасним рівнем розвитку державних досліджень. Ми чітко бачимо ці відмінності в якості архітектури мережі, коли внутрішньо навчаємо та порівнюємо наші архітектури та найвідоміші архітектури Transformer на одних і тих самих даних.
Дані для навчання
Більшість наших прямих конкурентів — це великі технологічні компанії, які мають історію багаторічної розробки веб-сканерів. Тому вони мають значну перевагу в обсязі доступних навчальних даних. Ми, з іншого боку, приділяємо велику увагу цілеспрямованому збиранню спеціальних навчальних даних, які допомагають нашій мережі досягти вищої якості перекладу. Для цього ми, серед іншого, розробили спеціальні сканери, які автоматично знаходять переклади в Інтернеті та оцінюють їхню якість.
Методика навчання
У публічних дослідженнях навчальні мережі зазвичай навчаються за допомогою методу «навчання з наглядом». Мережі постійно показують різні приклади. Мережа постійно порівнює власні переклади з перекладами з навчальних даних. Якщо є розбіжності, ваги мережі відповідно коригуються. Ми також використовуємо інші методи з інших областей машинного навчання під час навчання нейронних мереж. Це також дозволяє нам досягти значних покращень.
Розмір мережі
Тим часом ми (як і наші найбільші конкуренти) навчаємо перекладацькі мережі з мільярдами параметрів. Ці мережі настільки великі, що їх можна навчати лише розподіленим способом на дуже великих спеціалізованих обчислювальних кластерах. Однак у наших дослідженнях ми приділяємо велику увагу тому, щоб параметри мережі використовувалися дуже ефективно. Таким чином нам вдалося досягти аналогічної якості перекладу навіть за допомогою наших менших і швидших мереж. Тому ми можемо запропонувати дуже високу якість перекладу навіть користувачам нашого безкоштовного сервісу.
Звичайно, ми завжди шукаємо дуже хороших математиків та комп'ютерних вчених, які хотіли б допомогти у розвитку, подальшому покращенні Перекладача DeepL та подоланні мовних бар'єрів у всьому світі. Якщо ви також маєте досвід у математиці та навчанні нейронних мереж, і якщо вам приносить задоволення робота над продуктом, який безкоштовно використовується у всьому світі, то подайте заявку на роботу в DeepL!