Jak działa DeepL?

Wiele osób zastanawia się, dlaczego Tłumacz DeepL często działa lepiej niż konkurencyjne systemy dużych firm technologicznych. Dzieje się tak z kilku powodów. Podobnie jak większość podobnych systemów, Tłumacz DeepL tłumaczy teksty za pomocą sieci neuronowych. Sieci te są trenowane na wielu milionach przetłumaczonych tekstów. Nasi badacze zdołali jednak wprowadzić wiele ulepszeń do ogólnej metodologii sieci neuronowych, głównie w czterech obszarach.

Architektura sieci

Powszechnie wiadomo, że większość publicznie dostępnych systemów tłumaczeniowych to bezpośrednie modyfikacje architektury Transformer. Dotyczy to też sieci neuronowych Tłumacza DeepL, które również zawierają elementy tej architektury, takie jak mechanizmy uwagi. Widoczne są jednak wyraźne różnice w topologii sieci, które prowadzą do wyraźnej poprawy jakości tłumaczeń w stosunku do aktualnego stanu techniki. Te różnice w strukturze stają się jeszcze bardziej widoczne, gdy użyjemy tych samych danych do trenowania naszych architektur i porównamy je z najbardziej znanymi architekturami Transformer.

Dane treningowe

Większość naszych bezpośrednich konkurentów to duże firmy technologiczne, które przez lata zdobyły duże doświadczenie w tworzeniu robotów indeksujących (web crawlers). Mają one zatem wyraźną przewagę pod względem ilości dostępnych danych treningowych. Z kolei DeepL kładzie duży nacisk na pozyskiwanie specjalnych danych, które pozwalają naszej sieci osiągnąć jeszcze lepszą jakość tłumaczeń. W tym celu stworzyliśmy m.in. specjalne roboty indeksujące, które automatycznie wyszukują tłumaczenia w internecie i oceniają ich jakość.

Metodologia treningowa

Zazwyczaj sieci treningowe są trenowane przy użyciu metody zwanej „uczeniem nadzorowanym”. Polega ona na tym, że sieć jest stale konfrontowana z różnymi przykładami i nieustannie porównuje swoje własne tłumaczenia z tłumaczeniami z danych treningowych. Jeśli występują rozbieżności, wagi sieci są odpowiednio korygowane. Oczywiście używamy również innych technik uczenia maszynowego do trenowania naszych sieci neuronowych. Pozwala nam to osiągnąć znaczną poprawę jakości tłumaczeń.

Rozmiar sieci

Podobnie jak nasi najwięksi konkurenci, trenujemy nasze sieci neuronowe przy użyciu miliardów parametrów. Sieci te są tak duże, że mogą być trenowane tylko w sposób rozproszony na bardzo dużych klastrach obliczeniowych. W trakcie badań przywiązujemy jednak dużą wagę do wykorzystania parametrów sieci w możliwie najbardziej efektywny sposób. Dzięki temu udało nam się osiągnąć podobną jakość tłumaczeń nawet przy mniejszych i szybszych sieciach. Również z tego powodu możemy zaoferować użytkownikom naszego darmowego serwisu tłumaczenia bardzo wysokiej jakości.

Stale szukamy zdolnych matematyków i informatyków, którzy mogliby pomóc nam ulepszać Tłumacza DeepL i pokonywać bariery językowe na całym świecie. Jeśli masz doświadczenie w dziedzinie matematyki i sieci neuronowych, a do tego pragniesz pracować nad darmowym produktem, który jest używany przez miliony ludzi na całym świecie, skontaktuj się z nami!