Hur fungerar DeepL?

Vi får ofta frågan om varför DeepL Translator ofta fungerar bättre än konkurrerande system från stora teknikföretag. Det finns flera skäl till detta. Liksom de flesta översättningssystem översätter DeepL Translator text med hjälp av artificiella neurala nätverk. Dessa nätverk är tränade på många miljoner översatta texter. Våra forskare har dock kunnat förbättra den övergripande metoden för neurala nätverk, främst inom fyra områden.

Nätverksarkitektur

Det är välkänt att de flesta allmänt tillgängliga översättningssystem är direkta modifieringar av Transformer-arkitekturen. Naturligtvis innehåller DeepL:s neurala nätverk också delar av denna arkitektur, såsom uppmärksamhetsmekanismer. Det finns dock också betydande skillnader i nätverkens topologi som leder till en övergripande betydande förbättring av översättningskvaliteten jämfört med den senaste forskningen inom området. Vi ser tydligt dessa skillnader i nätverksarkitekturens kvalitet när vi internt tränar och jämför våra arkitekturer och de mest kända Transformer-arkitekturerna på samma data.

Träningsdata

De flesta av våra direkta konkurrenter är stora teknikföretag som har en historik av många år med att utveckla webbcrawlers. De har därför en tydlig fördel när det gäller mängden tillgängliga träningsdata. Vi lägger däremot stor vikt vid att målinriktat samla in särskilda träningsdata som hjälper vårt nätverk att uppnå högre översättningskvalitet. För detta ändamål har vi bland annat utvecklat speciella sökrobotar som automatiskt hittar översättningar på internet och bedömer deras kvalitet.

Metodik för att träna

Inom offentlig forskning tränas träningsnätverk vanligtvis med hjälp av metoden ”övervakad inlärning”. Nätverket visas olika exempel om och om igen. Nätverket jämför upprepade gånger sina egna översättningar med översättningarna från träningsdata. Om det finns avvikelser justeras nätverkets vikter i enlighet därmed. Vi använder också andra tekniker från andra områden inom maskininlärning när vi tränar de neurala nätverken. Detta gör det också möjligt för oss att förbättra.

Nätverkets storlek

Samtidigt tränar vi (liksom våra största konkurrenter) översättningsnätverk med många miljarder parametrar. Dessa nätverk är så stora att de endast kan tränas på ett distribuerat sätt på mycket stora dedikerade datorkluster. I vår forskning lägger vi dock stor vikt vid att nätverkets parametrar används på ett mycket effektivt sätt. På så sätt har vi lyckats uppnå en liknande översättningskvalitet även med våra mindre och snabbare nätverk. Vi kan därför även erbjuda mycket hög översättningskvalitet till användare av vår kostnadsfria tjänst.

Naturligtvis är vi alltid på jakt efter duktiga matematiker och datavetare som vill bidra till utvecklingen, förbättra DeepL Translator ytterligare och bryta ner språkbarriärer runt om i världen. Om du också har erfarenhet av matematik och träning av neurala nätverk, och om det tillfredsställer dig att arbeta med en produkt som används utan kostnad över hela världen, så ansök till DeepL!