Você ainda deve se preocupar com a qualidade da tradução?
Pergunte sobre a qualidade de qualquer serviço de tradução por IA, e alguém provavelmente vai responder com um número, que costuma ser de 0 a 100. Em geral, ele é calculado usando uma das fórmulas padrão para classificar a qualidade da tradução. Parece uma visão simples, objetiva e definitiva sobre qual provedor tem as “melhores” traduções. Além disso, na grande maioria das vezes, as traduções do provedor a quem você fez a pergunta vão aparecer no topo. Depois de décadas ouvindo o mantra “os dados é que mandam”, agora também sabemos que eles podem ser interpretados da maneira que melhor convém a quem estiver contando a história.
Vou ser sincera. Se você perguntar ao DeepL sobre qualidade de tradução, vai receber a mesma resposta. Vamos compartilhar com você a análise detalhada de benchmarking de qualidade que fizemos em março, com 48 mil testes cegos envolvendo especialistas, que mostrou que o DeepL venceu em 94% dos grupos de teste em 16 combinações de idiomas e contra todos os cinco principais concorrentes, incluindo todos os LLMs mais poderosos. Sem falsa modéstia.
No entanto, há algo que ninguém na área de tradução por IA gosta de admitir. Trata-se de uma verdade inconveniente que é varrida para debaixo do tapete sempre que os resultados dos testes são divulgados. Estamos medindo lacunas de qualidade que estão ficando cada vez menores, tanto que algumas pessoas podem até argumentar que elas já não importam mais.
Atualmente, todas as traduções por IA de textos escritos já são, no geral, boas. São poucos os erros que alguém que não é especialista conseguiria perceber à primeira vista. As diferenças são mínimas, sutis e bem subjetivas. É em parte por isso que existem tantos rankings diferentes por aí e por que é fácil para os principais modelos encontrarem um que os favoreça.
Então, se você está escolhendo um provedor de tradução por IA, ainda deve se preocupar com a qualidade como um diferencial? Eu acredito que sim, mas a qualidade medida por pontuações em testes não deveria ser o seu foco.
Há uma diferença cada vez maior entre o desempenho da tradução por IA em testes padronizados de qualidade e na prática, para sua organização e seu conteúdo. Em um teste, as lacunas de qualidade parecem mínimas. No mundo real, as diferenças são muito maiores e causam bastante impacto nos negócios.
O que os testes de qualidade de tradução por IA medem
Para explicar o que eu quero dizer, vamos analisar mais a fundo o que os testes padronizados de qualidade realmente medem, como eles medem e, o mais importante, o que eles não incluem.
Quando linguistas humanos avaliam uma tradução, eles geralmente usam a estrutura Multidimensional Quality Metrics (“MQM”, sigla em inglês), que inclui oito dimensões diferentes de qualidade da tradução. Ao atribuir métricas a essas diferentes dimensões e escolher como ponderá-las, é possível criar uma fórmula que represente a qualidade matematicamente, por meio de uma pontuação numérica única.
As dimensões da estrutura MQM incluem precisão (até que ponto uma tradução para o idioma de destino corresponde ao conteúdo do texto original no idioma de origem), mas também elementos como fluência (o nível de fluidez da tradução no idioma de destino), terminologia específica da área de domínio (se os termos especializados estão corretos), se a tradução reflete bem o estilo e se ela segue convenções locais, entre outros.
O que significam as diferentes fórmulas de qualidade da tradução
Usar linguistas especializados para avaliar traduções é complicado e caro. Na prática, muitos dos rankings de qualidade de tradução associados a provedores de IA sequer usam avaliação humana. Em vez disso, eles usam sistemas automatizados de pontuação. Com o passar dos anos, esses sistemas ficaram cada vez mais sofisticados.
- Em 2001, a IBM lançou o Bilingual Evaluation Understudy (“BLEU”, na sigla em inglês). Ele analisa em que medida uma tradução automática se aproxima de uma tradução humana do mesmo texto original. Qual é o problema disso? Ele parte do princípio de que essa tradução de referência é a melhor tradução possível e que qualquer desvio em relação a ela é um erro.
- Em 2006, ele foi adaptado para a avaliação Translation Edit Rate (“TER”, na sigla em inglês), que conta o número de edições que um tradutor humano precisaria fazer para transformar a tradução automática em uma tradução humana. Ela é parecida com o BLEU, mas, nesse sistema, quanto menores os números, melhor.
- Em 2020, a Unbabel lançou a Crosslingual Optimized Metric for Evaluation of Translation (“COMET”, na sigla em inglês), usando um modelo de rede neural para comparar uma tradução automática tanto com uma tradução humana quanto com o texto original. Ela usa o texto original como referência para tentar entender o significado, o que o BLEU e a TER não fazem.
- A avaliação automatizada entrou na era dos LLMs em 2023 com o lançamento da GPT Estimation Metric Based Assessment (“GEMBA”, na sigla em inglês), que instrui os LLMs a aplicar as diferentes dimensões da estrutura MQM a uma tradução e decidir como foi seu desempenho.
A avaliação automatizada de traduções evoluiu e se tornou cada vez mais útil, mas ainda não consegue igualar totalmente o julgamento de especialistas humanos. Quando os LLMs assumem a difícil tarefa de avaliar a qualidade, eles se deparam com problemas de vieses, favorecendo continuamente as traduções produzidas pelo próprio modelo, mesmo que elas não tenham o nível de precisão necessário. Isso se deve, em parte, à natureza subjetiva da qualidade da tradução. Na prática, um modelo de IA está corrigindo seu próprio trabalho de tradução e decidindo que a sua solução foi a melhor.
A WMT25, décima edição de uma conferência anual sobre avaliação automatizada, chegou a uma conclusão bem clara sobre isso: “Os sistemas que lideraram as métricas automatizadas não se saíram repetidamente bem na avaliação humana, o que aponta para um viés persistente e reforça que a avaliação por especialistas deve continuar sendo o árbitro final da qualidade da tradução”.
Em outras palavras: se você realmente quer saber sobre a qualidade da tradução, pergunte a um especialista humano (como o DeepL faz nos nossos testes comparativos). À medida que as diferenças na qualidade da tradução por IA ficam cada vez menores, o julgamento humano sobre como equilibrar todos os diferentes elementos se torna ainda mais valioso. As diferenças de qualidade não são mais óbvias, pelo menos não nos testes de qualidade padrão.
O que os testes de qualidade de tradução deixam de lado: contexto, determinismo e consistência
Como eu já mencionei, a qualidade da tradução medida nos testes não é a mesma que aquela que você percebe na prática, especialmente ao gerenciar tradução e localização em uma organização complexa. Na verdade, são os aspectos da qualidade da tradução que os testes não medem que causam o maior impacto nos negócios.
A maioria das estruturas e sistemas de pontuação que mencionei neste blog é “analítica”. Eles geralmente funcionam comparando “segmentos” do texto original e do traduzido, que costumam são apenas frases individuais. Eles também avaliam a qualidade da tradução de cada frase isoladamente, como se ela não tivesse nada a ver com as outras frases do texto.
Nossa experiência real ao consumir conteúdo traduzido não se parece em nada com isso. Ela é “holística”, ou seja, inclui não só a frase que estamos lendo no momento, mas todo o texto do qual ela faz parte, e inclui também todas as outras comunicações de uma organização. Nessa realidade holística, a qualidade de uma frase traduzida individualmente sem dúvida importa menos do que a qualidade da consistência e da coerência do material traduzido como um todo.
Toda organização tem seu próprio vocabulário característico: terminologia e expressões para produtos e recursos, áreas de negócios, aspectos de serviço, conceitos estratégicos e outros. Traduzir esses termos de forma consistente é um aspecto fundamental da qualidade da tradução. Se uma tradução em um Help Center não corresponde aos termos usados nos produtos ou nos botões de chamada à ação, isso significa que a qualidade da tradução é ruim, não importa se as traduções individuais estão tecnicamente corretas ou não.
Quando uma plataforma de tradução por IA determina terminologia, estilo e tom em grande escala (como o DeepL faz com glossários, regras de estilo e memórias de tradução), ela se torna muito mais valiosa. Por outro lado, a natureza fundamentalmente probabilística dos grandes LLMs de uso geral (Claude, Gemini, ChatGPT) sacrifica o determinismo, a conformidade e a consistência. Eles perdem o que realmente importa quando se trata de qualidade da tradução na prática.
O que os testes de qualidade de tradução deixam de lado: como a qualidade é alcançada
Os testes padrão de qualidade da tradução também não se preocupam com a forma como o desempenho da qualidade é alcançado e até que ponto isso é realmente escalável.
Os próprios testes cegos do DeepL com especialistas humanos mostram que os LLMs de uso geral mais recentes, em configurações de alto raciocínio, podem produzir uma qualidade de tradução competitiva em combinações de idiomas específicas. No entanto, eles fazem isso usando modelos maiores, áreas de tarefas mais amplas e janelas de contexto mais extensas.
Isso significa que eles usam muitos tokens (com custos imprevisíveis) e demoram muito mais tempo (são pelo menos 4 e até 29 vezes mais lentos), o que causa um grande impacto se você estiver implementando tradução por IA em produtos, por meio de uma API. E o mais importante em termos de qualidade: eles são, por natureza, menos previsíveis nas traduções que escolhem. Eles basicamente reinventam a roda da tradução para cada tarefa e, por isso, os termos e frases que usam em um contexto têm muito menos chances de serem repetidos em outro.
Se você estiver fazendo traduções em escala empresarial, esse é o aspecto da qualidade em que você precisa prestar mais atenção. As pontuações dos testes de qualidade não dizem quase nada de útil sobre isso.
Por que estamos desenvolvendo uma visão holística de qualidade que coloca os clientes no controle
Por esses motivos, as pontuações de testes automatizados são um guia muito limitado para a qualidade da tradução. No entanto, isso não significa que não sejam uma ferramenta bastante útil quando se trata de assumir o controle da qualidade das suas traduções. Na verdade, elas são extremamente valiosas, se você definir o papel delas de uma maneira diferente.
No DeepL, criamos uma nova estrutura de avaliação de qualidade da tradução (TQE), que usa um modelo de IA desenvolvido especificamente para avaliar a qualidade das traduções do DeepL. O crucial é que ele não se limita a gerar uma “pontuação” para a tradução e passar para a próxima. O papel dele é destacar possíveis erros e partes da tradução que podem ser melhoradas com a ajuda dos seus especialistas humanos. Ele reconhece que esse julgamento humano é, no fim das contas, o que importa.
Quando nosso modelo de TQE analisa um texto, ele leva em conta todos os recursos de personalização com os quais você trabalha no DeepL. Ele não analisa a qualidade da tradução isoladamente: ele verifica como a terminologia, o estilo e o tom da sua organização são aplicados no contexto, oferecendo uma visão holística da qualidade que realmente importa na prática.
Se você se preocupa com a qualidade da tradução – e eu acredito que você ainda deve se preocupar –, é essa visão que você deve ter em mente. Não se trata de testes; trata-se de encontrar a perspectiva sobre a qualidade da tradução que seja a ideal para você e que funcione para o seu conteúdo, na prática.