# BLEU

> BLEU mede quanto o texto da IA repete os n-gramas de uma referência. Uma paráfrase fiel pode tirar zero, e um preço errado, nota alta.

- Tipo: Verbete do glossário
- Autor: Dionatha Rodrigues
- Publicado em: 2026-11-09 · Atualizado em: 2026-11-09
- URL: https://clubmartech.com.br/significado/bleu/

## O que é BLEU?

**BLEU**, sigla de *bilingual evaluation understudy*, é uma métrica automática que mede o quanto um texto gerado por máquina se parece com um ou mais textos de referência escritos por pessoas. Ela conta sequências de palavras em comum, os n-gramas, e responde a uma pergunta de precisão: do que o modelo escreveu, quanto aparece na referência?

A métrica foi proposta por Kishore Papineni e colegas da IBM em 2002, no encontro anual da ACL, para avaliar tradução automática sem esperar semanas por avaliadores humanos. No artigo, a correlação com a nota dada por pessoas foi de 0,99 (avaliadores monolíngues) e 0,96 (bilíngues), em cinco sistemas. Hoje ela aparece também na avaliação de textos de [LLM](https://clubmartech.com.br/significado/llm/) e em comparativos de [benchmark de IA](https://clubmartech.com.br/significado/benchmark-de-ia/).

## Exemplos Práticos de BLEU

### Como o cálculo funciona:

1. **Precisão modificada de n-gramas:** para n de 1 a 4, divide os n-gramas do candidato que aparecem na referência pelo total de n-gramas do candidato, contando cada um no máximo tantas vezes quantas aparece na referência.
2. **Média geométrica:** as quatro precisões são combinadas com pesos iguais. Se uma delas for zero, o resultado inteiro vira zero.
3. **Penalidade de brevidade (BP):** com c palavras no candidato e r na referência, BP = 1 quando c > r e BP = e^(1 − r/c) quando c ≤ r. O BLEU final é BP × média geométrica, entre 0 e 1.

### Exemplo com números:

Referência: “a entrega chegou no prazo e o produto veio bem embalado” (11 palavras). Candidato gerado pela IA: “a entrega chegou no prazo e o produto veio intacto” (10 palavras). Calculei em Python, separando palavras por espaço:

- Unigramas: 9 de 10 estão na referência (só “intacto” fica de fora), precisão de 0,900.
- Bigramas: 8 de 9 (0,889). Trigramas: 7 de 8 (0,875). 4-gramas: 6 de 7 (0,857).
- Média geométrica das quatro: 0,880.
- O candidato é mais curto (10 contra 11), então BP = e^(1 − 11/10) ≈ 0,905.
- BLEU ≈ 0,905 × 0,880 ≈ 0,796.

Agora encurte o candidato para “a entrega chegou no prazo”. As quatro precisões dão 1, porque cada pedaço existe na referência, mas a penalidade cai para e^(1 − 11/5) ≈ 0,301, e o BLEU fica em 0,301. A penalidade impede que uma resposta curta leve nota alta.

## Sinônimos e Antônimos Relevantes

### Sinônimos:

- BLEU score
- Pontuação BLEU

### Antônimos:

- Avaliação humana de qualidade
- Métricas orientadas a recall, como o [ROUGE](https://clubmartech.com.br/significado/rouge/)

## Contexto e Áreas de Aplicação

1. **Tradução automática:** o uso original; o artigo de 2002 testou traduções do chinês para o inglês.
2. **Resumo:** os autores sugeriram adaptar o BLEU para resumo; a métrica criada para isso é o ROUGE.
3. **Perguntas e respostas:** compara a resposta do modelo com uma resposta-gabarito.
4. **IA no marketing:** dá para comparar e-mails, descrições de produto ou resumos de atendimento gerados por IA com versões aprovadas pelo time, como sinal rápido de desvio do padrão. Veja onde esse texto entra no artigo sobre [Natural Language Generation em campanhas](https://clubmartech.com.br/blog/natural-language-generation-performance/).

## Referências e Termos Relacionados

- **[ROUGE](https://clubmartech.com.br/significado/rouge/):** pacote de métricas para resumo, orientado a recall.
- **[METEOR](https://clubmartech.com.br/significado/meteor/):** criado para corrigir pontos fracos do BLEU, com alinhamento palavra a palavra e peso no recall.
- **BERTScore:** compara os textos por similaridade de [embeddings](https://clubmartech.com.br/significado/embedding/) contextuais, em vez de palavras idênticas.
- **[Perplexidade](https://clubmartech.com.br/significado/perplexidade/):** mede a surpresa do modelo com um texto, sem referência.
- **[Métricas de avaliação de LLM](https://clubmartech.com.br/blog/metricas-de-avaliacao-de-llm/):** o conjunto de réguas em que o BLEU entra.

## Notas Adicionais

- **Feito para conjunto, não para frase:** segundo o artigo, o BLEU só precisa acompanhar o julgamento humano na média de um conjunto de teste; a nota de uma frase isolada pode divergir. Mais referências elevam a nota: um tradutor humano marcou 0,3468 contra quatro referências e 0,2571 contra duas.
- **Não mede fato, tom nem utilidade:** um e-mail com preço errado pode pontuar alto se repetir as palavras da referência, então a métrica não pega [alucinação](https://clubmartech.com.br/significado/alucinacao/). E a paráfrase “o pedido foi entregue dentro do prazo e chegou bem embalado”, que diz quase o mesmo que a referência do exemplo, tem BLEU zero: nenhum trigrama coincide.
- **Português e tokenização:** o artigo original só ignorava maiúsculas. Contrações como “no” e “do”, hífens e flexões mudam a contagem de [tokens](https://clubmartech.com.br/significado/token/) e n-gramas. Na minha leitura, use a mesma tokenização em todas as versões comparadas.
- **Quando preferir outra métrica:** se a mensagem pode ser dita de várias formas, use BERTScore, avaliação humana ou um LLM como juiz. Zheng et al. (2023) mediram concordância acima de 80% entre o GPT-4 e pessoas, com vieses de posição e de prolixidade.

## Ilustrações e Visualizações

![Passos do cálculo do BLEU no exemplo: precisões de 1 a 4 gramas, média geométrica de 0,880, penalidade de brevidade de 0,905 e BLEU de 0,796.](https://clubmartech.com.br/wp-content/uploads/2026/11/bleu-calculo-exemplo.webp)

*Cálculo do exemplo do verbete, com palavras separadas por espaço.*

### BLEU x ROUGE x METEOR

| Aspecto | BLEU | ROUGE | METEOR |
| --- | --- | --- | --- |
| Origem | Papineni et al., 2002, tradução | Lin, 2004, resumo | Banerjee e Lavie, 2005, tradução |
| Base do cálculo | Precisão de n-gramas | Recall de n-gramas e subsequências | Precisão e recall de palavras, com peso no recall |
| Ordem das palavras | Indireta, por n-gramas maiores | ROUGE-L, pela maior subsequência comum | Penalidade de fragmentação |
| Palavras diferentes com o mesmo sentido | Não reconhece | Não reconhece | Radical e sinônimos do WordNet, em inglês |

## Classificação Gramatical

- **Classe:** substantivo (sigla)
- **Gênero:** masculino (o BLEU)

## Pronúncia

- **Leitura:** o artigo original não indica pronúncia, e não há forma oficial em português.

## Etimologia

- **Origem:** sigla de *bilingual evaluation understudy*, conforme nota de rodapé do artigo de 2002.
- **Sentido:** *understudy* é o ator substituto. Os autores apresentam o método como substituto automático de avaliadores humanos quando a avaliação precisa ser rápida ou frequente.