# METEOR

> METEOR alinha palavra a palavra, pesa mais o recall e pune a fragmentação. Seus módulos de radical e sinônimo foram feitos para o inglês.

- Tipo: Verbete do glossário
- Autor: Dionatha Rodrigues
- Publicado em: 2026-11-09 · Atualizado em: 2026-11-09
- URL: https://clubmartech.com.br/significado/meteor/

## O que é METEOR?

**METEOR**, sigla de *Metric for Evaluation of Translation with Explicit ORdering*, é uma métrica automática que compara um texto gerado por máquina com uma referência alinhando palavra a palavra, por forma idêntica, radical ou sinônimo. A nota combina precisão e recall, com mais peso no recall, e desconta uma penalidade quando as palavras alinhadas aparecem picotadas ou fora de ordem.

A métrica foi publicada em 2005 por Satanjeev Banerjee e Alon Lavie, da Carnegie Mellon, para corrigir pontos fracos que eles apontam no [BLEU](https://clubmartech.com.br/significado/bleu/), como a falta de recall e a média geométrica que zera a nota de muitas frases. Com traduções do chinês para o inglês, a correlação com a avaliação humana por sistema foi de 0,964 para o METEOR e de 0,817 para o BLEU.

## Exemplos Práticos de METEOR

### Como o cálculo funciona:

1. **Alinhamento:** em etapas, liga palavras do candidato às da referência: idênticas, depois de mesmo radical (radicalizador de Porter), depois sinônimos do WordNet. Cada palavra se liga a no máximo uma; no empate, vence o alinhamento com menos cruzamentos.
2. **Fmean:** P = alinhadas ÷ palavras do candidato; R = alinhadas ÷ palavras da referência; Fmean = 10PR / (R + 9P). É uma média harmônica que, nas palavras dos autores, põe a maior parte do peso no recall.
3. **Penalidade de fragmentação:** agrupa as alinhadas no menor número de blocos (*chunks*) contíguos nos dois textos. Penalidade = 0,5 × (blocos ÷ unigramas alinhados)³. Nota = Fmean × (1 − penalidade), um corte de no máximo 50%.

### Exemplo com números:

Referência (9 palavras): “o cupom vale para toda a loja até domingo”. Candidato gerado pela IA (6 palavras): “o cupom vale só até domingo”. Calculei em Python, só com correspondência exata:

- Palavras alinhadas: 5 (o, cupom, vale, até, domingo). P = 5/6 ≈ 0,833; R = 5/9 ≈ 0,556.
- Fmean = 10 × 0,833 × 0,556 ÷ (0,556 + 9 × 0,833) ≈ 0,575. O F1 comum daria 0,667; o METEOR puxa a nota para perto do recall.
- Blocos: “o cupom vale” e “até domingo”, ou seja, 2. Penalidade = 0,5 × (2/5)³ = 0,032.
- METEOR ≈ 0,575 × (1 − 0,032) ≈ 0,556.

Com a frase completa reordenada, “até domingo o cupom vale para toda a loja”, as 9 palavras alinham em 2 blocos e a nota vai a 0,995. O BLEU dessa frase fica em 0,803, porque a emenda quebra 4-gramas; o do primeiro candidato dá zero.

## Sinônimos e Antônimos Relevantes

### Sinônimos:

- METEOR score
- Pontuação METEOR

### Antônimos:

- Métricas de correspondência exata, como o [BLEU](https://clubmartech.com.br/significado/bleu/)
- Avaliação humana de adequação e fluência

## Contexto e Áreas de Aplicação

1. **Tradução automática:** o uso original. O artigo usou dados árabe-inglês e chinês-inglês da DARPA/TIDES 2003, sempre com saída em inglês.
2. **Avaliação frase a frase:** o foco do artigo foi a correlação por segmento: 0,347 em árabe e 0,331 em chinês.
3. **IA no marketing:** e-mails, descrições de produto e resumos de atendimento, comparados a versões aprovadas pelo time, quando a mesma informação pode vir em outra ordem. Contexto no artigo sobre [Natural Language Generation em campanhas](https://clubmartech.com.br/blog/natural-language-generation-performance/).

## Referências e Termos Relacionados

- **[BLEU](https://clubmartech.com.br/significado/bleu/):** métrica de tradução por precisão de n-gramas, ponto de partida das críticas do METEOR.
- **[ROUGE](https://clubmartech.com.br/significado/rouge/):** pacote de métricas para resumo, orientado a recall.
- **WordNet:** base lexical em inglês usada para os sinônimos.
- **BERTScore:** troca a lista de sinônimos por similaridade de [embeddings](https://clubmartech.com.br/significado/embedding/) contextuais.
- **[Métricas de avaliação de LLM](https://clubmartech.com.br/blog/metricas-de-avaliacao-de-llm/):** o conjunto de réguas em que o METEOR entra.

## Notas Adicionais

- **O peso fica no recall:** há tutoriais que leem 10PR / (R + 9P) como favorecendo a precisão; é o contrário, e no artigo o recall sozinho já acompanhava melhor o julgamento humano. Outro erro é dividir os blocos pelo total de palavras do candidato: o denominador são os unigramas alinhados. No exemplo, dividir por 6 daria 0,019 em vez de 0,032.
- **Português pede atenção:** os módulos originais de radical e sinônimo são de inglês. Sem equivalentes em português, sobra a correspondência exata, e “chegou” e “chegaram” viram palavras diferentes. Na minha leitura, confirme o que a implementação oferece para a língua antes de comparar notas.
- **Não mede fato, tom nem utilidade:** o artigo do BERTScore (Zhang et al., 2020) mostra que, para a referência “people like foreign cars”, BLEU e METEOR dão nota maior a “people like visiting places abroad” do que a “consumers prefer imported cars”. Número inventado também pode pontuar bem: a métrica não pega [alucinação](https://clubmartech.com.br/significado/alucinacao/).
- **Quando preferir outra métrica:** BERTScore para paráfrase; avaliação humana ou LLM como juiz para tom e utilidade, atento aos vieses de posição e de prolixidade que Zheng et al. (2023) mediram nesses juízes.

## Ilustrações e Visualizações

![Passos do METEOR no exemplo: alinhamento, Fmean de 0,575, penalidade de fragmentação de 0,032 e nota de 0,556.](https://clubmartech.com.br/wp-content/uploads/2026/11/meteor-calculo-exemplo.webp)

*Cálculo do exemplo do verbete, só com correspondência exata.*

### METEOR x BLEU no exemplo do cupom

| Aspecto | BLEU | METEOR |
| --- | --- | --- |
| Ordem | Indireta, pelos n-gramas maiores | Penalidade de fragmentação |
| Candidato “o cupom vale só até domingo” | 0 (nenhum 4-grama em comum) | 0,556 |
| Candidato reordenado completo | 0,803 | 0,995 |

## Classificação Gramatical

- **Classe:** substantivo (sigla)
- **Gênero:** masculino (o METEOR)

## Pronúncia

- **Leitura:** o artigo original não indica pronúncia, e não há forma oficial em português.

## Etimologia

- **Origem:** sigla de *Metric for Evaluation of Translation with Explicit ORdering*, conforme nota do artigo de Banerjee e Lavie (2005).
- **Sentido:** o “explicit ordering” do nome se refere à penalidade de fragmentação, que mede a ordem das palavras de forma direta, em vez de deixá-la para os n-gramas maiores, como faz o BLEU.