O que é BERTScore?
BERTScore é uma métrica automática que compara um texto gerado (o candidato) com um texto de referência pelo significado de cada token, e não pela coincidência exata de palavras. Ela transforma cada token num embedding contextual e mede a similaridade de cosseno entre os tokens dos dois textos. Foi proposta por Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger e Yoav Artzi, em artigo publicado no ICLR 2020.
A conta tem quatro peças, segundo o artigo. Cada token da referência é ligado ao token mais parecido do candidato (correspondência gulosa), e a média dessas similaridades dá o recall; o caminho inverso dá a precisão, e o F1 combina os dois. A ponderação por IDF, calculada nas frases de referência, é opcional e dá mais peso a palavras raras; os autores relatam que ela às vezes ajuda pouco e às vezes não ajuda. Por fim, o rescale subtrai uma linha de base b, obtida com pares de frases aleatórias do Common Crawl, pela fórmula (nota − b) / (1 − b). Ele só deixa o número mais legível e não muda o ranking. A recomendação dos autores é usar o F1.
Exemplos Práticos de BERTScore
No artigo original:
- Paráfrase: com a referência people like foreign cars, o BLEU e o METEOR dão nota maior a people like visiting places abroad do que a consumers prefer imported cars. O BERTScore liga imported cars a foreign cars.
- Escala do teste: os autores avaliaram as saídas de 363 sistemas de tradução automática e de legendagem de imagens contra julgamentos humanos.
Uma conta simplificada (valores hipotéticos):
- Recall: referência “frete grátis hoje”, candidato “entrega sem custo hoje”, uma palavra por token. Se as melhores similaridades da referência forem 0,80, 0,70 e 0,98, o recall é 2,48 / 3 = 0,827.
- Precisão: se as do candidato forem 0,80, 0,60, 0,70 e 0,98, a precisão é 3,08 / 4 = 0,770.
- F1: 2 × 0,770 × 0,827 / (0,770 + 0,827) = 0,797. Com uma linha de base hipotética de 0,70, o rescale dá (0,797 − 0,70) / 0,30 = 0,324.
Em marketing (leitura do Club Martech):
- Variações de copy: comparar versões geradas por IA com a versão aprovada pela marca, para achar as que mudaram demais o sentido.
- Resumos de atendimento: medir o quanto o resumo automático de uma conversa se aproxima do resumo escrito por um analista.
Sinônimos e Antônimos Relevantes
Sinônimos:
- FBERT (o F1 do BERTScore)
- Métrica de similaridade por embeddings contextuais
Antônimos:
- Métricas de correspondência exata de n-gramas
- Métricas sem referência
Contexto e Áreas de Aplicação
- Tradução automática: o principal teste do artigo usou o conjunto WMT18, com 149 sistemas em 14 pares de idiomas.
- Legendas de imagem: no COCO 2015 Captioning Challenge, o BERTScore superou as métricas que servem a qualquer tarefa.
- Avaliação de LLM: comparar a saída de um LLM com um texto aprovado, como parte de um conjunto de métricas de avaliação de LLM.
Referências e Termos Relacionados
- BLEU: conta n-gramas do candidato que aparecem na referência, com penalidade para respostas curtas.
- ROUGE: família de métricas de resumo orientada a recall de n-gramas e de subsequência comum.
- METEOR: aceita radical e sinônimo além da palavra idêntica, mas depende de recursos externos por idioma.
- LLM como juiz: um modelo avalia a resposta com uma rubrica, com ou sem referência.
- Perplexidade: mede o quanto um modelo prevê bem um texto, sem comparar com referência.
Notas Adicionais
- Depende do modelo e da língua: os autores usaram RoBERTa-large em inglês e o BERT multilíngue nas outras línguas, e avisam que este último é menos estável em idiomas com poucos dados. Nota calculada com um modelo não se compara com nota de outro.
- Custo: no artigo, o BERTScore processou 192,5 pares por segundo numa GPU GTX-1080Ti. O teste WMT18 inglês-alemão, com 2.998 frases, levou 15,6 segundos, contra 5,4 segundos do SacreBLEU.
- Ainda precisa de referência: sem um texto aprovado para comparar, não há nota.
- Não mede veracidade: o próprio artigo mostra notas altas para traduções que trocaram “alemão” por “inglês” e “segunda” por “terça”. Texto parecido com a referência ainda pode conter alucinação, e numa resposta com RAG a checagem de fonte continua necessária.
Ilustrações e Visualizações

BERTScore x BLEU e ROUGE
| Aspecto | BLEU e ROUGE | BERTScore |
|---|---|---|
| O que compara | N-gramas idênticos | Embeddings contextuais de cada token |
| Sinônimo e paráfrase | Penaliza | Reconhece parte das trocas |
| Custo | Baixo | Exige um modelo de linguagem |
| Referência | Obrigatória | Obrigatória |
| Erro factual | Não detecta | Não detecta |
Classificação Gramatical
- Classe: substantivo próprio (nome de métrica)
- Gênero: masculino (o BERTScore)
Pronúncia
- Leitura: o artigo não define pronúncia; o nome junta BERT, o modelo de linguagem, à palavra inglesa score.
Etimologia
- BERT: sigla de Bidirectional Encoder Representations from Transformers, modelo baseado em Transformer apresentado por Devlin et al.
- Score: do inglês, pontuação.