BERTScore

Ver como Markdown
Métrica que compara texto gerado e referência pelo significado de cada token, com embeddings contextuais, e não pela palavra idêntica.

O que é BERTScore?

BERTScore é uma métrica automática que compara um texto gerado (o candidato) com um texto de referência pelo significado de cada token, e não pela coincidência exata de palavras. Ela transforma cada token num embedding contextual e mede a similaridade de cosseno entre os tokens dos dois textos. Foi proposta por Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger e Yoav Artzi, em artigo publicado no ICLR 2020.

A conta tem quatro peças, segundo o artigo. Cada token da referência é ligado ao token mais parecido do candidato (correspondência gulosa), e a média dessas similaridades dá o recall; o caminho inverso dá a precisão, e o F1 combina os dois. A ponderação por IDF, calculada nas frases de referência, é opcional e dá mais peso a palavras raras; os autores relatam que ela às vezes ajuda pouco e às vezes não ajuda. Por fim, o rescale subtrai uma linha de base b, obtida com pares de frases aleatórias do Common Crawl, pela fórmula (nota − b) / (1 − b). Ele só deixa o número mais legível e não muda o ranking. A recomendação dos autores é usar o F1.

Exemplos Práticos de BERTScore

No artigo original:

  1. Paráfrase: com a referência people like foreign cars, o BLEU e o METEOR dão nota maior a people like visiting places abroad do que a consumers prefer imported cars. O BERTScore liga imported cars a foreign cars.
  2. Escala do teste: os autores avaliaram as saídas de 363 sistemas de tradução automática e de legendagem de imagens contra julgamentos humanos.

Uma conta simplificada (valores hipotéticos):

  1. Recall: referência “frete grátis hoje”, candidato “entrega sem custo hoje”, uma palavra por token. Se as melhores similaridades da referência forem 0,80, 0,70 e 0,98, o recall é 2,48 / 3 = 0,827.
  2. Precisão: se as do candidato forem 0,80, 0,60, 0,70 e 0,98, a precisão é 3,08 / 4 = 0,770.
  3. F1: 2 × 0,770 × 0,827 / (0,770 + 0,827) = 0,797. Com uma linha de base hipotética de 0,70, o rescale dá (0,797 − 0,70) / 0,30 = 0,324.

Em marketing (leitura do Club Martech):

  1. Variações de copy: comparar versões geradas por IA com a versão aprovada pela marca, para achar as que mudaram demais o sentido.
  2. Resumos de atendimento: medir o quanto o resumo automático de uma conversa se aproxima do resumo escrito por um analista.

Sinônimos e Antônimos Relevantes

Sinônimos:

  • FBERT (o F1 do BERTScore)
  • Métrica de similaridade por embeddings contextuais

Antônimos:

  • Métricas de correspondência exata de n-gramas
  • Métricas sem referência

Contexto e Áreas de Aplicação

  1. Tradução automática: o principal teste do artigo usou o conjunto WMT18, com 149 sistemas em 14 pares de idiomas.
  2. Legendas de imagem: no COCO 2015 Captioning Challenge, o BERTScore superou as métricas que servem a qualquer tarefa.
  3. Avaliação de LLM: comparar a saída de um LLM com um texto aprovado, como parte de um conjunto de métricas de avaliação de LLM.

Referências e Termos Relacionados

  • BLEU: conta n-gramas do candidato que aparecem na referência, com penalidade para respostas curtas.
  • ROUGE: família de métricas de resumo orientada a recall de n-gramas e de subsequência comum.
  • METEOR: aceita radical e sinônimo além da palavra idêntica, mas depende de recursos externos por idioma.
  • LLM como juiz: um modelo avalia a resposta com uma rubrica, com ou sem referência.
  • Perplexidade: mede o quanto um modelo prevê bem um texto, sem comparar com referência.

Notas Adicionais

  • Depende do modelo e da língua: os autores usaram RoBERTa-large em inglês e o BERT multilíngue nas outras línguas, e avisam que este último é menos estável em idiomas com poucos dados. Nota calculada com um modelo não se compara com nota de outro.
  • Custo: no artigo, o BERTScore processou 192,5 pares por segundo numa GPU GTX-1080Ti. O teste WMT18 inglês-alemão, com 2.998 frases, levou 15,6 segundos, contra 5,4 segundos do SacreBLEU.
  • Ainda precisa de referência: sem um texto aprovado para comparar, não há nota.
  • Não mede veracidade: o próprio artigo mostra notas altas para traduções que trocaram “alemão” por “inglês” e “segunda” por “terça”. Texto parecido com a referência ainda pode conter alucinação, e numa resposta com RAG a checagem de fonte continua necessária.

Ilustrações e Visualizações

Passos do BERTScore: embeddings contextuais, similaridade de cosseno, correspondência pelo melhor par e precisão, recall e F1 do exemplo hipotético.
Etapas descritas no artigo original; números do exemplo hipotético do verbete.

BERTScore x BLEU e ROUGE

AspectoBLEU e ROUGEBERTScore
O que comparaN-gramas idênticosEmbeddings contextuais de cada token
Sinônimo e paráfrasePenalizaReconhece parte das trocas
CustoBaixoExige um modelo de linguagem
ReferênciaObrigatóriaObrigatória
Erro factualNão detectaNão detecta

Classificação Gramatical

  • Classe: substantivo próprio (nome de métrica)
  • Gênero: masculino (o BERTScore)

Pronúncia

  • Leitura: o artigo não define pronúncia; o nome junta BERT, o modelo de linguagem, à palavra inglesa score.

Etimologia

  • BERT: sigla de Bidirectional Encoder Representations from Transformers, modelo baseado em Transformer apresentado por Devlin et al.
  • Score: do inglês, pontuação.
Compartilhe:

Outros termos do universo martech que você precisa conhecer!

Sumário

Receba o melhor conteúdo sobre Marketing e Tecnologia

comunidade gratuita

Cadastre-se para o participar da primeira comunidade sobre Martech do brasil!

do termo à prática

Você entendeu o conceito. Quanto dele a sua operação já aplica?

O diagnóstico cruza 10 áreas e mostra onde um termo como esse ainda é só teoria na sua operação de marketing.

  • Em 3 minutos, no modo rápido
  • Nota por área e pontos cegos
  • Aulas e ferramentas para o próximo passo
Descobrir meu nível

Gratuito e sem cadastro.

12345você está aqui?