Perplexidade é a métrica histórica dos modelos de linguagem: mede o quanto o modelo fica “surpreso” ao ver um texto. Quanto menor, melhor — significa que ele atribuía alta probabilidade às palavras que de fato apareceram. Tecnicamente é a exponencial da média negativa do logaritmo das probabilidades, equivalente a exponenciar a entropia cruzada. O problema é que ela é muito menos comparável do que parece, e a documentação técnica de referência traz um exemplo que mostra isso de forma contundente: o mesmo modelo, no mesmo conjunto de dados, com o mesmo tokenizador, obtém perplexidade 19,44 ou 16,44 — apenas mudando como o texto é dividido em janelas na hora de medir. Não é modelo diferente nem dado diferente: é protocolo de medição diferente. Um número de perplexidade sem a descrição do protocolo não permite comparação nenhuma.
⚠️ Perplexidade só compara sob condições idênticas
A restrição mais conhecida está na própria documentação: o procedimento de tokenização tem impacto direto na perplexidade, e isso deve sempre ser levado em conta ao comparar modelos diferentes.
Modelos que quebram o texto em pedaços diferentes produzem números que não são comparáveis entre si — e como tokenizadores mudam entre fornecedores e entre gerações, comparar perplexidade de dois modelos quaisquer é quase sempre inválido.
O exemplo das janelas acrescenta uma camada que costuma escapar: mesmo tokenizador e mesmo dado ainda não bastam. O método de medição também precisa ser idêntico. Um número de perplexidade sem a descrição completa do protocolo não permite comparação nenhuma.
Baixa perplexidade não é texto bom
Este é o mal-entendido que mais importa para quem produz conteúdo. Perplexidade mede previsibilidade estatística, não qualidade, utilidade ou correção.
Um texto extremamente previsível — clichê atrás de clichê — tende a ter perplexidade baixa. Um texto original, com informação inesperada, tende a ter perplexidade mais alta. A métrica não distingue “óbvio” de “bem escrito”.
A crítica é reconhecida na literatura, com trabalhos publicados questionando a métrica tanto em avaliação geral quanto em contexto longo. Para quem contrata IA, a conclusão é simples: perplexidade é métrica de pesquisa, não critério de compra.
O que isso muda na prática
- Ignore perplexidade em decisão de fornecedor. Se aparecer num comparativo entre modelos de fabricantes diferentes, o número provavelmente não é comparável — e quem o apresentou pode não saber disso.
- Desconfie de “detector de IA” baseado em perplexidade. Várias ferramentas que afirmam identificar texto gerado usam justamente previsibilidade estatística. Isso penaliza texto humano bem estruturado e simples — e não detecta texto de IA que foi editado.
- Use avaliação por tarefa. A pergunta útil não é “qual modelo tem menor perplexidade”, e sim “qual resolve melhor os meus 50 casos reais” — o método que atravessa este glossário.
Sobre as métricas que de fato decidem, veja métricas de classificação; sobre a leitura correta de rankings, benchmark de IA.
Fontes
- Perplexity of fixed-length models — documentação com a fórmula, a restrição do tokenizador e o exemplo das janelas
- Language Model Evaluation Beyond Perplexity — crítica publicada da métrica
Leitura das fontes em 17/08/2026.