Knowledge distillation, ou destilação de conhecimento, é a técnica de treinar um modelo pequeno — o “aluno” — para imitar o comportamento de um modelo grande, o “professor”. Em vez de aprender só com a resposta certa, o aluno aprende com toda a distribuição de probabilidades que o professor produz, o que carrega mais informação do que o rótulo sozinho. A ideia é de 2015 e o exemplo mais citado mostra bem o que ela entrega: o DistilBERT reduziu o modelo original em 40%, ficou 60% mais rápido e reteve 97% da capacidade de compreensão de linguagem. Esses três números juntos explicam por que a técnica virou padrão: em muitas tarefas, quase toda a qualidade cabe em pouco mais da metade do tamanho. Mas há uma conta que o material comercial costuma omitir — e que decide se a técnica compensa no seu caso.
⚠️ Destilar não é grátis
A conta que quase ninguém faz: o professor precisa existir, e treiná-lo custa. Um estudo de 2025 sobre leis de escala em destilação estabelece quando a técnica compensa, e a conclusão é mais restritiva do que o entusiasmo sugere.
- Compensa quando há muitos alunos a destilar, ou quando o professor já existe — o custo dele se amortiza entre vários usos.
- Não compensa quando há um único aluno e o professor também precisa ser treinado. Nesse caso, segundo os autores, o treino supervisionado direto costuma ser preferível.
É o tipo de nuance que desaparece no material comercial, onde destilação aparece só como “modelo menor e mais barato”. Menor e mais barato na inferência — o custo foi deslocado para antes, não eliminado.
Há ainda um detalhe de execução: pesquisadores que estudaram o assunto ressaltam que existem escolhas implícitas de projeto capazes de afetar drasticamente a eficácia da destilação. Não é um botão que se aperta.
O que isso muda na prática
Para uma operação de marketing, a destilação raramente é algo que se faz — é algo que se compra, muitas vezes sem saber. Boa parte dos modelos pequenos e baratos oferecidos pelos fornecedores é resultado dela.
Isso tem duas consequências práticas:
- Modelo “mini” ou “lite” costuma ser destilado — e costuma bastar. Para classificar intenção de lead, rotear ticket, moderar comentário ou extrair campo de texto, a perda em relação ao modelo de topo tende a ser pequena e a economia, grande.
- Teste, não presuma. Os 97% do exemplo acima valem para aquele modelo naquela avaliação. No seu caso pode ser mais, pode ser menos — e a diferença aparece justamente nas tarefas mais difíceis.
A regra que atravessa este glossário se aplica bem aqui: rode de 30 a 50 casos reais no modelo grande e no destilado, compare a saída e o custo. Na maioria das tarefas de marketing, o modelo menor vence na conta final.
Outras formas de reduzir custo estão em quantização — que reduz a precisão dos pesos — e em pruning, que remove pesos. São técnicas distintas e combináveis.
Fontes
- Distilling the Knowledge in a Neural Network — Hinton, Vinyals e Dean, 2015
- DistilBERT — os números de 40%, 60% e 97%
- Distillation Scaling Laws — quando destilar compensa e quando não
Leitura das fontes em 17/08/2026.