**Knowledge distillation**, ou destilação de conhecimento, é a técnica de treinar um modelo pequeno — o “aluno” — para imitar o comportamento de um modelo grande, o “professor”. Em vez de aprender só com a resposta certa, o aluno aprende com *toda* a distribuição de probabilidades que o professor produz, o que carrega mais informação do que o rótulo sozinho. A ideia é de 2015 e o exemplo mais citado mostra bem o que ela entrega: o **DistilBERT** reduziu o modelo original em **40%**, ficou **60% mais rápido** e reteve **97% da capacidade de compreensão de linguagem**. Esses três números juntos explicam por que a técnica virou padrão: em muitas tarefas, quase toda a qualidade cabe em pouco mais da metade do tamanho. Mas há uma conta que o material comercial costuma omitir — e que decide se a técnica compensa no seu caso.## ⚠️ Destilar não é grátisA conta que quase ninguém faz: **o professor precisa existir**, e treiná-lo custa. Um estudo de 2025 sobre leis de escala em destilação estabelece quando a técnica compensa, e a conclusão é mais restritiva do que o entusiasmo sugere.
- **Compensa** quando há **muitos alunos** a destilar, ou quando o professor **já existe** — o custo dele se amortiza entre vários usos.
- **Não compensa** quando há **um único aluno** e o professor também precisa ser treinado. Nesse caso, segundo os autores, **o treino supervisionado direto costuma ser preferível**.
É o tipo de nuance que desaparece no material comercial, onde destilação aparece só como “modelo menor e mais barato”. Menor e mais barato **na inferência** — o custo foi deslocado para antes, não eliminado.Há ainda um detalhe de execução: pesquisadores que estudaram o assunto ressaltam que existem **escolhas implícitas de projeto** capazes de afetar drasticamente a eficácia da destilação. Não é um botão que se aperta.## O que isso muda na práticaPara uma operação de [marketing](https://comecandonaweb.com.br/marketing-digital/), a destilação raramente é algo que se *faz* — é algo que se *compra*, muitas vezes [sem](https://clubmartech.com.br/blog/sem-avancado-estrategia-roi/) saber. Boa parte dos modelos pequenos e baratos oferecidos pelos fornecedores é resultado dela.Isso tem duas consequências práticas:
- **Modelo “mini” ou “lite” costuma ser destilado — e costuma bastar.** Para classificar intenção de [lead](https://clubmartech.com.br/blog/lead-scoring-[crm](https://clubmartech.com.br/significado/crm/)-negocios/), rotear ticket, moderar comentário ou extrair campo de texto, a perda em relação ao modelo de topo tende a ser pequena e a economia, grande.
- **Teste, não presuma.** Os 97% do exemplo acima valem para *aquele* modelo naquela avaliação. No seu caso pode ser mais, pode ser menos — e a diferença aparece justamente nas tarefas mais difíceis.
A regra que atravessa este glossário se aplica bem aqui: rode **de 30 a 50 casos reais** no modelo grande e no destilado, compare a saída e o custo. Na maioria das tarefas de marketing, o modelo menor vence na conta final.Outras formas de reduzir custo estão em
quantização— que reduz a precisão dos pesos — e em
pruning, que remove pesos. São técnicas distintas e combináveis.## Fontes
- Distilling the Knowledge in a Neural Network — Hinton, Vinyals e Dean, 2015
- DistilBERT — os números de 40%, 60% e 97%
- Distillation Scaling Laws — quando destilar compensa e quando não
*Leitura das fontes em 17/08/2026.*