Knowledge Distillation
Treinar um modelo pequeno para imitar um grande. O DistilBERT ficou 40% menor e 60% mais rápido retendo 97% da capacidade — mas destilar não é grátis.
17 de agosto de 2026
Treinar um modelo pequeno para imitar um grande. O DistilBERT ficou 40% menor e 60% mais rápido retendo 97% da capacidade — mas destilar não é grátis.