LoRA e PEFT
LoRA adapta modelos treinando 10.000× menos parâmetros. O paper original diz que iguala o ajuste completo; medição posterior diz o contrário.
17 de agosto de 2026
LoRA adapta modelos treinando 10.000× menos parâmetros. O paper original diz que iguala o ajuste completo; medição posterior diz o contrário.
Poda remove pesos pouco importantes. Em LLMs, 50% a 60% de esparsidade sem retreino — mas o número dos 90% vem de redes pequenas de visão.
Treinar um modelo pequeno para imitar um grande. O DistilBERT ficou 40% menor e 60% mais rápido retendo 97% da capacidade — mas destilar não é grátis.
Mistura de especialistas ativa só parte do modelo por token. O Kimi K3 tem 2,8T de totais e 104B de ativos — e a memória se dimensiona pelos totais.