MoE
Mistura de especialistas ativa só parte do modelo por token. O Kimi K3 tem 2,8T de totais e 104B de ativos — e a memória se dimensiona pelos totais.
17 de agosto de 2026
Mistura de especialistas ativa só parte do modelo por token. O Kimi K3 tem 2,8T de totais e 104B de ativos — e a memória se dimensiona pelos totais.
Introduz a não-linearidade que torna a rede capaz de representar relações complexas. A escolha dominante venceu por teste, não por teoria.