Knowledge distillation — Knowledge distillation, ou destilação de conhecimento, é a técnica de treinar um modelo pequeno — o “aluno” — para imita

Knowledge distillation: 40% menor, 97% da capacidade

Treinar um modelo pequeno para imitar um grande. O DistilBERT ficou 40% menor e 60% mais rápido retendo 97% da capacidade — mas destilar não é grátis.

MoE — MoE — sigla de Mixture of Experts, ou mistura de especialistas — é a arquitetura em que o modelo se divide em muitos blo

MoE: dimensione pelos totais, não pelos ativos

Mistura de especialistas ativa só parte do modelo por token. O Kimi K3 tem 2,8T de totais e 104B de ativos — e a memória se dimensiona pelos totais.

Modelo fundacional — Modelo fundacional é um modelo treinado sobre dados amplos, em larga escala, que pode ser adaptado a uma variedade grand

Modelo fundacional: os defeitos são herdados por todos

Treinado sobre dados amplos e adaptável a muitas tarefas. Quem cunhou o termo alertou: os defeitos da fundação passam para tudo o que se constrói nela.

RNN — RNN — sigla de Recurrent Neural Network, rede neural recorrente — é a arquitetura que processa sequências um elemento po

RNN: a recorrência voltou, com escala linear

Processa sequências um elemento por vez. Foi substituída pelo Transformer e voltou reformulada, com 5× mais throughput de inferência.

CNN — CNN — sigla de Convolutional Neural Network, rede neural convolucional — é a arquitetura que domina o processamento de i

CNN: 15,3% contra 26,2% e o início do aprendizado profundo

Rede convolucional processa imagens detectando padrões locais. Venceu o ImageNet 2012 por quase 11 pontos — e não saiu de cena.

Atenção — Atenção é o mecanismo que permite a um modelo pesar a relevância de cada parte do texto em relação a todas as outras, si

Atenção: peso de atenção não é explicação

Mecanismo que pesa a relevância de cada parte do texto. Ler os pesos como explicação do modelo é contestado na literatura desde 2019.

Função de ativação — Função de ativação é o componente que introduz não-linearidade numa rede neural — e sem ela, nada disso funcionaria. O m

Função de ativação: sem ela, cem camadas viram uma

Introduz a não-linearidade que torna a rede capaz de representar relações complexas. A escolha dominante venceu por teste, não por teoria.

Parâmetro e hiperparâmetro — Parâmetro é o valor que o modelo aprende durante o treino; hiperparâmetro é o valor que alguém escolhe antes de treinar.

Parâmetro e hiperparâmetro: o que a máquina aprende e o que você escolhe

Parâmetro é aprendido no treino; hiperparâmetro é decidido antes. Só alguns hiperparâmetros importam — e quais mudam de problema para problema.

Algoritmo — Algoritmo é uma sequência finita de passos precisamente definidos que transforma uma entrada em uma saída.

Algoritmo: por que ele nunca decide sozinho

Sequência finita de passos precisamente definidos, na definição de Knuth. Dizer que o algoritmo decidiu transfere responsabilidade de quem escolheu.

RLHF — RLHF — sigla de Reinforcement Learning from Human Feedback, aprendizado por reforço com feedback humano — é a técnica qu

RLHF: o método mudou, e poucos registraram

RLHF usa preferência humana para alinhar modelos. Em 2026 o DPO substituiu o reforço clássico — por ser mais estável e mais barato.

Marketing

Tecnologia

Utilitários

Gerais

Glossário