Parâmetro é o valor que o modelo aprende durante o treino; hiperparâmetro é o valor que alguém escolhe antes de treinar. A distinção parece técnica e é, na verdade, uma separação entre o que a máquina descobre e o que uma pessoa decidiu. Um exemplo concreto de documentação oficial: os 405 bilhões de parâmetros do maior modelo Llama 3 foram aprendidos a partir dos dados — mas as 126 camadas da arquitetura e a taxa de aprendizado usada no treino foram escolhas humanas, feitas antes. E não são escolhas triviais: no mesmo trabalho, a taxa de aprendizado varia conforme a escala do modelo — 3×10⁻⁴ para a versão de 8 bilhões e 8×10⁻⁵ para a de 405 bilhões. Mesma arquitetura, decisões diferentes conforme a escala — e essas escolhas pesam mais no resultado do que a maioria dos materiais admite.
⚠️ Hiperparâmetro não é detalhe de ajuste fino
Existe um trabalho clássico de 2012 que mudou a prática da área e cujo achado explica por que essa escolha pesa tanto. Comparando duas estratégias de busca — testar todas as combinações numa grade regular contra sortear combinações aleatoriamente —, os autores mostraram que a busca aleatória encontra modelos tão bons ou melhores numa fração pequena do tempo de computação.
A explicação é o que interessa: analisando os resultados, eles descobriram que, na maioria dos conjuntos de dados, apenas alguns poucos hiperparâmetros realmente importam — e quais deles importam muda de um conjunto para outro.
É por isso que a busca em grade desperdiça: ela testa exaustivamente eixos que não fazem diferença naquele caso, enquanto a aleatória explora mais valores dos eixos que fazem. E é por isso que não existe receita transferível de configuração — a que funcionou no problema do vizinho pode ser irrelevante no seu.
O que isso muda na prática
Para quem consome IA por API, os hiperparâmetros do treino são invisíveis — mas alguns chegam até você com outro nome. Temperatura é um hiperparâmetro de geração, escolhido por quem opera, não aprendido pelo modelo.
Para quem constrói modelo próprio — propensão, churn, score de lead —, três consequências:
- Reserve orçamento para a busca. Não é polimento final: é parte do trabalho, e a estratégia de busca muda o resultado com o mesmo custo computacional.
- Prefira busca aleatória a grade. Com o mesmo número de tentativas, ela cobre melhor o espaço que importa — conclusão sustentada por evidência empírica e teórica.
- Registre a configuração junto do modelo. Sem isso, o modelo não é reproduzível — e é exatamente o que um model registry existe para guardar.
E um cuidado ao ler material comercial: número de parâmetros anunciado não é medida de qualidade — o assunto está detalhado em LLM, onde a própria lei de escala que sustentava esse raciocínio foi auditada e corrigida.
Fontes
- Random Search for Hyper-Parameter Optimization — Bergstra e Bengio, JMLR 2012
- The Llama 3 Herd of Models — tabela de hiperparâmetros por escala
Leitura das fontes em 17/08/2026.