Quantização é a técnica de reduzir a precisão numérica com que os pesos de um modelo de IA são armazenados, para que ele ocupe menos memória e rode em hardware mais barato. Um modelo em precisão FP16 consome 2 bytes por parâmetro; em FP8 ou INT8, 1 byte; e em INT4 agrupado — os formatos GPTQ e AWQ —, entre 0,52 e 0,55 byte. Na prática, isso significa que a mesma rede pode caber em uma placa de vídeo quatro vezes menor. Há um detalhe que a maioria dos tutoriais erra: o formato GGUF Q4_K_M, apesar do “4” no nome, usa cerca de 0,61 byte por parâmetro — são 4,9 bits efetivos, não 4. Quem dimensiona hardware pela conta errada compra a GPU errada. Sobre a perda de qualidade, há medição: num estudo com mais de 500 mil avaliações sobre a família Llama 3.1, a precisão FP8 saiu praticamente sem perda, enquanto o INT8 bem ajustado custou de 1% a 3% de acurácia.
Como calcular quanto o modelo vai ocupar
A memória necessária tem quatro parcelas, e a maioria das estimativas só considera a primeira:
VRAM total = pesos + cache de chave-valor + ativações + overhead
| Precisão | Bytes por parâmetro | Uso típico |
|---|---|---|
| FP16 / BF16 | 2,00 | Referência de qualidade |
| FP8 / INT8 | 1,00 | Metade da memória, perda pequena |
| GGUF Q4_K_M | ≈ 0,61 | Popular em execução local |
| INT4 agrupado (GPTQ, AWQ) | 0,52 a 0,55 | Compressão máxima usual |
O cache de chave-valor é a parcela mais esquecida: ele cresce com o tamanho do contexto e com o número de requisições simultâneas. Em janelas de 1 milhão de tokens — padrão nos modelos de 2026 —, o cache pode superar o peso do próprio modelo.
⚠️ A armadilha dos modelos de mistura de especialistas
Este é o erro que faz alguém comprar hardware insuficiente. Os modelos abertos de topo usam arquitetura MoE, e divulgam dois números: parâmetros totais e ativos. O Kimi K3, por exemplo, tem 2,8 trilhões de totais e cerca de 104 bilhões de ativos por token.
A leitura errada é dimensionar pela cifra menor. Não funciona: todos os pesos precisam estar carregados na memória para que o roteador escolha quais especialistas usar a cada token. A VRAM se dimensiona pelos totais; os ativos determinam a velocidade de inferência, não o requisito de memória.
Quanto de qualidade se perde
Circula bastante a ideia de que “quantização não afeta a qualidade”. É quase verdade em 8 bits e enganosa em 4 — e há um estudo grande o bastante para separar as duas coisas: mais de 500 mil avaliações sobre toda a família Llama 3.1.
| Precisão | Perda de acurácia medida |
|---|---|
| FP8 (pesos e ativações) | Praticamente nenhuma, em todas as escalas |
| INT8 bem ajustado | 1% a 3% |
| INT4 só nos pesos | Mais competitivo que o esperado — rivaliza com 8 bits |
Há um detalhe contraintuitivo aí: existe a crença de que INT8 supera FP8 por ser “mais preciso em inteiros”. É o contrário — o FP8 lida melhor com valores extremos, e por isso sai sem perda enquanto o INT8 custa de 1% a 3%.
O problema é que a média esconde a distribuição. Um segundo estudo, com 11 métodos de quantização em modelos de 7 a 70 bilhões de parâmetros, conclui que os efeitos dependem da tarefa e do método. Um modelo que perde 2% na média pode perder muito mais em raciocínio de múltiplos passos ou em saída estruturada em JSON — que é exatamente o que sustenta um agente.
O que se pode dizer com segurança: alguns modelos já são treinados com a quantização em mente. O gpt-oss-120b da OpenAI usa precisão MXFP4 nativa nos pesos do MoE e, por isso, cabe em uma única GPU de 80 GB — afirmação do próprio card do modelo. Quantização aplicada no treino degrada menos que quantização aplicada depois.
A formulação honesta não é “quantização não afeta qualidade” nem “degrada X%”, e sim: a degradação se concentra em tarefas específicas, e você precisa medir na sua. Rode as mesmas 30 tarefas reais no modelo em precisão cheia e no quantizado, e compare a saída. Duas horas de teste respondem o que nenhuma tabela genérica responde.
O que isso muda na prática
Quantização é o que torna viável rodar modelo próprio sem alugar infraestrutura cara. Uma GPU de 80 GB custa entre US$ 1,39 e US$ 3,29 por hora conforme o modelo e o fornecedor; uma placa de 24 GB sai por US$ 0,74. A diferença entre caber ou não numa placa menor costuma valer mais que a perda de qualidade.
A regra que os dados sustentam: FP8 é o ponto ótimo — corta a memória pela metade sem custo mensurável de qualidade. Para classificação de intenção, roteamento de tickets e tagging, tarefas de alto volume e baixa complexidade, INT4 derruba o custo com degradação aceitável. Para geração de copy ou saída em JSON consumida por outro sistema, fique em FP8. O contexto completo de custo está no guia de self-host, e os conceitos relacionados em GPU e TPU e inferência.
Fontes
- “Give Me BF16 or Give Me Death”? Accuracy-Performance Trade-Offs in LLM Quantization — mais de 500 mil avaliações na família Llama 3.1 (ACL 2025)
- Systematic Characterization of LLM Quantization — 11 métodos, modelos de 7B a 70B
- Card do gpt-oss-120b — precisão MXFP4 nativa
- Preços de GPU por hora — RunPod
- llama.cpp — formatos GGUF de quantização
- vLLM — servidor de inferência com suporte a quantização