Benchmark de IA self-host: modelos abertos e custo real

Self-host de IA é rodar o modelo em infraestrutura própria — servidor local ou GPU alugada — em vez de chamar a API de um fornecedor. Em 2026 a decisão deixou de ser ideológica e passou a ser aritmética, e o número que mais mexeu nas últimas semanas é a distância entre abertos e fechados: no Artificial Analysis Intelligence Index v4.3.2, na leitura de 3 de outubro de 2026, o melhor modelo de pesos abertos (MiMo-V2.6-Pro, com 46 pontos) está 12 pontos atrás do melhor proprietário (Claude Opus 5.5, com 58). Em agosto, na v4.1.1, a distância medida era de 4 pontos (Kimi K3 com 60, Claude Opus 5 com 63). As duas leituras não se comparam: a régua ficou mais dura — o mesmo Claude Opus 5 que marcava 63 aparece com 51 na v4.3.2 — e o que dá para afirmar é a distância na régua atual. Seja qual for o número, ele não responde sozinho à pergunta de quem decide: o que sobra é a conta de custo, operação e licença, que é onde este artigo se concentra.

O que o índice mede — e o que ele não mede

Antes de decidir com base em um número só, vale saber como ele é construído. O Intelligence Index é composto por dez avaliações: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, HLE, GDP.pdf, CritPt, AA-Omniscience e AA-LCR v1.1. É versionado — a v4.3.2, de 19 de setembro de 2026, é a leitura de outubro —, o que permite comparar edições sem confundir mudança de modelo com mudança de régua. E a régua mudou de verdade: a v4.3, de 7 de setembro, trocou o τ³-Banking pelo AutomationBench-AA e subiu o Terminal-Bench para a versão 4.0, e as notas absolutas caíram.

O que ele não mede: latência percebida, custo por tarefa concluída, qualidade em português e adequação ao seu domínio específico. Um índice composto é bom para descartar candidatos, não para escolher o vencedor.

⚠️ “Pesos abertos” não significa “livre para usar”

Este é o erro mais caro que se comete ao planejar self-host, e os casos do Kimi K3 e do GLM-5.3 ilustram bem.

O Kimi K3 é distribuído com pesos públicos, mas abandonou a licença MIT das versões anteriores. A licença própria impõe duas condições que afetam diretamente quem pretende revender capacidade:

• Acordo separado obrigatório se a receita do seu serviço de modelo-como-serviço passar de US$ 20 milhões em 12 meses.
• Atribuição visível “Kimi K3” na interface acima de 100 milhões de usuários mensais ou US$ 20 milhões de receita mensal.

Uso interno está isento. O GLM-5.3, segundo colocado entre os abertos, também tem licença própria, com gatilho bem mais alto: revisão de segurança da Z.AI se a receita de modelo-como-serviço passar de US$ 10 bilhões em 12 meses. A distinção prática: open weights significa que você baixa e roda; open source no sentido MIT ou Apache 2.0 significa que você também revende sem gatilho. São coisas diferentes, e a diferença aparece no jurídico, não no benchmark.

Antes de padronizar um modelo, leia o arquivo LICENSE no repositório — não o texto de marketing do anúncio.

A armadilha técnica: parâmetros ativos não definem a VRAM

Os modelos abertos de topo usam arquitetura de mistura de especialistas (MoE), e isso produz um mal-entendido frequente no dimensionamento de hardware.

O Kimi K3 tem cerca de 2,8 trilhões de parâmetros totais, mas apenas 104 bilhões ativos por token. A leitura errada é concluir que basta hardware para 104 bilhões. Não basta: os pesos precisam estar carregados na memória para que o roteador escolha quais especialistas usar a cada token. A VRAM se dimensiona pelos totais; os ativos determinam a velocidade de inferência, não o requisito de memória.

O mesmo vale para o MiMo-V2.6-Pro, hoje o líder entre os abertos, com 1,02 trilhão de parâmetros totais e 42 bilhões ativos, e para o DeepSeek V4, cuja versão Pro tem 1,6 trilhão de parâmetros com 49 bilhões ativos. Some-se a isso o cache de chave-valor, que cresce com o tamanho do contexto — em janelas de 1 milhão de tokens, ele deixa de ser detalhe e passa a ser parcela significativa do consumo.

Os modelos abertos de topo, com licença e arquitetura

O contraste é o ponto: o líder do índice entre os abertos é MIT, mas os dois seguintes usam licença própria — GLM-5.3 com gatilho de US$ 10 bilhões, Kimi K3 com gatilho de US$ 20 milhões. DeepSeek V4 é MIT em código e pesos; o gpt-oss-120b da OpenAI é Apache 2.0. “Aberto” não é um conceito único, e a diferença aparece no contrato, não no benchmark.

Um detalhe prático do gpt-oss-120b: por usar precisão MXFP4 nativa nos pesos do MoE, ele cabe em uma única GPU de 80 GB — afirmação do próprio card do modelo. É o caminho de menor atrito para quem quer começar.

Como calcular a VRAM de verdade

Não existe tabela oficial de VRAM por modelo — quem publica número fechado está estimando. O que existe é a fórmula, e ela tem quatro parcelas:

VRAM total = pesos + cache de chave-valor + ativações + overhead

Pesos = número de parâmetros × bytes por parâmetro. Os fatores reais por precisão:

• FP16 / BF16 → 2,0 bytes
• FP8 / INT8 → 1,0
• INT4 agrupado (GPTQ, AWQ) → 0,52 a 0,55
• GGUF Q4_K_M → ≈ 0,61 — são 4,9 bits efetivos, não 4,0, detalhe que a maioria dos tutoriais erra

Cache de chave-valor por token = 2 × camadas × cabeças_kv × dimensão_da_cabeça × bytes. Num Llama 3 de 8 B em FP16, isso dá 128 KB por token. Cresce linearmente com o contexto e com o lote — em janelas de 1 milhão de tokens, o cache pode superar o peso do próprio modelo. É a parcela mais esquecida do dimensionamento.

Quanto custa a GPU

Preços de tabela oficial, sob demanda (Secure Cloud, no caso da RunPod), em outubro de 2026. Em instâncias de oito GPUs a Lambda cai para US$ 3,99 por H100 SXM, US$ 2,79 por A100 SXM de 80 GB e US$ 6,69 por B200.

⚠️ Vale uma nota de método: vários comparativos publicados erram esses números. Um agregador conhecido afirmava H100 PCIe a US$ 1,99 na RunPod quando a tabela da Secure Cloud diz US$ 2,89 — diferença de 45% numa conta que decide investimento. Ao reler a página hoje, vi que a RunPod também publica a camada Community Cloud, mais barata, com o H100 PCIe a US$ 1,99: parte da divergência pode ser troca de camada. Confira sempre na fonte, e a camada, antes de dimensionar orçamento.

Ferramentas: qual serve para quê

A confusão comum é usar Ollama para atender produção. Ele resolve o “funciona na minha máquina”, mas não foi desenhado para concorrência alta — para isso existem vLLM e SGLang, com batching e gestão de memória pensados para múltiplas requisições simultâneas.

Quando self-host faz sentido

Há três razões que sustentam a decisão, e uma que costuma não sustentar.

• Soberania de dados. Se o dado não pode sair da sua infraestrutura por exigência regulatória ou contratual, a conta de custo é secundária. É o argumento mais sólido.
• Previsibilidade de fornecedor. Modelo baixado não é descontinuado por decisão de terceiro. Em 2026 isso deixou de ser hipótese: o Claude Fable 5 ficou cerca de três semanas indisponível por controle de exportação, e a Sora foi encerrada — a API saiu do ar em 24 de setembro de 2026, sem substituto.
• Volume alto e constante. Aqui a aritmética pode favorecer, mas depende de utilização real da GPU — máquina ociosa custa igual.
• Economia em volume baixo ou irregular. Normalmente não se sustenta. Modelos como o GPT-6 Luna, a US$ 0,10 por milhão de tokens de entrada, tornam difícil competir com API quando o uso é intermitente.

⚠️ Sobre o ponto de equilíbrio: circulam muitos cálculos de “quantos tokens por mês justificam self-host”, quase todos em blogs comerciais sem metodologia publicada — e eles divergem em uma ordem de magnitude. Vi estimativas de “2 a 5 milhões de tokens por dia” e de “6,8 milhões por mês“: um fator de trinta entre elas. Não reconcilio números que não pude verificar.

Dois pontos qualitativos, porém, aparecem de forma consistente e são mais defensáveis que qualquer cifra:

• Contra APIs de modelos abertos baratas — na faixa de US$ 0,14 a 0,50 por milhão de tokens —, o self-host quase nunca ganha em custo puro. O caso real é soberania de dados, latência e conformidade. Para operação brasileira sujeita à LGPD, com dado de cliente em jogo, esse é o argumento que sustenta.
• A GPU é só 30% a 40% do investimento real. O custo total de propriedade costuma sair 2,5 a 3 vezes o valor da máquina, somando rede, armazenamento, monitoramento e engenharia. É a parcela que os cálculos de blog omitem.

A conta que vale é a sua: custo/hora da GPU × horas necessárias, contra preço por token da API no seu volume real — com utilização honesta, não teórica.

Um detalhe que os rankings não mostram

Vale registrar uma regressão de um dos líderes entre os abertos, porque contraria a leitura de que cada versão é melhor em tudo: a taxa de alucinação do Kimi K3 piorou frente ao K2.6: o K2.6 registrava 39% na leitura de agosto, e o K3 está hoje em 53% no AA-Omniscience (eram 51% em agosto).

Índice composto mais alto com alucinação maior é perfeitamente possível — e é exatamente o tipo de compromisso que se perde quando a decisão se apoia em um número único. No mesmo teste, o GLM-5.3 registra 30% e o MiMo-V2.6-Pro, 41%. Se o seu caso de uso é extração factual ou atendimento, esse dado pesa mais que os 44 pontos do Kimi K3 no índice.

Como decidir

Uma sequência prática: comece pela licença, que é binária e elimina candidatos rápido. Depois dimensione a VRAM pelos parâmetros totais, somando o cache de contexto. Em seguida escolha a ferramenta pelo destino — vLLM ou SGLang se for produção. Por último, e só então, compare custo com a API no seu volume real.

E teste no seu dado, em português, com as suas tarefas. Os 12 pontos de diferença no índice atual não dizem se o modelo aberto serve ao seu caso, nem o contrário; só o teste no seu dado diz.

Fontes

• Intelligence Index e comparativo de modelos — Artificial Analysis
• Análise dos lançamentos de pesos abertos — Artificial Analysis
• Catálogo de modelos e licenças — Hugging Face
• Documentação do vLLM
• Documentação do SGLang
• Repositório do llama.cpp
• Biblioteca do Ollama
• Tabela de preços de GPU — RunPod
• Tabela de preços de GPU — Lambda
• Card do DeepSeek V4 Pro — Hugging Face
• Card do gpt-oss-120b — OpenAI no Hugging Face
• Licença do Kimi K3 — Hugging Face
• Licença do GLM-5.3 — Hugging Face
• Card do MiMo-V2.6-Pro-RL — Hugging Face

Leia também

• Modelos de IA em 2026 — panorama com preços e versões atuais
• Benchmark de texto e raciocínio · de código · de agentes
• Kimi · DeepSeek — os modelos abertos de topo
• Hugging Face para empresas — do modelo à produção
• Benchmark de IA — a definição no glossário