Benchmark de IA multimodal mede a capacidade do modelo de interpretar imagem, documento, gráfico e vídeo — não apenas texto. É a família de testes mais relevante para marketing, porque cobre o caso de uso mais comum na prática: extrair informação de nota fiscal, contrato, relatório e print de dashboard. No teste mais exigente com dados de 2026, o MMMU-Pro, o topo está apertado: Claude Opus 5.5 com 88%, GPT-6 Astra com 87% e GPT-6.1 Sol e Gemini 3.8 Flash com 86%, na avaliação da Artificial Analysis. Aqui, porém, quem procura número atualizado encontra um problema que este artigo trata de frente: o principal leaderboard independente de modelos multimodais continua congelado desde 17 de setembro de 2025 e, entre 285 modelos, não tem nenhum dos de ponta de 2026 — ainda assim continua sendo citado como referência corrente. Vamos separar o que dá para afirmar do que não dá.
Os benchmarks que importam e o que cada um mede
| Benchmark | O que mede | Amostra |
|---|---|---|
| MMMU | Raciocínio multimodal em nível universitário | 11,5 mil questões · 30 assuntos · 183 subcampos |
| MMMU-Pro | Versão endurecida, resistente a atalho textual | 3.460 questões · 6 disciplinas |
| MathVista | Raciocínio matemático sobre conteúdo visual | gráficos, diagramas, geometria |
| ChartQA | Perguntas sobre gráficos e visualizações | leitura de valor e comparação |
| DocVQA | Perguntas sobre documentos digitalizados | formulário, fatura, relatório |
| OCRBench | Leitura de texto, VQA documental, extração de campo | escala de 0 a 1000 |
| Video-MME | Compreensão de vídeo em múltiplas durações | curto, médio e longo |
Note a diferença entre MMMU e MMMU-Pro, que muita gente confunde: o primeiro tem 11,5 mil questões; o segundo, 3.460. O “Pro” não é o mesmo teste com nome novo — é uma versão redesenhada para impedir que o modelo acerte por eliminação textual, sem realmente olhar a imagem.
MMMU-Pro — compreensão multimodal em nível de pós-graduação
3.460 questões em 6 disciplinas. Avaliação independente da Artificial Analysis; melhor configuração de cada modelo.
Topo apertado: quatro modelos de três empresas em até 2 pontos. Gemini 4 Argon, Claude Sonnet 5.5 e Claude Fable 5.1 não têm score publicado nesta avaliação.
O topo está apertado: 88% para o Claude Opus 5.5, 87% para o GPT-6 Astra e 86% para o GPT-6.1 Sol e o Gemini 3.8 Flash — quatro modelos de três empresas dentro de 2 pontos. Vale registrar o que não está ali: Gemini 4 Argon, Claude Sonnet 5.5 e Claude Fable 5.1 não têm score publicado nessa avaliação. Ausência de número não é número baixo — é ausência, e comparativo honesto precisa dizer isso.
⚠️ O leaderboard que todos citam está parado há 12 meses
O Open VLM Leaderboard é a referência mais compartilhada para modelos multimodais abertos. Baixei o arquivo de dados que alimenta a página — 285 modelos, 6,6 MB — e conferi o campo de data: 17 de setembro de 2025.
Ele não contém Claude Opus 5.5, GPT-6, Gemini 3.8 Flash, Kimi K3 nem Qwen3.8. Dos 285 registros, só um tem data de 2026 — um modelo de OCR, de fevereiro — e nenhum é de ponta. Continua sendo útil como histórico de modelos abertos de visão, e é assim que deve ser citado — não como retrato do presente.
OCRBench — leitura de documento (dados de setembro de 2025)
Escala de 0 a 1000. Inclui VQA documental e extração de informação-chave, o caso de uso central em martech.
⚠️ Este leaderboard está congelado desde 17/09/2025 e não contém nenhum modelo de ponta de 2026. Serve como histórico, não como referência atual.
Os números acima são reais e medidos com metodologia declarada, mas datam de setembro de 2025. Para OCR e extração de documento — o uso mais comum em operação de marketing — eles indicam o patamar da geração anterior, não o de hoje.
⚠️ Três agregadores, três respostas para o mesmo teste
Esta é a descoberta mais útil da apuração, e serve como alerta geral. Para o mesmo benchmark, no mesmo mês (agosto de 2026), três sites de comparação publicavam:
- Um deles: Claude Opus 5 com 89,88%
- Artificial Analysis: topo em 85%
- Outro: um modelo chamado “GPT-5.4 Pro” com 94%
Não são erros de digitação: são escalas, variantes de modelo e metodologias diferentes, apresentadas com o mesmo rótulo. Quem monta uma planilha juntando fontes está somando coisas incomparáveis.
A regra prática que adoto aqui: use uma fonte independente com metodologia declarada, ou não use número nenhum. Meia dúzia de scores de origens distintas na mesma tabela produz uma comparação que parece rigorosa e não é.
O que isso significa para quem decide
Se o seu caso é extração de documento em escala — nota fiscal, contrato, formulário —, o benchmark público não vai responder qual modelo escolher. Os que medem exatamente isso estão desatualizados, e os atualizados não publicam o recorte.
O caminho é testar com o seu próprio corpus: separe 50 a 100 documentos representativos, defina o campo que precisa extrair e meça acerto por campo, não impressão geral. Duas horas de teste próprio valem mais que qualquer ranking, porque documento brasileiro tem layout, abreviação e tributo que nenhum benchmark internacional cobre.
Para leitura de gráfico e dashboard, o topo apertado no MMMU-Pro (88% a 86% entre Claude Opus 5.5, GPT-6 Astra, GPT-6.1 Sol e Gemini 3.8 Flash) sugere que esses modelos estão próximos — e aí a decisão migra para preço e latência, já cobertos no panorama de modelos.
Casos de uso mais comuns
- Extração de documento — nota fiscal, contrato, comprovante. Testar com corpus próprio é obrigatório.
- Leitura de dashboard — transformar print de relatório em dado estruturado, útil quando não há API.
- Auditoria de peça criativa — verificar se o material segue o manual de marca antes de publicar.
- Acessibilidade — gerar texto alternativo para imagem em escala.
- Moderação visual — triagem de conteúdo enviado por usuário.
Fontes
- Avaliação MMMU-Pro — Artificial Analysis
- MMMU — página oficial do benchmark
- Open VLM Leaderboard — dados de setembro de 2025
- MathVista · Video-MME
- DocVQA · OCRBench (repositório)
Leia também
- Modelos de IA em 2026 — panorama com preços e versões
- Benchmark de geração de imagem · de dados e matemática · de texto e raciocínio
- Benchmark de self-host — rodar modelo aberto em infraestrutura própria
- Benchmark de IA — a definição no glossário
