Benchmark de IA multimodal mede a capacidade do modelo de interpretar imagem, documento, gráfico e vídeo — não apenas texto. É a família de testes mais relevante para marketing, porque cobre o caso de uso mais comum na prática: extrair informação de nota fiscal, contrato, relatório e print de dashboard. No teste mais exigente com dados de 2026, o MMMU-Pro, o topo é um empate técnico em 85% entre Gemini 3.7 Flash e Claude Opus 5, na avaliação da Artificial Analysis. Aqui, porém, quem procura número atualizado encontra um problema que este artigo trata de frente: o principal leaderboard independente de modelos multimodais está congelado desde 17 de setembro de 2025 e não contém um único modelo de 2026 — ainda assim continua sendo citado como referência corrente. Vamos separar o que dá para afirmar do que não dá.
Os benchmarks que importam e o que cada um mede
| Benchmark | O que mede | Amostra |
|---|---|---|
| MMMU | Raciocínio multimodal em nível universitário | 11,5 mil questões · 30 assuntos · 183 subcampos |
| MMMU-Pro | Versão endurecida, resistente a atalho textual | 3.460 questões · 6 disciplinas |
| MathVista | Raciocínio matemático sobre conteúdo visual | gráficos, diagramas, geometria |
| ChartQA | Perguntas sobre gráficos e visualizações | leitura de valor e comparação |
| DocVQA | Perguntas sobre documentos digitalizados | formulário, fatura, relatório |
| OCRBench | Leitura de texto, VQA documental, extração de campo | escala de 0 a 1000 |
| Video-MME | Compreensão de vídeo em múltiplas durações | curto, médio e longo |
Note a diferença entre MMMU e MMMU-Pro, que muita gente confunde: o primeiro tem 11,5 mil questões; o segundo, 3.460. O “Pro” não é o mesmo teste com nome novo — é uma versão redesenhada para impedir que o modelo acerte por eliminação textual, sem realmente olhar a imagem.
MMMU-Pro — compreensão multimodal em nível de pós-graduação
3.460 questões em 6 disciplinas. Avaliação independente da Artificial Analysis.
Empate técnico no topo. GPT-5.6, Kimi K3 e Qwen-VL não têm score publicado nesta avaliação.
O resultado é um empate técnico em 85% entre Gemini 3.7 Flash e Claude Opus 5. Vale registrar o que não está ali: GPT-5.6, Kimi K3 e Qwen-VL não têm score publicado nessa avaliação. Ausência de número não é número baixo — é ausência, e comparativo honesto precisa dizer isso.
⚠️ O leaderboard que todos citam está parado há 11 meses
O Open VLM Leaderboard é a referência mais compartilhada para modelos multimodais abertos. Baixei o arquivo de dados que alimenta a página — 285 modelos, 6,5 MB — e conferi o campo de data: 17 de setembro de 2025.
Ele não contém Claude Opus 5, GPT-5.6, Gemini 3.7 Flash, Kimi K3 nem Qwen3.8. Praticamente nenhum modelo de 2026. Continua sendo útil como histórico de modelos abertos de visão, e é assim que deve ser citado — não como retrato do presente.
OCRBench — leitura de documento (dados de setembro de 2025)
Escala de 0 a 1000. Inclui VQA documental e extração de informação-chave, o caso de uso central em martech.
⚠️ Este leaderboard está congelado desde 17/09/2025 e não contém nenhum modelo de 2026. Serve como histórico, não como referência atual.
Os números acima são reais e medidos com metodologia declarada, mas datam de setembro de 2025. Para OCR e extração de documento — o uso mais comum em operação de marketing — eles indicam o patamar da geração anterior, não o de hoje.
⚠️ Três agregadores, três respostas para o mesmo teste
Esta é a descoberta mais útil da apuração, e serve como alerta geral. Para o mesmo benchmark, no mesmo mês, três sites de comparação publicam:
- Um deles: Claude Opus 5 com 89,88%
- Artificial Analysis: topo em 85%
- Outro: um modelo chamado “GPT-5.4 Pro” com 94%
Não são erros de digitação: são escalas, variantes de modelo e metodologias diferentes, apresentadas com o mesmo rótulo. Quem monta uma planilha juntando fontes está somando coisas incomparáveis.
A regra prática que adoto aqui: use uma fonte independente com metodologia declarada, ou não use número nenhum. Meia dúzia de scores de origens distintas na mesma tabela produz uma comparação que parece rigorosa e não é.
O que isso significa para quem decide
Se o seu caso é extração de documento em escala — nota fiscal, contrato, formulário —, o benchmark público não vai responder qual modelo escolher. Os que medem exatamente isso estão desatualizados, e os atualizados não publicam o recorte.
O caminho é testar com o seu próprio corpus: separe 50 a 100 documentos representativos, defina o campo que precisa extrair e meça acerto por campo, não impressão geral. Duas horas de teste próprio valem mais que qualquer ranking, porque documento brasileiro tem layout, abreviação e tributo que nenhum benchmark internacional cobre.
Para leitura de gráfico e dashboard, o empate em 85% no MMMU-Pro sugere que Gemini 3.7 Flash e Claude Opus 5 estão equivalentes — e aí a decisão migra para preço e latência, já cobertos no panorama de modelos.
Casos de uso mais comuns
- Extração de documento — nota fiscal, contrato, comprovante. Testar com corpus próprio é obrigatório.
- Leitura de dashboard — transformar print de relatório em dado estruturado, útil quando não há API.
- Auditoria de peça criativa — verificar se o material segue o manual de marca antes de publicar.
- Acessibilidade — gerar texto alternativo para imagem em escala.
- Moderação visual — triagem de conteúdo enviado por usuário.
Fontes
- Avaliação MMMU-Pro — Artificial Analysis
- MMMU — página oficial do benchmark
- Open VLM Leaderboard — dados de setembro de 2025
- MathVista · Video-MME
- DocVQA · OCRBench (repositório)
Leia também
- Modelos de IA em 2026 — panorama com preços e versões
- Benchmark de geração de imagem · de dados e matemática · de texto e raciocínio
- Benchmark de self-host — rodar modelo aberto em infraestrutura própria
- Benchmark de IA — a definição no glossário
