**Benchmark de [IA](https://clubmartech.com.br/blog/ia-marketing-vendas-inteligentes/) multimodal** mede a capacidade do modelo de interpretar imagem, documento, gráfico e vídeo — não apenas texto. É a família de [testes](https://clubmartech.com.br/blog/testes-moderados-valide-retrabalho/) mais relevante para [marketing](https://comecandonaweb.com.br/marketing-digital/), porque cobre o caso de uso mais comum na prática: **extrair informação de nota fiscal, contrato, relatório e print de dashboard**. No teste mais exigente com [dados](https://clubmartech.com.br/blog/dados-transformar-volume-acionavel/) de 2026, o MMMU-Pro, o topo é um **empate técnico em 85%** entre [Gemini](https://clubmartech.com.br/blog/gemini-pratica-workflows-google/) 3.7 Flash e [Claude](https://clubmartech.com.br/blog/claude-pratica-assistentes-ia/) Opus 5, na avaliação da Artificial Analysis. Aqui, porém, quem procura número atualizado encontra um problema que este artigo trata de frente: **o principal leaderboard independente de modelos multimodais está congelado desde 17 de setembro de 2025** e não contém um único modelo de 2026 — ainda assim continua sendo citado como referência corrente. Vamos separar o que dá para afirmar do que não dá.## Os benchmarks que importam e o que cada um mede
| Benchmark | O que mede | Amostra |
|---|---|---|
| **MMMU** | Raciocínio multimodal em nível universitário | 11,5 mil questões · 30 assuntos · 183 subcampos |
| **MMMU-Pro** | Versão endurecida, resistente a atalho textual | **3.460 questões** · 6 disciplinas |
| **MathVista** | Raciocínio matemático sobre [conteúdo](https://clubmartech.com.br/blog/conteudo-longo-prazo-anos/) visual | gráficos, diagramas, geometria |
| **ChartQA** | Perguntas sobre gráficos e visualizações | leitura de valor e comparação |
| **DocVQA** | Perguntas sobre documentos digitalizados | formulário, fatura, relatório |
| **OCRBench** | Leitura de texto, VQA documental, extração de campo | escala de 0 a 1000 |
| **Video-MME** | Compreensão de vídeo em múltiplas durações | curto, médio e longo |
Note a diferença entre **MMMU e MMMU-Pro**, que muita gente confunde: o primeiro tem 11,5 mil questões; o segundo, 3.460. O “Pro” não é o mesmo teste com nome novo — é uma versão redesenhada para impedir que o modelo acerte por eliminação textual, sem realmente olhar a imagem.
O resultado é um **empate técnico em 85%** entre Gemini 3.7 Flash e Claude Opus 5. Vale registrar o que não está ali: **GPT-5.6, Kimi K3 e Qwen-VL não têm score publicado** nessa avaliação. Ausência de número não é número baixo — é ausência, e comparativo honesto precisa dizer isso.## ⚠️ O leaderboard que todos citam está parado há 11 mesesO **Open VLM Leaderboard** é a referência mais compartilhada para modelos multimodais abertos. Baixei o arquivo de dados que alimenta a página — 285 modelos, 6,5 MB — e conferi o campo de data: **17 de setembro de 2025**.Ele não contém Claude Opus 5, GPT-5.6, Gemini 3.7 Flash, Kimi K3 nem Qwen3.8. Praticamente nenhum modelo de 2026. Continua sendo útil como **histórico de modelos abertos de visão**, e é assim que deve ser citado — não como retrato do presente.
Os números acima são reais e medidos com metodologia declarada, mas **datam de setembro de 2025**. Para OCR e extração de documento — o uso mais comum em operação de marketing — eles indicam o patamar da geração anterior, não o de hoje.## ⚠️ Três agregadores, três respostas para o mesmo testeEsta é a descoberta mais útil da apuração, e serve como alerta geral. Para o **mesmo benchmark, no mesmo mês**, três sites de comparação publicam:
- Um deles: Claude Opus 5 com **89,88%**
- Artificial Analysis: topo em **85%**
- Outro: um modelo chamado “GPT-5.4 Pro” com **94%**
Não são erros de digitação: são **escalas, variantes de modelo e metodologias diferentes**, apresentadas com o mesmo rótulo. Quem monta uma planilha juntando fontes está somando coisas incomparáveis.A regra prática que adoto aqui: **use uma fonte independente com metodologia declarada, ou não use número nenhum**. Meia dúzia de scores de origens distintas na mesma tabela produz uma comparação que parece rigorosa e não é.## O que isso significa para quem decideSe o seu caso é **extração de documento em escala** — nota fiscal, contrato, formulário —, o benchmark público não vai responder qual modelo escolher. Os que medem exatamente isso estão desatualizados, e os atualizados não publicam o recorte.O caminho é testar com **o seu próprio corpus**: separe 50 a 100 documentos representativos, defina o campo que precisa extrair e meça acerto por campo, não impressão geral. Duas horas de teste próprio valem mais que qualquer ranking, porque documento brasileiro tem layout, abreviação e tributo que nenhum benchmark internacional cobre.Para **leitura de gráfico e dashboard**, o empate em 85% no MMMU-Pro sugere que Gemini 3.7 Flash e Claude Opus 5 estão equivalentes — e aí a decisão migra para preço e latência, já cobertos no
panorama de modelos.## Casos de uso mais comuns
- **Extração de documento** — nota fiscal, contrato, comprovante. Testar com corpus próprio é obrigatório.
- **Leitura de dashboard** — transformar print de relatório em dado estruturado, útil quando não há API.
- **Auditoria de peça criativa** — verificar se o material segue o manual de marca antes de publicar.
- **Acessibilidade** — gerar texto alternativo para imagem em escala.
- **Moderação visual** — triagem de conteúdo enviado por usuário.
## Fontes
- Avaliação MMMU-Pro — Artificial Analysis
- MMMU — página oficial do benchmark
- Open VLM Leaderboard — dados de setembro de 2025
- MathVista · Video-MME
- DocVQA · OCRBench (repositório)
## Leia também
- Modelos de IA em 2026 — panorama com preços e versões
- Benchmark de geração de imagem · de dados e matemática · de texto e raciocínio
- Benchmark de self-host — rodar modelo aberto em infraestrutura própria
- Benchmark de IA — a definição no glossário
