RAG — sigla de Retrieval-Augmented Generation, ou geração aumentada por recuperação — é a técnica de buscar trechos relevantes numa base de documentos e entregá-los ao modelo de linguagem junto com a pergunta, para que ele responda com base neles em vez de responder de memória. É o que permite um assistente falar sobre o seu catálogo, a sua política de troca e o seu histórico de atendimento, sem que nada disso tenha sido treinado no modelo. E é a arquitetura padrão de quase todo chatbot corporativo hoje. O dado que importa para quem vai colocar isso em produção: mesmo recebendo o contexto correto em mãos, o melhor modelo medido pelo FaithJudge ainda produz afirmação sem lastro em 6,65% das respostas; o pior da lista, um modelo aberto de 8 bilhões de parâmetros, erra em 28,38%. RAG reduz alucinação — e a diferença entre um modelo e outro é de mais de quatro vezes. Mas nenhum chega a zero, e é isso que define o desenho do sistema.
Quanto RAG realmente reduz a alucinação
O FaithJudge mede exatamente isso: a taxa de alucinação de modelos que já receberam o contexto relevante. A amostra é declarada — 75 artigos com 10 resumos anotados por humanos cada, mais subconjuntos de até 150 fontes por tipo de tarefa (sumarização, perguntas e respostas, e dados para texto).
| Modelo | Taxa de alucinação com contexto |
|---|---|
| Gemini 2.5 Pro (melhor) | 6,65% |
| Llama 3.1 8B (pior) | 28,38% |
A frase do próprio estudo é direta: os modelos seguem introduzindo informação sem suporte ou contradições mesmo quando recebem o contexto relevante. Traduzindo para operação: um sistema de RAG sem camada de verificação erra, no melhor caso medido, cerca de 1 resposta a cada 15.
⚠️ Os números de RAG que circulam sem fonte
Este verbete tem um achado que vale mais que qualquer estatística: ao procurar dados de eficácia de RAG, o que aparece em volume é um conjunto de números redondos sem paper, sem amostra e sem metodologia. Os mais repetidos:
- “RAG reduz alucinação em 71%, segundo o Google” — não há fonte localizável para essa atribuição.
- “Reduz de 70% a 90%” — aparece só em blogs de fornecedor.
- “67% das Fortune 500 têm RAG em produção” — sem fonte primária.
- “ROI médio de 340% em 18 meses” — material de marketing, sem método declarado.
Nenhum desses resistiu à checagem. São exatamente o tipo de cifra que ganha vida própria por citação circular: alguém publica, outro cita sem conferir, e em seis meses o número vira “consenso de mercado”. Se um fornecedor te apresentar qualquer um deles, peça a fonte primária — com amostra e metodologia. A resposta a esse pedido diz mais sobre o fornecedor que o número em si.
RAG ou fine-tuning? A pergunta está errada
Circula que “RAG substituiu o fine-tuning”. É falso como dicotomia, porque as duas técnicas resolvem problemas diferentes — e há literatura medindo isso.
Um estudo apresentado na EMNLP 2024 testou o que acontece quando se tenta ensinar fato novo a um modelo por fine-tuning. Dois achados: os exemplos que introduzem conhecimento novo são aprendidos significativamente mais devagar que os já compatíveis com o que o modelo sabe; e, à medida que são finalmente aprendidos, aumentam linearmente a tendência do modelo a alucinar. A conclusão dos autores: modelos adquirem conhecimento factual sobretudo no pré-treino — o fine-tuning ensina a usá-lo, não a sabê-lo.
A regra prática que sai daí é limpa:
- Fato novo, que muda com o tempo — preço, prazo, estoque, política vigente → RAG.
- Formato, tom de voz, estrutura de saída → fine-tuning.
Quem fez fine-tuning para “ensinar o produto” ao modelo provavelmente aumentou a alucinação em vez de reduzi-la.
O que isso muda na prática
Três decisões de projeto que os números acima determinam:
- Toda resposta sobre preço, prazo ou condição contratual precisa de citação rastreável. Com 6,65% de erro no melhor caso, mostrar a fonte não é refinamento — é o que torna o erro detectável pelo usuário.
- A qualidade da recuperação decide mais que o modelo. Se o trecho certo não for encontrado, nenhum modelo salva a resposta. O gargalo costuma estar no recorte dos documentos e no embedding, não na escolha do LLM.
- Não é preciso banco vetorial dedicado no começo. Para as centenas de milhares de trechos típicas de uma operação de marketing, a extensão de busca vetorial do Postgres que a empresa já opera costuma resolver — assunto do verbete de vector database.
E vale a medição própria: monte de 50 a 100 perguntas reais da sua operação, com a resposta correta conhecida, e rode contra o seu sistema. É o único benchmark que mede o seu caso — o raciocínio está detalhado no verbete de benchmark de IA e no guia de texto e raciocínio.
Fontes
- Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards — FaithJudge, taxa de alucinação com contexto
- Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? — EMNLP 2024
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — Lewis et al., 2020, o paper que nomeou a técnica