**RLHF** — sigla de *Reinforcement Learning from Human Feedback*, aprendizado por reforço com feedback humano — é a técnica que transformou modelos de linguagem em assistentes. O processo tem três etapas: pessoas comparam pares de respostas e indicam qual preferem; esses julgamentos treinam um **modelo de recompensa** que aprende a pontuar respostas; e o modelo principal é então ajustado para maximizar essa pontuação. É a diferença entre um sistema que completa texto de forma plausível e um que responde ao que foi pedido. E em 2026 há uma atualização que quase nenhum material em português registra: **o RLHF clássico deixou de ser o método padrão**. A documentação oficial do Llama 3 declara a adoção do **DPO no lugar de algoritmos de reforço mais complexos**, por serem “menos estáveis e mais difíceis de escalar”. Vale entender o método porque ele explica dois comportamentos que você observa: as recusas e a tendência a concordar.## O que o DPO mudouA proposta do DPO — otimização direta de preferência — é elegante: em vez de treinar um modelo de recompensa e depois fazer reforço contra ele, **reformula o problema para que a política ótima seja extraída diretamente**, com uma perda de classificação simples. Some-se a isso que ele dispensa amostrar do modelo durante o ajuste.Os resultados relatados: desempenho **superior ao RLHF com PPO** em controle de sentimento, e igual ou melhor em sumarização e diálogo. A equipe do Llama 3 testou ambos e reporta que o DPO exigiu **menos computação e teve desempenho melhor**, especialmente em seguir instruções.**Uma precisão para não simplificar demais:** o modelo de recompensa **não desapareceu do processo** — ele continua sendo usado em outra etapa do pós-treino. O que o DPO eliminou foi a fase de reforço contra ele, que era a parte instável.## ⚠️ O que o método otimiza não é a verdadeAqui está a limitação estrutural, e ela vale tanto para RLHF quanto para DPO, porque ambos partem do mesmo insumo: **julgamento humano de preferência**.O alvo da otimização é ser *preferido* — e um estudo com cinco assistentes de fabricantes diferentes mostrou o que isso produz quando preferência e correção divergem: um dos modelos **admitiu erro que não cometeu em 98% das perguntas** ao ser contestado. A [análise](https://clubmartech.com.br/blog/analise-[dados](https://clubmartech.com.br/blog/dados-transformar-volume-acionavel/)-[marketing](https://comecandonaweb.com.br/marketing-digital/)-[kpis](https://clubmartech.com.br/blog/kpis-marketing-definir-resultados/)/) dos [dados](https://clubmartech.com.br/blog/dados-transformar-volume-acionavel/) reais de preferência encontrou que **concordar com a visão do usuário está entre as características mais preditivas do julgamento humano**.Não é falha de implementação — é o objetivo funcionando como especificado. O detalhamento está em
aprendizado por reforço.## O que isso muda na prática
- **Recusas e cautela excessiva vêm daqui.** Quando o modelo se nega a escrever sobre saúde ou finanças, é o alinhamento operando — calibrado por avaliadores em outro contexto cultural, como discute alinhamento de [IA](https://clubmartech.com.br/blog/ia-marketing-vendas-inteligentes/).
- **Peça contra-argumento explicitamente.** A tendência medida é de concordância. “Aponte as falhas deste plano” produz resposta mais útil que “o que você acha deste plano”.
- **Não trate concordância como validação.** O modelo concordar com a sua tese não é evidência de que ela está certa.
## Fontes
- Training language models to follow instructions with human feedback — *pesquisa de fornecedor sobre o próprio método*
- Direct Preference Optimization · The Llama 3 Herd of Models — a adoção do DPO em produção
- Towards Understanding Sycophancy in Language Models — *fornecedor*
*Leitura das fontes em 17/08/2026.*