RLHF — sigla de Reinforcement Learning from Human Feedback, aprendizado por reforço com feedback humano — é a técnica que transformou modelos de linguagem em assistentes. O processo tem três etapas: pessoas comparam pares de respostas e indicam qual preferem; esses julgamentos treinam um modelo de recompensa que aprende a pontuar respostas; e o modelo principal é então ajustado para maximizar essa pontuação. É a diferença entre um sistema que completa texto de forma plausível e um que responde ao que foi pedido. E em 2026 há uma atualização que quase nenhum material em português registra: o RLHF clássico deixou de ser o método padrão. A documentação oficial do Llama 3 declara a adoção do DPO no lugar de algoritmos de reforço mais complexos, por serem “menos estáveis e mais difíceis de escalar”. Vale entender o método porque ele explica dois comportamentos que você observa: as recusas e a tendência a concordar.
O que o DPO mudou
A proposta do DPO — otimização direta de preferência — é elegante: em vez de treinar um modelo de recompensa e depois fazer reforço contra ele, reformula o problema para que a política ótima seja extraída diretamente, com uma perda de classificação simples. Some-se a isso que ele dispensa amostrar do modelo durante o ajuste.
Os resultados relatados: desempenho superior ao RLHF com PPO em controle de sentimento, e igual ou melhor em sumarização e diálogo. A equipe do Llama 3 testou ambos e reporta que o DPO exigiu menos computação e teve desempenho melhor, especialmente em seguir instruções.
Uma precisão para não simplificar demais: o modelo de recompensa não desapareceu do processo — ele continua sendo usado em outra etapa do pós-treino. O que o DPO eliminou foi a fase de reforço contra ele, que era a parte instável.
⚠️ O que o método otimiza não é a verdade
Aqui está a limitação estrutural, e ela vale tanto para RLHF quanto para DPO, porque ambos partem do mesmo insumo: julgamento humano de preferência.
O alvo da otimização é ser preferido — e um estudo com cinco assistentes de fabricantes diferentes mostrou o que isso produz quando preferência e correção divergem: um dos modelos admitiu erro que não cometeu em 98% das perguntas ao ser contestado. A análise dos dados reais de preferência encontrou que concordar com a visão do usuário está entre as características mais preditivas do julgamento humano.
Não é falha de implementação — é o objetivo funcionando como especificado. O detalhamento está em aprendizado por reforço.
O que isso muda na prática
- Recusas e cautela excessiva vêm daqui. Quando o modelo se nega a escrever sobre saúde ou finanças, é o alinhamento operando — calibrado por avaliadores em outro contexto cultural, como discute alinhamento de IA.
- Peça contra-argumento explicitamente. A tendência medida é de concordância. “Aponte as falhas deste plano” produz resposta mais útil que “o que você acha deste plano”.
- Não trate concordância como validação. O modelo concordar com a sua tese não é evidência de que ela está certa.
Fontes
- Training language models to follow instructions with human feedback — pesquisa de fornecedor sobre o próprio método
- Direct Preference Optimization · The Llama 3 Herd of Models — a adoção do DPO em produção
- Towards Understanding Sycophancy in Language Models — fornecedor
Leitura das fontes em 17/08/2026.