LoRA — sigla de Low-Rank Adaptation — é a técnica que permite adaptar um modelo de IA treinando uma fração minúscula dos seus pesos, em vez de todos. Em vez de reescrever o modelo inteiro, acrescenta-se um conjunto pequeno de matrizes que aprendem o ajuste. É o método mais usado da categoria PEFT (parameter-efficient fine-tuning, ajuste fino eficiente em parâmetros), que reúne as abordagens de adaptar modelos grandes sem o custo de retreinar tudo. Os números do trabalho original, medidos contra o ajuste completo do GPT-3 de 175 bilhões de parâmetros: 10 mil vezes menos parâmetros treináveis e 3 vezes menos memória de placa de vídeo. É a diferença entre precisar de um data center e precisar de uma máquina — e uma variante posterior, o QLoRA, levou isso ao ponto de ajustar um modelo de 65 bilhões de parâmetros numa única placa de 48 GB.
⚠️ “LoRA entrega o mesmo que o ajuste completo”
Aqui há uma divergência entre o trabalho original e a medição posterior, e ela é instrutiva sobre como ler afirmação de paper.
O paper que apresentou a técnica afirma que ela entrega qualidade “igual ou melhor” que o ajuste completo, em quatro famílias de modelos. Foi essa frase que virou argumento de venda.
Um estudo de 2024 mediu de novo, em domínios mais exigentes — programação e matemática — e encontrou o contrário: nas configurações usuais, o LoRA fica substancialmente atrás do ajuste completo. E o desempenho relativo piora conforme se acrescenta mais dado de treino. A explicação técnica que eles oferecem: o ajuste completo aprende alterações de complexidade 10 a 100 vezes maior do que a que as configurações típicas de LoRA conseguem representar.
Mas o mesmo estudo traz o outro lado, e é ele que decide o uso em marketing: o LoRA preserva melhor o que o modelo já sabia fora do domínio alvo. O ajuste completo aprende mais e esquece mais.
A síntese: um trade-off entre aprender e esquecer
A leitura correta não é “LoRA é pior” nem “LoRA é igual”. É uma escolha entre duas propriedades:
| Aprende o domínio novo | Preserva o que já sabia | |
|---|---|---|
| Ajuste completo | Mais | Menos |
| LoRA | Menos | Mais |
Para uma operação de marketing, a segunda coluna costuma ser a que importa. Você quer que o modelo escreva no tom da marca — não que ele perca o português geral, a capacidade de resumir ou o conhecimento do mundo no processo. Nesse cenário, “aprender menos e esquecer menos” é a característica desejável, não o defeito.
Há uma variante que ampliou ainda mais o acesso: o QLoRA combina a técnica com quantização e permite ajustar um modelo de 65 bilhões de parâmetros numa única placa de 48 GB, preservando o desempenho do ajuste em precisão cheia. Uma ressalva sobre um número muito citado desse trabalho — o de que o modelo resultante atinge “99,3% do nível do ChatGPT”: ele vale num benchmark específico, avaliado por outro modelo, e os próprios autores advertem que os benchmarks de chatbot da época não eram confiáveis. Costuma ser citado sem essa ressalva.
O que isso muda na prática
Antes de considerar qualquer ajuste, vale lembrar a ordem de custo crescente — e que a maioria das empresas pula os degraus baratos:
- Prompt bem construído — gratuito, reversível, resolve mais casos do que se imagina
- RAG — se o problema é acesso a informação que muda
- LoRA — se o problema é consistência de forma, tom ou estrutura
- Ajuste completo — raramente justificável fora de domínio muito especializado
E um cuidado ao ler comparações: há material demonstrando ganhos expressivos de LoRA sobre modelos base, publicado por empresas que vendem plataformas de ajuste. O resultado pode ser real e ainda assim ser material comercial — verifique quem assina antes de usar o número numa decisão.
A distinção entre ajustar e recuperar está em fine-tuning; a técnica de reduzir precisão, que o QLoRA combina, em quantização.
Fontes
- LoRA: Low-Rank Adaptation of Large Language Models — Hu et al., os números de 10.000× e 3×
- LoRA Learns Less and Forgets Less — a medição que diverge do paper original
- QLoRA — ajuste de modelo de 65B em uma GPU de 48 GB
- Biblioteca PEFT — documentação oficial da categoria
Leitura das fontes em 17/08/2026.