Validação cruzada é o método padrão para estimar se um modelo vai funcionar em dados que ele não viu: dividem-se os dados em k partes, treina-se em k−1 e testa-se na que sobrou, repetindo até que cada parte tenha sido o teste uma vez. A média dos resultados é a estimativa. O valor k = 10 virou padrão por causa de um estudo de 1995 que rodou mais de meio milhão de execuções sobre dados reais e concluiu que a validação cruzada estratificada em dez partes era o melhor método para seleção de modelo — mesmo quando havia poder computacional para usar mais partes. Mas há uma armadilha que anula tudo isso, e ela é especialmente comum em marketing: aplicar a divisão aleatória em dados que têm ordem no tempo.
⚠️ A divisão aleatória treina o modelo com o futuro
O problema, descrito num guia metodológico acadêmico: com validação cruzada padrão sobre série temporal, as partes de treino contêm dados que estão no futuro em relação à parte de teste.
Traduzindo para um caso concreto de marketing. Você treina um modelo de propensão à compra com dois anos de histórico, embaralha tudo, e o modelo aprende com dezembro para prever março. O resultado da validação fica excelente — e é mentira, porque em produção o modelo nunca terá acesso ao futuro. Ele vai operar sempre olhando só para trás.
O sintoma clássico: o modelo brilha no teste e decepciona no ar, e a equipe conclui que “o modelo não generalizou”. Não é isso — a avaliação é que estava errada.
A correção tem nome: validação em blocos, que respeita a ordem temporal — treina até certa data, testa no período seguinte, avança a janela. É como o modelo vai de fato operar.
O vazamento silencioso do pré-processamento
Existe uma segunda fonte de vazamento, mais sutil e igualmente comum: calcular estatísticas de normalização ou preenchimento de valores faltantes usando o conjunto inteiro antes de dividir.
Parece inofensivo — é só uma média. Mas essa média carrega informação do conjunto de teste para dentro do treino, e o resultado fica otimista. A regra, conforme a mesma fonte: estatísticas de escalonamento e imputação devem ser calculadas apenas com os dados de treino, e depois aplicadas ao teste.
O que isso muda na prática
Quase todo dado de marketing tem ordem temporal — comportamento de cliente, sazonalidade, mudança de plataforma, efeito de campanha. Isso torna a armadilha a regra, não a exceção.
- Se o dado tem data, valide no tempo. Treine até certa data e teste no período seguinte. É a única avaliação que responde à pergunta real: funcionaria se estivesse no ar naquele momento?
- Desconfie de resultado excelente. Métrica muito acima do esperado costuma indicar vazamento, não genialidade do modelo. O caso mais comum é uma variável que só existe depois do desfecho que se quer prever.
- Peça o método, não só o número. Quando um fornecedor apresenta a acurácia do modelo de propensão, pergunte como os dados foram divididos. Se a resposta for “aleatoriamente”, o número não significa o que parece.
E vale lembrar que boa validação não protege contra o envelhecimento: o modelo pode estar corretamente avaliado hoje e errado em seis meses, porque o comportamento mudou — assunto de concept drift. Sobre qual métrica olhar, veja métricas de classificação; sobre decorar em vez de aprender, overfitting.
Fontes
- A Study of Cross-Validation and Bootstrap — Kohavi, IJCAI 1995; a origem do k=10
- How to avoid machine learning pitfalls — Lones; dependência temporal e vazamento por pré-processamento
Leitura das fontes em 17/08/2026.