Como validar modelos com dados de marketing?

Quase todo dado de marketing tem ordem temporal, o que torna a armadilha a regra, não a exceção. Se o dado tem data, valide no tempo: treine até certa data e teste no período seguinte. Desconfie de resultado excelente — métrica muito acima do esperado costuma indicar vazamento. E peça o método, não só o número: se o fornecedor dividiu os dados aleatoriamente, o número não significa o que parece.

O que é Validação cruzada: a divisão aleatória treina com o futuro

Q: O que é validação cruzada?

Validação cruzada é o método padrão para estimar se um modelo vai funcionar em dados que ele não viu: dividem-se os dados em k partes, treina-se em k−1 e testa-se na que sobrou, repetindo até que cada parte tenha sido o teste uma vez. A média dos resultados é a estimativa. O valor k = 10 virou padrão por causa de um estudo de 1995 com mais de meio milhão de execuções.

Q: Por que a divisão aleatória falha em dados com ordem temporal?

Com validação cruzada padrão sobre série temporal, as partes de treino contêm dados que estão no futuro em relação à parte de teste: o modelo aprende com dezembro para prever março. O resultado da validação fica excelente — e é mentira, porque em produção o modelo nunca terá acesso ao futuro. O sintoma clássico: o modelo brilha no teste e decepciona no ar. A correção é a validação em blocos, que respeita a ordem temporal.

Q: O que é vazamento por pré-processamento?

É calcular estatísticas de normalização ou preenchimento de valores faltantes usando o conjunto inteiro antes de dividir. Parece inofensivo — é só uma média —, mas essa média carrega informação do conjunto de teste para dentro do treino, e o resultado fica otimista. A regra: estatísticas de escalonamento e imputação devem ser calculadas apenas com os dados de treino, e depois aplicadas ao teste.

**Validação cruzada** é o método padrão para estimar se um modelo vai funcionar em [dados](https://clubmartech.com.br/blog/dados-transformar-volume-acionavel/) que ele não viu: dividem-se os dados em *k* partes, treina-se em *k*−1 e testa-se na que sobrou, repetindo até que cada parte tenha sido o teste uma vez. A média dos resultados é a estimativa. O valor **k = 10** virou padrão por causa de um estudo de 1995 que rodou **mais de meio milhão de execuções** sobre dados reais e concluiu que a validação cruzada estratificada em dez partes era o melhor método para seleção de modelo — **mesmo quando havia poder computacional para usar mais partes**. Mas há uma armadilha que anula tudo isso, e ela é especialmente comum em [marketing](https://comecandonaweb.com.br/marketing-digital/): **aplicar a divisão aleatória em dados que têm ordem no tempo**.## ⚠️ A divisão aleatória treina o modelo com o futuroO problema, descrito num guia metodológico acadêmico: com validação cruzada padrão sobre série temporal, **as partes de treino contêm dados que estão no futuro em relação à parte de teste**.Traduzindo para um caso concreto de marketing. Você treina um modelo de propensão à compra com dois anos de histórico, embaralha tudo, e o modelo aprende com dezembro para prever março. O resultado da validação fica excelente — **e é mentira**, porque em produção o modelo nunca terá acesso ao futuro. Ele vai operar sempre olhando só para trás.O sintoma clássico: **o modelo brilha no teste e decepciona no ar**, e a equipe conclui que “o modelo não generalizou”. Não é isso — a avaliação é que estava errada.A correção tem nome: **validação em blocos**, que respeita a ordem temporal — treina até certa data, testa no período seguinte, avança a janela. É como o modelo vai de fato operar.## O vazamento silencioso do pré-processamentoExiste uma segunda fonte de vazamento, mais sutil e igualmente comum: calcular estatísticas de normalização ou preenchimento de valores faltantes **usando o conjunto inteiro** antes de dividir.Parece inofensivo — é só uma média. Mas essa média carrega informação do conjunto de teste para dentro do treino, e o resultado fica otimista. A regra, conforme a mesma fonte: **estatísticas de escalonamento e imputação devem ser calculadas apenas com os dados de treino**, e depois aplicadas ao teste.## O que isso muda na práticaQuase todo dado de marketing tem ordem temporal — comportamento de cliente, sazonalidade, mudança de plataforma, efeito de campanha. Isso torna a armadilha a regra, não a exceção.

**Se o dado tem data, valide no tempo.** Treine até certa data e teste no período seguinte. É a única avaliação que responde à pergunta real: *funcionaria se estivesse no ar naquele momento?*
**Desconfie de resultado excelente.** Métrica muito acima do esperado costuma indicar vazamento, não genialidade do modelo. O caso mais comum é uma variável que só existe *depois* do desfecho que se quer prever.
**Peça o método, não só o número.** Quando um fornecedor apresenta a acurácia do modelo de propensão, pergunte como os dados foram divididos. Se a resposta for “aleatoriamente”, o número não significa o que parece.

E vale lembrar que boa validação não protege contra o envelhecimento: o modelo pode estar corretamente avaliado hoje e errado em seis meses, porque o comportamento mudou — assunto de

concept [drift](https://clubmartech.com.br/blog/drift-pratica-conversas-b2b/)

. Sobre qual métrica olhar, veja

métricas de classificação

; sobre decorar em vez de aprender,

overfitting

.## Fontes