O tamanho da amostra diz quantos visitantes um teste A/B precisa para enxergar uma melhora real, e deve ser calculado antes de ligar o teste. Parar assim que uma versão parece ganhar é a forma mais comum de declarar vencedor um acaso. Informe a conversão atual, a menor melhora que vale a pena detectar e o tráfego diário: a calculadora devolve os visitantes por versão, o total e a duração.
Como calcular o tamanho da amostra de um teste A/B
O cálculo usa o teste z de duas proporções. Ele combina quatro números: a taxa de conversão atual, a taxa que você espera depois da melhora, a confiança (padrão de 95%) e o poder (padrão de 80%), que é a chance de o teste enxergar a melhora se ela existir. A melhora pode ser informada em porcentagem relativa, como 10% sobre os 3% atuais, ou em pontos percentuais.
Quanto custa enxergar uma melhora menor
A amostra cresce com o inverso do quadrado da melhora: para enxergar metade da melhora, o teste pede cerca de quatro vezes mais visitantes. A tabela e o gráfico da calculadora mostram os dias necessários para melhoras de 5% a 50%, o que ajuda a decidir se vale testar uma mudança pequena ou apostar em uma maior.
Duração do teste: semanas completas
Mesmo que os visitantes cheguem em poucos dias, rode o teste por semanas completas, no mínimo sete dias, porque o comportamento muda de segunda a domingo. A calculadora arredonda a duração recomendada para cima e avisa quando o teste fica longo demais para ser confiável.
Mais de duas versões
Com três ou mais versões, cada uma é comparada com a original e o nível de significância é dividido pelo número de comparações (correção de Bonferroni), o que aumenta a amostra por versão. A calculadora aplica a correção automaticamente.
Terminado o teste, confira o resultado na calculadora de relevância estatística. Esta responde antes do teste e aquela, depois.
Para dominar o processo contínuo de priorização de hipóteses e otimização técnica de páginas, confira o nosso guia prático de Conversion Rate Optimization (CRO).