Dividir uma fila entre dois caixas só permite comparar o atendimento quando chegam pessoas suficientes a cada um. Esta calculadora estima a amostra e o tempo de recrutamento de um teste A/B de conversão. Use o público elegível da página ou do fluxo, mantendo a mesma unidade na taxa de conversão e no tráfego.
Como preencher a calculadora de amostra A/B
- Conversão atual: usuários que converteram divididos pelos usuários elegíveis acompanhados, no mesmo período e com janela de conversão definida. Se a randomização for por usuário, não conte sessões repetidas como pessoas independentes.
- Menor melhora relevante: de 3% para 3,3%, informe 10 no modo relativo ou 0,3 no modo pontos percentuais. O MDE é a diferença para a qual você planeja o poder, não uma previsão ou o menor efeito que poderá aparecer nos dados.
- Confiança e poder: 95% e 80% são os padrões preenchidos. Confiança define o nível de significância do procedimento; poder é a probabilidade de rejeitar a hipótese nula no efeito e nas condições planejadas. Não significam 95% de chance de uma variante vencer ou 80% de chance de melhorar o negócio.
- Hipótese: a bidirecional avalia diferença para melhor ou pior. Escolha uma alternativa unidirecional apenas quando houver justificativa anterior ao teste; não troque de opção depois de observar os resultados.
- Versões: inclua a original. A ferramenta assume grupos de igual tamanho. Para três ou mais versões, aplica Bonferroni às comparações de cada variante com o controle; não cobre automaticamente todos os pares, métricas, segmentos e olhares repetidos.
- Visitantes por dia e percentual no teste: use a média diária de unidades elegíveis na página. Com 2.000 elegíveis e 50% incluídos, entram 1.000 por dia no total. Informe 2.000 e 50%, ou 1.000 e 100%; não aplique a mesma redução duas vezes.
Como interpretar amostra e duração
Amostra por versão é o número planejado de participantes em cada grupo. O total multiplica esse valor pelo número de versões. Dias para amostra = total ÷ participantes efetivos por dia, arredondado para cima. A ferramenta usa uma aproximação normal para comparação de duas proporções independentes, com variância combinada sob a hipótese nula e separada sob a alternativa, conforme o método descrito pelo statsmodels.
Exemplo didático: conversão inicial 3%, MDE relativo 10%, confiança 95%, poder 80%, hipótese bidirecional e duas versões. O cálculo pede 53.211 participantes por versão, total de 106.422. A 2.000 elegíveis por dia com 100% no teste, são 54 dias para recrutar a amostra; a ferramenta arredonda para 56 dias. Com 50% no teste, são 107 dias para amostra, arredondados para 112.
Para MDE relativo de 20% nas mesmas condições, a conversão planejada é 3,6%: 13.914 participantes por versão, 27.828 no total. A 2.000 por dia, a amostra leva 14 dias. Esses exemplos não são previsões do tráfego ou da conversão do seu site.
Semanas completas e janela de conversão
A recomendação automática arredonda o recrutamento para semanas completas, com piso de sete dias. É uma regra de planejamento para ciclos semanais, não garantia estatística. Considere também sazonalidade, mudanças de campanha, recorrência de usuários e tempo para a conversão acontecer. A calculadora não acrescenta automaticamente a janela necessária para observar as conversões dos últimos participantes.
Exemplo: se o recrutamento planejado dura 14 dias e o desfecho é observado por sete dias após a entrada de cada usuário, a leitura final pode ocorrer no dia 21. Documente a janela, a duração e a regra de parada antes do início; cumprir apenas a amostra ou apenas a semana não basta.
O que fazer quando o prazo fica longo
Os rótulos de duração da interface usam faixas operacionais de 28 e 56 dias. Não existe um corte universal que invalide o teste no dia 57. Avalie se o desenho permanece comparável ao longo do prazo e se o esforço compensa a decisão.
Efeitos menores geralmente exigem mais amostra; perto da taxa inicial, reduzir a diferença pela metade pode pedir aproximadamente quatro vezes mais observações. A relação não é exata em todo cenário. Não aumente o MDE só para obter um prazo curto: faça isso apenas se ganhos menores puderem ficar fora da decisão.
Priorize menos versões, uma hipótese mais forte ou uma superfície com maior volume que responda à mesma pergunta. Se continuar inviável, use pesquisa e pilotos para investigar obstáculos, registrando que eles não substituem uma estimativa causal de conversão. Leia como avaliar tráfego para testes A/B e o guia de implementação.
Limites desta estimativa
A ferramenta não verifica randomização, independência, qualidade dos eventos ou estabilidade do público. A aproximação normal pode ser inadequada com eventos muito raros; receita, tempo até renovação, grupos de contas e divisão desigual do tráfego exigem outro planejamento. Comprar tráfego adicional sem avaliar quem chega pode mudar a população estudada.
Depois do experimento, a calculadora de relevância estatística pode apoiar a leitura de proporções dentro das premissas do teste. Resultado significativo precisa de interpretação do tamanho do efeito, incerteza e métricas de proteção. Ausência de significância não prova que as versões são iguais.