Compare taxas de conversão com um teste z de duas proporções. Informe visitantes e conversões de cada variante e escolha o nível de confiança. O resultado apresenta o valor-p, os gráficos e a comparação que decide o veredito.
Defina a hipótese antes do teste
Com duas variantes, a opção unilateral testa a direção B maior que A. Se B piorar, a ferramenta não troca a direção para declarar A vencedora. A opção bilateral procura diferenças nos dois sentidos. Com três ou mais variantes, a análise usa testes bilaterais e corrige a família de todos os pares por Bonferroni; só declara uma vencedora se ela superar cada concorrente no limite corrigido.
O que o resultado permite concluir
O valor-p é calculado sob a hipótese de taxas iguais. Ele não mede a probabilidade de a hipótese ser verdadeira, a relevância comercial do efeito ou a qualidade do experimento. Resultado não significativo não prova igualdade. O teste exige observações independentes e uma amostra adequada à aproximação normal; poucos sucessos ou fracassos pedem um método apropriado a amostras pequenas.
Planeje a potência e a amostra
A potência não é estimada depois de observar o resultado. Antes de iniciar, defina o efeito mínimo relevante e use a calculadora de amostra para teste A/B. O número de dias não altera o valor-p; é um alerta sobre cobertura do ciclo semanal, não garantia de validade.