- Que teste estatístico ela usa?
- Um teste z de duas proporções com erro padrão combinado sob a hipótese nula. É o teste frequentista clássico para comparar duas taxas de conversão e o valor-p padrão mostrado por Optimizely, VWO, Google Optimize, Statsig e a maioria das plataformas internas de experimentação. A fórmula: z = (p̂_v − p̂_c) / √(p̂(1−p̂)(1/n_c + 1/n_v)), onde p̂ é a taxa combinada. O valor-p é bicaudal: p = 2(1 − Φ(|z|)). Bicaudal é o padrão certo porque normalmente importa uma diferença em qualquer direção (a variante pode ser pior que o controle, não só melhor).
- O que 'estatisticamente significativo' quer dizer aqui?
- Quer dizer p < 0,05 — sob a hipótese nula de que os dois braços têm a mesma taxa de conversão real, você veria uma diferença pelo menos desse tamanho por puro acaso menos de 5% das vezes. É o limite convencional; é uma escolha, não uma lei da natureza. Um resultado 'significativo' ainda tem ~5% de chance de ser falso positivo, e é por isso que você não lê um valor-p e lança: você decide o tamanho da amostra antes, roda até esse tamanho e lê o resultado uma vez.
- Por que meu valor-p é maior que 0,05 se a variante parece melhor?
- Três motivos comuns. (1) A amostra é pequena demais — experimentos pequenos não detectam lifts pequenos, por mais real que o lift seja. (2) O efeito real é menor do que parece com esse tamanho de amostra — o que parece um 'lift claro de 8%' com 500 visitantes por braço está bem dentro do ruído aleatório de duas moedas jogadas 500 vezes cada. (3) Realmente não há efeito. Use o planejador de amostra para descobrir quantos visitantes você precisaria para detectar o lift que está vendo; se o seu teste não tem poder suficiente, rode por mais tempo ou aceite que não dá para medir efeitos tão pequenos com esse tráfego.
- Qual a diferença entre lift relativo e lift absoluto?
- O lift absoluto é a diferença entre as taxas de conversão, em pontos percentuais (pp): 12% − 10% = 2 pp. O lift relativo é a variação percentual: (12% − 10%) / 10% = 20%. A maioria dos times de produto fala em lift relativo ('a variante aumentou a conversão em 20%') porque é assim que o impacto no negócio escala. Mas a matemática do teste de significância usa a diferença absoluta. A calculadora mostra os dois.
- Que tamanho de amostra eu preciso?
- Depende da sua taxa de base, do menor lift que você quer detectar (MDE), do seu limite de significância α e do seu poder estatístico. Como referência: detectar um lift relativo de 10% numa taxa de base de 5% com α = 0,05 e 80% de poder exige cerca de 31.000 visitantes por braço — 62.000 no total. A regra prática: o tamanho da amostra cresce com o inverso do quadrado do tamanho do efeito. Cortar o MDE pela metade quadruplica os visitantes necessários. Use a aba Planejador de amostra para calcular o número exato do seu cenário.
- O que é um intervalo de confiança de 95% e como leio?
- É a faixa que contém a taxa de conversão real 95% das vezes em experimentos repetidos. Se o IC da variante é [11,4%, 12,6%] e o do controle é [9,4%, 10,6%], os dois intervalos não se sobrepõem, o que é compatível com uma diferença real. Se os intervalos se sobrepõem muito, o resultado provavelmente não é significativo. ICs e valores-p são duas visões da mesma informação estatística — a calculadora mostra os dois porque públicos diferentes preferem formas diferentes.
- Por que não devo espiar o valor-p no meio do teste?
- Porque toda vez que você olha, dá ao teste mais uma chance de cruzar a linha de 0,05 por ruído aleatório. Olhar 10 vezes durante um teste infla a taxa de falsos positivos de 5% para cerca de 20%. Isso se chama 'parada opcional' ou 'p-hacking', e é o jeito mais comum de times reais lançarem 'vitórias' que não se repetem. Dois jeitos de fazer certo: (1) decida o tamanho da amostra antes, rode até ele, leia uma vez. (2) Use um método de teste sequencial (bayesiano, sequencial em grupo, valores-p sempre válidos) feito para espiadas repetidas — mas não é isso que esta calculadora implementa.
- O que é poder estatístico e por que o padrão é 0,80?
- O poder (1 − β) é a probabilidade de o teste detectar corretamente um efeito real — o inverso da taxa de falsos negativos. 80% de poder quer dizer: se a variante realmente é melhor pelo seu MDE, você vai pegar isso 80% das vezes. 0,80 é o padrão do mercado — alto o bastante para você normalmente achar as vitórias reais, baixo o bastante para a amostra necessária ser viável. Testes de medicamentos costumam usar 0,90; experimentos rápidos de growth às vezes descem para 0,70. Aumentar o poder custa mais visitantes.
- E se a minha variante for pior que o controle?
- A matemática funciona nas duas direções. A calculadora aponta o controle como vencedor quando a taxa dele é maior, a variante quando a dela é maior e empate quando são iguais. O valor-p bicaudal pergunta 'quão diferentes eles são?' sem importar a direção — então um controle significativamente melhor que a variante também gera um valor-p pequeno. Na prática, uma variante significativamente pior é tão útil quanto uma significativamente melhor: mantenha o controle, descarte a variante.
- Devo usar teste unicaudal ou bicaudal?
- Bicaudal, quase sempre. O unicaudal só faz sentido quando você se comprometeu com uma direção antes de ver qualquer dado E realmente não se importa com um efeito na direção oposta. Na prática isso é raro — normalmente importa se a variante fez o contrário do que você esperava. O teste bicaudal é o padrão conservador e defensável; é o que esta calculadora usa.