- ¿Qué prueba estadística usa?
- Una prueba z de dos proporciones con error estándar combinado bajo la hipótesis nula. Es la prueba frecuentista de manual para comparar dos tasas de conversión y el valor p que muestran por defecto Optimizely, VWO, Google Optimize, Statsig y la mayoría de las plataformas internas de experimentación. La fórmula: z = (p̂_v − p̂_c) / √(p̂(1−p̂)(1/n_c + 1/n_v)), donde p̂ es la tasa combinada. El valor p es de dos colas: p = 2(1 − Φ(|z|)). Las dos colas son el valor por defecto correcto porque normalmente te importa una diferencia en cualquier dirección (la variante podría ser peor que el control, no solo mejor).
- ¿Qué significa de verdad "estadísticamente significativo" aquí?
- Significa p < 0.05: bajo la hipótesis nula de que los dos grupos tienen la misma tasa de conversión real, verías una diferencia al menos así de grande por puro azar menos del 5 % de las veces. Es el umbral convencional; es una elección, no una ley de la naturaleza. Un resultado "significativo" sigue teniendo ~5 % de probabilidad de ser un falso positivo, y por eso no se lee un valor p y se lanza: decides el tamaño de muestra de antemano, llegas a ese tamaño y lees el resultado una vez.
- ¿Por qué mi valor p es mayor que 0.05 aunque la variante parece mejor?
- Hay tres razones habituales. (1) La muestra es demasiado pequeña: los experimentos pequeños no pueden detectar mejoras pequeñas, por muy reales que sean. (2) El efecto real es más pequeño de lo que parece con esta muestra: lo que parece una "clara mejora del 8 %" con 500 visitantes por grupo está de sobra dentro del ruido aleatorio de lanzar dos monedas 500 veces cada una. (3) De verdad no hay efecto. Usa el planificador de tamaño de muestra para saber cuántos visitantes necesitarías para detectar la mejora que estás viendo; si tu test no tiene potencia suficiente, déjalo correr más tiempo o acepta que no puedes medir efectos tan pequeños con este tráfico.
- ¿Qué diferencia hay entre mejora relativa y mejora absoluta?
- La mejora absoluta es la diferencia entre las tasas de conversión, en puntos porcentuales (pp): 12 % − 10 % = 2 pp. La mejora relativa es el cambio porcentual: (12 % − 10 %) / 10 % = 20 %. La mayoría de los equipos de producto hablan de la mejora en términos relativos ("la variante mejoró la conversión un 20 %") porque así escala el impacto en el negocio. Pero la matemática de las pruebas de significancia usa la diferencia absoluta. La calculadora muestra las dos.
- ¿Qué tamaño de muestra necesito?
- Depende de tu tasa base, la mejora más pequeña que quieres detectar (MDE), tu umbral de significancia α y tu potencia estadística. Como guía aproximada: detectar una mejora relativa del 10 % sobre una tasa base del 5 % con α = 0.05 y 80 % de potencia requiere unos 31,000 visitantes por grupo, 62,000 en total. La regla práctica: el tamaño de muestra escala con el inverso del cuadrado del tamaño del efecto. Reducir la MDE a la mitad cuadruplica los visitantes necesarios. Usa la pestaña del Planificador de tamaño de muestra para calcular la cifra exacta de tu caso.
- ¿Qué es un intervalo de confianza al 95 % y cómo lo leo?
- Es el rango que contiene la tasa de conversión real el 95 % de las veces si repitieras el experimento muchas veces. Si el IC de la variante es [11.4 %, 12.6 %] y el del control es [9.4 %, 10.6 %], los dos intervalos no se superponen, lo que es coherente con una diferencia real. Si los intervalos se superponen mucho, el resultado probablemente no es significativo. Los IC y los valores p son dos formas de ver la misma información estadística: la calculadora muestra ambos porque cada público prefiere un enfoque distinto.
- ¿Por qué no debo mirar los valores p a mitad del test?
- Porque cada vez que miras le das al test otra oportunidad de cruzar la línea de 0.05 por ruido aleatorio. Revisar 10 veces durante un test infla tu tasa de falsos positivos del 5 % a cerca del 20 %. Esto se llama "parada opcional" o "p-hacking", y es la forma más común en que los equipos reales lanzan "victorias" que luego no se repiten. Hay dos formas de hacerlo bien: (1) decidir el tamaño de muestra de antemano, llegar a él y leer una vez; (2) usar un método de prueba secuencial (bayesiano, secuencial por grupos, valores p siempre válidos) diseñado para mirar repetidamente, aunque eso no es lo que implementa esta calculadora.
- ¿Qué es la potencia estadística y por qué es 0.80 por defecto?
- La potencia (1 − β) es la probabilidad de que tu test detecte correctamente un efecto real: lo contrario de la tasa de falsos negativos. Una potencia del 80 % significa que, si la variante de verdad es mejor en tu MDE, lo detectarás el 80 % de las veces. 0.80 es el valor estándar del sector: lo bastante alta para encontrar normalmente las victorias reales y lo bastante baja para que el tamaño de muestra sea alcanzable. Los ensayos de medicamentos suelen usar 0.90; los experimentos rápidos de crecimiento a veces bajan a 0.70. Subir la potencia cuesta más visitantes.
- ¿Y si mi variante es peor que mi control?
- La matemática funciona en ambas direcciones. La calculadora declara ganador al control cuando su tasa es mayor, a la variante cuando la suya es mayor, y empate cuando son iguales. El valor p de dos colas pregunta "¿qué tan distintos son?" sin importar la dirección, así que un control significativamente mejor que la variante también obtiene un valor p pequeño. En la práctica, una variante significativamente peor es igual de útil que una significativamente mejor: quédate con el control y descarta la variante.
- ¿Debo usar una prueba de una cola o de dos colas?
- De dos colas, casi siempre. La de una cola solo tiene sentido cuando te comprometiste con una dirección antes de ver ningún dato Y de verdad no te importa un efecto en la otra dirección. En la práctica eso es raro: normalmente te importa si la variante hizo lo contrario de lo que esperabas. La prueba de dos colas es el valor por defecto conservador y defendible; esta calculadora la usa.