Una versión B de un botón consigue un 3% más de conversiones que la versión A durante un test de tres días con cuarenta visitas. ¿Se puede aplicar ya ese cambio a toda la web con confianza? Casi seguro que no, y la razón tiene nombre: la significancia estadística, el criterio matemático que determina si una diferencia observada entre dos resultados es real y fiable, o si podría deberse simplemente al azar de una muestra demasiado pequeña.
Por qué el azar puede simular una mejora que no existe
Con muestras pequeñas, es perfectamente posible que la versión peor de un test A/B gane por pura casualidad, del mismo modo que lanzar una moneda diez veces puede dar siete caras sin que la moneda esté trucada. La significancia estadística cuantifica precisamente esa probabilidad: qué tan probable es que el resultado observado se deba al azar, en lugar de a una diferencia real entre ambas versiones.
El famoso 95% de confianza, y qué significa realmente
- Un nivel de confianza del 95% significa que, si se repitiera el mismo test muchas veces, solo en un 5% de esas repeticiones se obtendría por azar una diferencia tan grande como la observada, sin que exista ninguna diferencia real de fondo.
- No significa «95% de seguridad de que B es mejor que A» en un sentido absoluto, un malentendido extremadamente común incluso entre profesionales.
- Cuanto más exigente el nivel de confianza requerido (99% en lugar de 95%), más tiempo y muestra hace falta para alcanzarlo con los mismos datos.
Por qué el tamaño de la muestra lo condiciona todo
Una diferencia del 3% observada con cuarenta visitas por versión tiene un margen de error enorme, casi inútil para decidir nada con confianza. La misma diferencia del 3%, observada con cuarenta mil visitas por versión, resulta muchísimo más fiable, precisamente porque una muestra grande reduce el peso relativo que puede tener el azar puro sobre el resultado final observado.
El error más costoso: parar un test en cuanto «se ve ganador»
Revisar los resultados cada pocas horas y detener el test en cuanto una versión parece ir por delante, sin haber alcanzado el tamaño de muestra necesario ni el tiempo suficiente (incluyendo distintos días de la semana), es de los errores más habituales en CRO. Una diferencia que parece clara el primer día puede diluirse o incluso invertirse por completo al acumular más datos, y actuar demasiado pronto suele llevar a aplicar cambios basados en ruido estadístico, no en una mejora genuina y reproducible.
Una calculadora, no una intuición, para decidir cuándo parar
Existen calculadoras de significancia estadística, gratuitas y de uso sencillo, que indican con precisión si un resultado ya es fiable dado el tamaño de muestra y la diferencia observada hasta el momento. Usar una de estas herramientas antes de dar por concluido cualquier test, en lugar de decidir «a ojo» según lo que parece razonable, evita sacar conclusiones prematuras que después no se sostienen al aplicarlas a todo el tráfico real de la web.