Probar la versión A durante todo enero y la versión B durante todo febrero parece, a primera vista, una forma razonable de comparar ambas. En la práctica, es uno de los errores metodológicos más comunes en optimización de conversión, porque confunde el efecto de la variante con el efecto del propio paso del tiempo. La diferencia entre test secuencial (probar una versión después de otra) y test en paralelo (mostrar ambas versiones simultáneamente al mismo tráfico) no es solo metodológica: cambia por completo si se puede confiar en el resultado obtenido.
Por qué el test secuencial introduce una variable oculta imposible de aislar
Entre enero y febrero cambian muchas cosas además de la versión mostrada: la estacionalidad, posibles campañas de publicidad activas en un mes y no en otro, noticias del sector, incluso el propio comportamiento del público según la época del año. Si la versión B, probada en febrero, obtiene mejores resultados que la A de enero, es imposible saber con certeza si esa mejora se debe a la propia versión o a cualquiera de esos otros factores que cambiaron al mismo tiempo, sin ninguna forma de aislar cuál de ellos causó realmente la diferencia.
Por qué el test en paralelo resuelve este problema de raíz
- Ambas versiones reciben tráfico exactamente al mismo tiempo, expuestas a las mismas condiciones externas: misma estacionalidad, mismas campañas activas, mismo contexto de mercado.
- Cualquier diferencia observada entre ambas solo puede atribuirse a la propia variante probada, no a factores externos que cambiaron entre un periodo y otro.
- Es, por este motivo, el estándar recomendado para cualquier test A/B que aspire a conclusiones fiables y accionables.
Cuándo, aun así, se recurre a un test secuencial por necesidad práctica
En negocios con muy poco tráfico, dividir ese tráfico limitado entre dos versiones simultáneas puede alargar excesivamente el tiempo necesario para alcanzar significancia estadística en cualquiera de las dos. Algunos equipos optan entonces por probar cada versión durante un periodo completo por separado, aceptando el riesgo de confundir variables externas, como forma de obtener al menos una señal aproximada cuando el tráfico disponible no permite un test paralelo con la potencia estadística necesaria.
Cómo mitigar el riesgo cuando el secuencial es la única opción viable
Elegir periodos comparables en cuanto a estacionalidad (por ejemplo, dos meses similares del año anterior, no un mes de rebajas frente a uno normal), y revisar si hubo campañas u otros factores externos relevantes activos en cada periodo, ayuda a reducir (aunque nunca elimina del todo) la incertidumbre añadida de no poder comparar ambas versiones en condiciones verdaderamente idénticas y simultáneas.
Un matiz adicional que afecta también al test en paralelo: la contaminación entre grupos
Incluso repartiendo tráfico de forma simultánea, un test en paralelo puede distorsionarse si un mismo usuario ve ambas versiones en visitas distintas (por ejemplo, entrando primero desde el móvil y después desde el ordenador), generando cierta confusión en su comportamiento posterior. Herramientas de testing serias suelen fijar la versión asignada a cada usuario mediante cookies, asegurando que la misma persona vea siempre la misma variante durante todo el periodo del test, evitando así esa contaminación cruzada entre ambos grupos comparados.