Cambias el color del botón, lanzas el test y a los tres días la versión B va un 30% por delante. Paras el test, aplicas el cambio y das el asunto por resuelto. El problema es que esa diferencia se calculó sobre 40 visitas y 5 conversiones, y con esos números el 30% no significa nada. Podrías haber tirado una moneda.
Un test A/B compara dos versiones de una página mostrándolas a partes iguales del tráfico para ver cuál convierte mejor. Hacerlo es sencillo; leerlo bien es lo difícil, y ahí se rompe la mayoría. La pregunta no es qué versión va ganando, es si esa diferencia es real o es casualidad.
Qué es la significancia estadística sin fórmulas
Es la respuesta a una única pregunta: si las dos versiones fueran en realidad idénticas, ¿qué probabilidad habría de ver por azar una diferencia como la que estoy viendo?
La forma más intuitiva de entenderlo es con una moneda. Si la lanzas 10 veces y salen 6 caras, nadie diría que está trucada: con tan pocos lanzamientos, ese resultado es perfectamente normal. Si la lanzas 10.000 veces y salen 6.000 caras, ahí sí hay algo raro. El mismo porcentaje, dos conclusiones opuestas, y lo único que cambia es la cantidad de datos.
Tus versiones A y B funcionan igual. Una diferencia del 30% con 40 visitas es ruido; la misma diferencia con 4.000 visitas es una señal. Por convención se considera que un resultado es significativo cuando la probabilidad de que se deba al azar es inferior al 5%, lo que las herramientas muestran como un 95% de confianza.
Conviene entender qué significa exactamente ese 95%: no es la probabilidad de que B sea mejor. Es la probabilidad de que, siendo las dos iguales, no verías una diferencia así por casualidad. Es un matiz sutil y explica por qué un test bien hecho puede seguir equivocándose de vez en cuando.
Cuánto tráfico necesitas de verdad
Muchísimo más de lo que casi nadie espera. Y hay una relación que lo explica todo: cuanto más pequeño es el cambio que quieres detectar, más datos hacen falta, y no de forma proporcional sino mucho más rápido.
Estas son cifras orientativas de visitantes necesarios por cada versión, según tu tasa de conversión actual y la mejora que quieras poder detectar:
| Conversión actual | Detectar una mejora del 50% | Del 25% | Del 10% |
|---|---|---|---|
| 2% | ~4.500 | ~15.000 | ~90.000 |
| 5% | ~1.500 | ~5.000 | ~30.000 |
| 10% | ~700 | ~2.300 | ~14.000 |
Las cifras son aproximadas y varían según la calculadora, pero el orden de magnitud es el que importa. Con una conversión del 2%, detectar una mejora modesta del 10% exige unos 90.000 visitantes por versión, es decir, 180.000 en total. Una web de negocio pequeño con 500 visitas al mes tardaría décadas.
De ahí sale la conclusión que ahorra más tiempo y más dinero: si tu tráfico es bajo, los cambios pequeños son indetectables. No es que no funcionen; es que nunca vas a poder demostrarlo. Probar el color de un botón con poco tráfico es un ejercicio garantizado de conclusiones falsas.
Los errores de lectura más frecuentes
Casi todos consisten en interpretar como resultado lo que todavía es ruido.
- Parar el test cuando va ganando el que te gusta. Es el error más grave y el más humano. Si miras el test cada día y lo paras el primer día que alcanza el 95%, estás haciendo trampa sin querer: mirando muchas veces, tarde o temprano cualquier test llega a ese umbral por azar. El tamaño de muestra se decide antes de empezar y no se toca.
- No dejar semanas completas. El comportamiento del martes no es el del domingo. Un test que dura cinco días compara dos versiones en contextos distintos.
- Cambiar varias cosas a la vez. Si mueves el titular, el botón y una imagen y B gana, no sabes cuál de los tres lo consiguió. Puede incluso que dos ayuden y uno perjudique.
- Mezclar móvil y escritorio. Es habitual que una versión gane en un dispositivo y pierda en el otro, y el promedio oculta las dos cosas.
- Declarar ganador con pocas conversiones. Lo que cuenta no son las visitas sino las conversiones. Con 12 conversiones en cada versión no hay nada que leer, aunque haya miles de visitas.
- Lanzarlo en un periodo atípico. Navidad, rebajas, agosto o una campaña puntual distorsionan el comportamiento y el resultado no se puede extrapolar al resto del año.
- Confundir un cambio con una novedad. Un elemento nuevo llama la atención al principio solo por ser distinto. Ese efecto se diluye en pocos días.
El primero merece insistencia porque parece inofensivo. Mirar el test a diario no está mal; lo que está mal es usar esas miradas para decidir cuándo pararlo. La decisión de duración se toma al principio, con la calculadora de tamaño de muestra, y se respeta.
Qué merece la pena probar y qué no
Cuanto mayor sea el cambio, menos tráfico necesitas para detectarlo. Eso ordena las prioridades de forma bastante clara.
| Merece la pena probar | Rara vez compensa |
|---|---|
| Dos propuestas de valor distintas en el titular | El color de un botón |
| Formulario corto frente a formulario largo | El tamaño de una tipografía |
| Mostrar el precio frente a no mostrarlo | Pequeños cambios de redacción |
| Una estructura de página completamente distinta | La posición de un icono |
| Con testimonios frente a sin testimonios | El texto de un enlace secundario |
La columna de la derecha no es que no influya. Es que su efecto, si existe, es pequeño, y detectar efectos pequeños exige volúmenes de tráfico que la mayoría de negocios no tiene. Con recursos limitados, conviene gastar el tráfico disponible en probar cosas que puedan mover la aguja de verdad.
Cómo montar un test que se pueda leer
El orden importa, porque casi todas las decisiones se toman antes de lanzarlo, no durante.
- Anota tu tasa de conversión actual. Sin línea base no puedes calcular nada ni saber después si has mejorado.
- Decide qué mejora quieres poder detectar. Sé realista: aspirar a detectar un 5% de mejora te condena a un test eterno.
- Calcula el tamaño de muestra antes de empezar y tradúcelo a días según tu tráfico. Si salen más de seis u ocho semanas, replantea el test.
- Formula una hipótesis por escrito. Qué esperas que pase y por qué. Sirve para no reinterpretar el resultado a posteriori.
- Cambia una sola cosa, aunque sea grande.
- Deja correr semanas completas y no lo pares antes.
- Revisa por separado móvil y escritorio al analizar.
Un apunte sobre el resultado más frecuente y peor entendido: el empate. Muchos tests terminan sin diferencia significativa, y eso no es un fracaso. Significa que ese elemento no era el problema, lo cual es información útil que te evita seguir invirtiendo ahí.
Qué hacer si no tienes tráfico suficiente
Casi todo lo demás. Los tests A/B son solo una de las formas de mejorar una página, y con poco volumen ni siquiera es la más eficaz.
Con menos de unos pocos miles de visitas al mes en la página que quieres mejorar, esto rinde mucho más:
- Aplicar directamente lo que ya se sabe que funciona. Que la acción se vea sin bajar, que el formulario pida lo mínimo, que haya pruebas de terceros, que el mensaje coincida con lo que prometía el anuncio. No hace falta demostrar cada una de esas cosas en tu web.
- Mirar el comportamiento real. Las grabaciones de sesión y los mapas de calor señalan dónde se atasca la gente, y con poco tráfico dan mejor información que cualquier test.
- Preguntar. Cinco conversaciones con clientes que estuvieron a punto de no contratarte explican más que un test de tres meses.
- Comparar periodos. Cambiar algo y comparar el mes siguiente con el anterior no es un test riguroso, pero con cambios grandes y ninguna otra variable de por medio orienta razonablemente.
Esa última opción tiene un riesgo que conviene reconocer: si en ese periodo cambió también tu tráfico, tu competencia o la estación del año, la comparación no vale. Por eso solo sirve para cambios grandes y en periodos comparables.
Cuando el resultado es real pero no sirve
Hay un caso que despista mucho: el test está bien hecho, la diferencia es significativa, y aun así aplicar el cambio no mejora el negocio.
Ocurre cuando se ha optimizado la métrica equivocada. Un formulario más corto casi siempre gana en número de contactos recibidos, porque hay menos fricción. Pero si al quitar campos entran contactos peor cualificados y tu equipo dedica el doble de tiempo a descartarlos, has empeorado el negocio mejorando la métrica.
La forma de evitarlo es medir siempre lo más cerca posible del dinero. Si puedes medir clientes cerrados en lugar de contactos recibidos, hazlo. Y si no puedes, al menos revisa manualmente la calidad de lo que entra antes de dar el cambio por bueno.
Ese principio, medir lo que importa al negocio y no lo que es cómodo de medir, es lo que separa una optimización real de una mejora de números. Si quieres revisar qué está frenando la conversión de una página concreta antes de decidir qué probar, es parte de lo que trabajo dentro del servicio de analítica y optimización.
