En Yo En El Mundo Inc. hemos hablado hasta cansarnos de los A/B tests, ya que son una de las herramientas más poderosas para optimizar tu rendimiento en digital.
Tienes un anuncio que dice "20% de descuento" y quieres probar si uno nuevo que dice "Envío gratis" va a tener mejor rendimiento, así que, creas el anuncio nuevo, lo publicas y esperas pero ¿Cuánto tiempo tienes que esperar para tomar la decisión sobre si el nuevo anuncio tiene mejor rendimiento?
¿Un día? ¿Una semana? ¿Un mes? ¿Hasta que haya un claro vencedor? La respuesta es: ninguna de las anteriores.
Lo primero que tienes que saber es que la duración de un experimento no depende del tiempo, depende de el tamaño de la muestra.
Cuando haces un experimento de cualquier tipo, no sólo digital, necesitas tener estos 3 factores:
1 . La métrica con la que vas a experimentar
En el caso de los A/B tests siempre va a ser un porcentaje, puede ser el porcentaje de clics, el porcentaje de conversiones, el porcentaje de apertura o algún otro, esta es la métrica con la que vas a evaluar a si al anuncio A le fue mejor que al B.
2 . El cambio mínimo que quieres detectar
No es lo mismo correr un experimento en el cual quieres detectar un cambio tan chico como un 1% contra un experimento en dónde quieres detectar al menos un 50%, entre más chico el cambio, más grande tendrá que ser el tamaño de tu muestra.
3 . El nivel de significancia estadística que quieres
La significancia estadística te va a asegurar que la decisión que estás tomando con base en tu muestra es representativa de todo tu universo, ahí va de nuevo, si tu quisieras saber si a toda la Ciudad De México (universo) le gusta el helado de vainilla más que el de chocolate y tomas a 10 personas (muestra), les haces esa pregunta y el resultado es 9/10.
¿Eso quiere decir que al 90% de la Ciudad De México le gusta el helado de vainilla? Por supuesto que no.
Ese experimento tendría una significancia estadística muy muy baja, por lo cuál los resultados no podrían representar lo que en realidad sucede, la significancia estadística que se usa casi siempre es del 95% a prueba de errores, teniendo estos tres valores puedes obtener el tamaño de tu muestra con una complicada fórmula.
Esto quiere decir que si yo tengo un anuncio con un CTR del 5% y quiero crear un anuncio nuevo para ver si tiene al menos un cambio del 20% en rendimiento con una significancia estadística del 95% tengo que mostrar mi segundo anuncio a 6,900 personas para determinar si ganó o perdió el experimento.
Lo importante a destacar es que los tacos al pastor siempre deben llevar piña el tiempo no es un factor en una prueba A/B, tu podrías mostrar tu nuevo anuncio a 6,900 personas en una día, una hora o cuatro meses, lo importante es que se cumpla el tamaño de tu muestra.
La estadística no es tan difícil cómo pensabas, ahora úsala a tu favor para hacer pruebas que de verdad funcionen y mejoren tu rendimiento día con día.
