Disruptive Marketing Blog

Estadísticas que pueden tumbar un a/b testing en tus acciones de CRO

Una de las claves para tener éxito en nuestras acciones de marketing online es medir todo lo que consideramos importante, organizar y analizar esa información, tomar acciones y decisiones, volver a medir…

Uno de los grandes errores que cometemos los profesionales de la analítica web es que no tomamos la muestra lo suficientemente importante para que nuestras decisiones tengan base estadística.

No os ha pasado, a aquellos que gestionais campañas de adwords, relativamente pequeñas, que un mes vais como un tiro, pero el mes siguiente pinchas? Ni erais tan buenos un mes, ni tan malos el siguiente,… Es lógico ese comportamiento, la base es muy pequeña.

Otro ejemplo muy claro, es cuando tenemos una campaña que ha conseguido en un mes 60 clicks y 0 ventas. Es un desastre? para nada, es que con 60 clicks, convertir o no convertir, es simplemente cuestión de azar! Azar! suerte! aleatorio!

Azar, suerte, aleatorio, son palabras que apenas se leen en los grandes blogs de analítica web ni es usada por los profesionales. A decir verdad, en mi caso, el uso de azar, suerte… la venimos utilizando en el caso de campañas o acciones pequeñas. Error mío, el no utilizarlo con mayor frecuencia, porque realmente, el azar, suerte, o proceso aleatorio,… existe.

En este post vamos a ver un pequeña iniciación cómo puede influir la suerte, el azar en la estadística.

El principal error que cometemos cuando hacemos estudios de A/B testing es que no se utiliza una muestra mínima con valor para tomar decisiones. Si tenemos 2 landings cada una con 100 clicks y una duplica a la otra el % de conversión, funciona mejor una que la otra?

La lógica nos hace indicar que así es, pero la estadística nos hará indicar que si alargamos el test, n intentos más, muy probablemente los porcentajes de conversión se equiparen.

**Entonces cuando parar?**

Creo que no es un tema de cuando parar, si no porqué empezar?

Si tenemos una web pequeña, y entendemos por una web pequeña aquella que tiene menos de 30.000 usuarios únicos al mes, hacer A/B testings cortoplacistas no tiene sentido. Por exactamente la misma lógica que hemos comentado antes. Son 1.000 usuarios únicos en 1 día, muestra suficiente? y 2000€ en 2 días,… Son 3000 usuarios suficientes para predecir si va a ganar un político u otro las elecciones?

Es por ello que nos debemos hacer las siguientes preguntas (link requisitos para hacer un A/B testing):

1. Cual es la cantidad mínima de usuarios únicos para que mi test sea riguroso?
2. Estan todos esos usuarios en **el mismo estado** de cara a la venta? no podemos meter en el mismo saco usuario para un análisis de A/B a un usuario que quiere comprar a un usuario que se está informando.

Ahora veamos varios ejemplos reales y cual fue el resultado esperado y cual fue el resultado real:

1. Teoría con Monedas: Cara y Cruz.

Si jugamos a cara y cruz y lanzamos la moneda 10 veces, es probable que tengamos una relación de 7 caras y 3 cruces, es por ello que debemos pensar existe mayor probabilidad de que aparezca cara que cruz?

Los estudios demuestran que con la reiteración, la relación viene a ser 50% – 50%.

El hecho de que en ciertos momentos del juego, se repita con mayor intensidad un valor que otro, no deja de ser simple y llanamente… azar.

2. La mano caliente de un jugador de baloncesto:

Exactamente lo mismo sucede cuando un jugador de baloncesto las “enchufa todas”. No quiere decir, que en ese momento el jugador esté más inspirado, aunque suene muy frío decirlo, está cumpliendo con su patrón y con sus estadísticas como jugador.

Si un jugador tiene un ratio de acierto del 30%, en un partido, la probabilidad de que termine con ese 30% de acierto es muy probable que se mantenga, y en su carrera profesional también. Otro tema es que se entrene para mejorarlo, por lo que con el paso del tiempo y mayor entrenamiento, este ratio irá mejorándolo, detectando así tendencias.
3. Zonas de Madrid o no bombardeadas durante la Guerra Civil o Barrios de Londres no bombardeados durante la II Guerra Mundial.

Lo mismo sucede con estadísticas como lo headline indica. Tanto en la Guerra Civil, como en la Segunda Guerra Mundial, hubieron bombardeos en Madrid y en Londres, respectivamente. En ambos casos se dio la situación que en ciertos barrios de ambas ciudades, los bombardeos fueron bastante menos frecuentes. En las dos situaciones se pensaba que había muchas personas afines a Franco en el caso de Madrid, o espías Nazis en el segundo caso y por ello los bombardeos en estos barrios eran más laxos.
Finalmente ciertos estudios, y si leeis libros como “Piensa Rápid, Piensa Despacio”, del gran , nos demuestra que estas situaciones son sólo debido al “azar” ,

Viendo ejemplos como los anteriores, no quiero entrar en debates si los Test A/B son necesarios, por supuesto que lo son, lo que me gustaría transmitir es, ¿cuántas visitas necesitamos para tomarnos en serio los valores que arrojan estos análisis?

Vemos ejemplos de Test A/B con mejoras en el ratio de conversión del 30%, 50%, 200%,… pero que pasaría si se mantuviese ese test durante 3, 6 meses más. Está claro que si la mejora se mantiene en el tiempo, lógicamente es una mejora. Pero si la mejora no es tal, y va descendiendo, va “volviendo a su lugar real” tendremos ante nosotros el valor real de la mejora.

Es por ello, si realmente tenemos que esperar n meses para saber si nuestras acciones de optimización son correctas, porqué las hacemos si no vamos a tener la suficiente paciencia?

El A/B testing es una magnífica filosofía para la mejora constante de nuestras landings, webs,… pero debemos tener la clara idea de que hace falta volumen de tráfico para poder tomar decisiones e igual que si mejoramos un 100% de una semana para otra y la siguiente, bajamos un 50% y la siguiente otro 50% no nos asustemos y sepamos interpretar los datos desde la distancia.

Otro error que cometemos en los A/B testings es que no utilizamos el mismo tipo de usuarios. Es decir, hacer un a/b testing de usuarios que llegan a mi web la primera semana del mes vs los de la última semana, no tiene sentido, efecto nómina. Usuarios que acceden por la mañana vs por la tarde. Es decir, paquetizamos el tráfico. Ese es un error. Nosotros mediante nuestra herramienta, realizamos A/B testings en tiempo real sobre los mismos tipos usuarios. Es decir, enviamos a dos, tres landings diferentes los usuarios de las 10:01, a los de las 10:22,… y automáticamente vamos subiendo landings para que entren en las pruebas de A/B testings. Lógicamente esto se puede hacer sobre clientes con un altísimo volumen de tráfico, donde en 3 días tienes una muestra del x% de sus compradores.

Conclusión:

no quiero transmitir ningún mensaje de que los A/B tests son inútiles, simplemente me gustaría transmitir que sus resultados debemos cogerlos con pinzas y que para nada son decisorios, dependiendo del volumen de clicks que tengamos.

Es más, es importante pensar de que si tenemos poco tráfico, para tener que invertir mínimo 2 meses de tráfico para tener A/B test en condiciones, es mejor dedicar nuestros esfuerzos a otras acciones, como podría ser, “jugar” con el precio. No olvidemos que, pese a UX es muy importante en nuestro sector, el precio con el que vendemos tiene una influencia enorme en el porcentaje de conversión. Tenemos la experiencia en un ecommerce aumentar considerablemente el ratio de conversión por regalar “paraguas”. Esa es la realidad, otra cosa es si realmente es concluyente. Es decir, tendremos que regalar más a menudo paraguas para detectar si realmente influye. Lo mismo sucede cuando decimos que cuando llueve aumentan la ventas de mi web. Es así, pero no podemos tener en cuenta 2, 3 días de lluvias.