Los test A/B son una de las principales herramientas para validar hipótesis cualitativas. Pero ¿los usamos correctamente? Para mi, un buen proyecto de test A/B tiene que incluir cuatro pasos que se retroalimentan.

  • Investigación cualitativa.
  • Análisis de datos.
  • Definición.
  • Implementación.
  • Bonus: De vuelta al primero 😉

La investigación cualitativa ayuda a identificar el problema, los datos lo validan y el test A/B compara las diferentes propuestas.

Un test A/B es un método de investigación, donde se comparan dos variaciones diferentes de un sitio web entre sí. Se hace mediante un experimento aleatorio, donde el 50% de los usuarios ven la versión “A” del sitio, y el 50% recibe la versión “B”, con el objetivo de optimizar el tráfico.

Cuando hemos dejado un tiempo prudencial, medimos la conversión de cada grupo y la que tenga mejores resultados gana. Pero antes, hay algunas reglas que tenemos que seguir para que todo funcione correctamente.

1. Ejecutarlas al mismo tiempo

Lanzar una versión en noviembre y la otra en diciembre no es un test A/B porque hay una estacionalidad en el tipo de usuario que nos visita.

Es muy probable que por defecto tengamos una tasa de conversión más alta en diciembre si tenemos un ecommerce de ropa y una tasa de conversión menor en enero porque ya todo el mundo ha hecho sus compras de navidad.

Si por ejemplo, queremos validar el color de un CTA no sabremos cuál fue el impacto del cambio y si hubo alguno real o simplemente se trataba de la estacionalidad del periodo.

2. Selección al azar

Imaginemos dos grupos de suscripción. A un grupo le pedimos tres campos obligatorios y al segundo seis. Luego, enviamos un correo personalizado con información relevante para estos grupos y el segundo convierte mejor que el primero en términos de CTR.

¿Bien? No. Bueno, tal vez. Pero el porcentaje de clics es mayor de todos modos siempre en el segundo grupo porque son usuarios más comprometidos. Eso no es un test A/B sino un sesgo de selección.

Así que para evitar este tipo de problemas, asegúrate de que los grupos de control son tan homogéneos como sean posibles. Para lograr esto tienes que tener una selección aleatoria y un tamaño lo suficientemente grande.

3. Normalidad

Esta regla la incluyo porque he visto muchas webs que en su portada dan la opción de que el usuario pueda elegir que variación desea ver. Sacando las conclusiones entre los que hayan decidido una u otra opción. Y eso no es un test A/B.

Por lo general, los usuarios no saben lo que necesitan así que si les preguntas, seguramente encuentres sinceridad, pero no las respuestas correctas. No hagas caso a lo que dicen en un test A/B sino a cómo se comportan y cuál es su experiencia de usuario.

4. Define objetivos y métricas

Un test A/B no va a funcionar sin un objetivo medible. Sólo hay que establecerlo y hacer seguimiento. Puedes comprobar variaciones en el engagement, CTR, conversiones, páginas vistas, y tantas métricas como queramos, pero con un objetivo común.

No obstante, siempre tenemos que tener una métrica de éxito, es decir, la métrica que va a determinar la decisión. Por ejemplo si estamos analizando el checkout de un ecommerce y la tasa de conversión de A ganó a B entonces tenemos una decisión tomada.

5. Deja tiempo

Ejemplo sencillo. Lanzar una moneda diez veces no nos dará una probabilidad exacta sino el “insight” de que la muestra es muy baja. Lo mismo pasa con los test A/B, es necesario dejar espacio para que el tamaño de la muestra sea concluyente.

¿Cómo tiene que ser la muestra, de qué tamaño? A mi me gusta definirla como el porcentaje de sesiones que pasan a la segunda parte del ciclo de compra.

6. Cambia solamente una cosa

Esta no es que sea necesariamente una regla sino que es algo obligatorio. No podemos medir con exactitud cualquier cambio si realizamos varios a la vez. Concentrémonos en uno en concreto para después, una vez validad e implementado, medir el siguiente.

Me he encontrado con veces en las que el segundo experimento no ha hecho falta porque ha funcionado correctamente tras el primer cambio.

Además de que cambiar muchos aspectos de golpe puede tener consecuencias:

  1. Es posible que la nueva versión suponga un cambio muy radical y traiga peores resultados que la original.
  2. La nueva versión tiene mejores resultados pero no eres capaz de saber cuál de ellas marcó la diferencia.

De todas formas, si quieres realizar varios cambios siempre habrá otras técnicas para hacerlos al mismo tiempo. Test con usuarios, análisis predictivo, y muchas otras.

Así que no tengas miedo de cambiar más de una cosa si es necesario pero establece un proceso de análisis con el que luego puedas medir el impacto de cada cambio.