Episodio 15: Pruebas A/B: el (no tan) santo grial de la optimización de la conversión

TRANSCRIPCIÓN DE ESTE EPISODIO DEL PODCAST

Hola, me llamo Jörg Dennis Krüger y, como acaba de decir mi enrollador de tambores de cable salchicha en la recepción: Sí, soy el hacker de la conversión. Y en este episodio del podcast de Conversion Hacking voy a hablar de los tests A/B.

Cualquiera que me conozca desde hace tiempo sabe que las pruebas A/B son uno de mis temas favoritos. Empecé a trabajar en pruebas A/B en 2008, e incluso en 2006 para Omniture. Ahora se trata de Adobe-Test y Adobe-Target, que son viejos productos que utilizamos e introdujimos en su momento para grandes empresas como DKV, Allianz y similares. Y eso significa que desde las pruebas A/B y mi libro, que se publicó en 2011, Conversion Boosting with Website Testing se llama exactamente así por una razón.

Mi libro sobre A/B testing

Impulso de la conversión con pruebas de sitios web, porque el enfoque del libro ya está muy centrado en el tema de las pruebas A/B. Presento el modelo de impulso de la conversión, cómo abordar el tema de la optimización y las pruebas del sitio web y muestro cómo realizar las pruebas y cómo evaluar los periodos de tiempo. La la la la. Pero tengo que decir que he aprendido un poco más en el ínterin, porque nada en la optimización se trata de pruebas. Quiero decir que el testing se ha convertido en algo grande gracias a Barack Obama, porque en su campaña electoral recaudó muchas más donaciones a través del A/B testing. Y de esta campaña de recaudación de fondos nació Optimizely, el actual proveedor de tests A/B. En principio, esto es lo que se construyó inicialmente para la campaña de Obama. Por supuesto, mucho ha cambiado entretanto, Optimizely ha recibido de alguna manera 80, 90 millones de capital riesgo para seguir desarrollando la herramienta, etc.

Herramientas de pruebas A/B: Optimizely, Google Website Optimise & Co.

A pesar de lo sofisticado que se ha vuelto el software, el precio de entrada es ahora muy alto. Por eso no lo recomiendo tan a menudo, pero es una herramienta genial. Así que todo el mundo quería hacer pruebas A / B, lo que funcionó para Obama probablemente también funciona para mí y así sucesivamente. El gran problema es que la mayoría de las tiendas o sitios web, pero para mí se trata sobre todo de tiendas, simplemente no se pueden probar. ¿Por qué? No tienen suficiente tráfico, porque una prueba de este tipo es simplemente un estudio normal de doble ciego, como lo conocemos de la medicina o la ciencia en general.

Resultados estadísticamente significativos

Y para que yo tenga suficientes resultados en un estudio de este tipo y los resultados estadísticamente significativos, necesito suficientes datos y estos datos son, por supuesto, siempre los visitantes al sitio por otro lado la conversión, estos son los dos factores principales que juegan un papel. Y si tengo muy pocos visitantes en el sitio o una tasa de conversión que es simplemente demasiado baja en este momento, y por lo general ambos. Entonces no obtengo ningún resultado estadísticamente significativo, entonces siempre tengo el problema de que de alguna manera tengo datos, pero si hago un poco de matemáticas, en realidad son todos datos aleatorios. En las herramientas de prueba, esto también se muestra como confianza o significación.

Y si de alguna manera no supera el 60% o el 70% -bueno, el 50% es tirar una moneda al aire-, el 60% o el 70% no es mucho mejor y, si lo piensas más detenidamente, te das cuenta de que realmente necesitas muchos datos para obtener resultados realmente fiables y que también los necesitas durante un cierto periodo de tiempo, porque tienes que hacer pruebas durante al menos 7, probablemente incluso 14 días para tener todos los días de la semana al menos una vez, en realidad al menos dos.

Período de prueba óptimo para las pruebas A/B

Sin embargo, no debe realizar pruebas durante demasiado tiempo para evitar demasiado ruido de influencias externas, por lo que de 2 a 6 semanas es el periodo de prueba óptimo. Y sí, si no tiene suficientes conversiones y suficientes visitantes, la cosa se complica. ¿Qué significa "suficientes"? La regla general es: Necesito un mínimo de cien conversiones por variante de prueba. Pero eso es sólo una regla general. Si ambas variantes tienen las mismas conversiones, sólo tengo una probabilidad del "cincuenta por ciento" de qué variante se aplica.

Esto significa que si tengo dos variantes y tengo 200 conversiones, entonces tienen que diferir significativamente. Así que 150 a 50 conversiones, por ejemplo. Eso sería probablemente una diferencia significativa, si podemos decir que sí, la variante de 150 conversiones es definitivamente mejor que la variante convergente de 50. Sin embargo, hay un montón de cálculos en línea involucrados.

Calcular la duración de la prueba

Si usted simplemente busca Arbeitest du Rechner o kalkulatorische o algo así, usted encontrará todas las ofertas de pruebas A / B, ya sea Optimizely, A / B-Tasty, sin duda también en algún lugar en Adobe y en VWO y qué sé yo dónde, usted encontrará estos enlaces de prueba calculada función en todas partes, todo tan un poco diferente, tal vez mostrando algunos resultados ligeramente diferentes, porque hay, por supuesto, algunas variables matemáticas más que usted puede incorporar. Pero te da una sensación relativamente buena en cuanto a si se puede probar la aplicación en absoluto o no.

Porque no hay nada peor que planificar una prueba con grandes gastos, instalar herramientas, implementar variantes, iniciar las pruebas y luego darse cuenta: No obtengo ningún resultado. Lo apagas al cabo de tres, cuatro, seis u ocho semanas y te das cuenta de que "sí, mierda, todo ese trabajo ha sido demasiado". Así que no tenías por qué hacerlo, todo ha sido en vano. Y el peor de los casos es que no lo hagas. Los resultados negativos cuando te das cuenta de que este cambio no funciona no son el peor de los casos. Eso está muy bien porque he aprendido algo y queremos aprender trabajando. Queremos conocer mejor a nuestros visitantes.

Aprender de los resultados de las pruebas A/B

No siempre se obtiene una subida inmediata de las conversiones, es decir, un aumento de la tasa de conversión, sino que a veces simplemente se produce una bajada y te das cuenta de que, vaya, eso no es posible. Hace algún tiempo, probé algo en una tienda online en la que estaba muy, muy seguro de que daría lugar a una mayor convergencia, concretamente instalamos un banner en la parte superior de toda la tienda que señalaba las valoraciones de confianza de cinco estrellas.

En realidad, esto no se tradujo en más ventas; al contrario, tuvimos una reducción significativa del número de descargas. ¿Por qué? No lo sé. El porqué es muy difícil de responder mediante pruebas. Pero sabemos que preferimos hacer otra cosa. Y esa es también la razón por la que, cuando se crean variantes de prueba, hay que ser lo más pragmático posible, lo que significa que hay que crear variantes muy rápidamente.

Maravillosos editores

No te pases dos, tres, cuatro, seis u ocho semanas programando una variante, sólo para darte cuenta al cabo de una semana de que a menudo no la has olvidado en absoluto. La mayoría de las herramientas tienen maravillosos editores o editores de apuntar y hacer clic. Es genial construir rápidamente una variante con ellos. Por supuesto, tienes que asegurarte de que se sigue mostrando correctamente en todos los navegadores y de que no se rompe algo al apuntar y hacer clic. Pero normalmente puedes hacerlo en horas, a menudo incluso en minutos,

construir una variante de prueba bastante útil de la que luego ver si funciona bastante bien entonces tal vez poner más trabajo en ella y luego programarla muy finamente y luego implementar la tienda de forma permanente o algo similar porque muy a menudo, las estrategias tienden a decir Oh buena idea puedo hacer eso sí puedo programarlo de inmediato. No, queremos probarlo. Queremos saber si funciona mejor y si es así, cuánto mejor. Para poder tomar decisiones sencillas y no limitarnos a aplicar algo a posteriori, que no sabemos qué genera más conversiones. Solía trabajar para una gran empresa de alquiler de coches y es muy familiar de arriba a abajo.

Ejemplo: Alquiler de coches Sixt

También se podría decir autoritario, aunque eso no - Alexander no - Konstantin sí. Por supuesto que tu padre, gobierna de arriba hacia abajo. Pero se le permite hacerlo. En cualquier caso, acaban de lanzar un nuevo sitio web. Se suponía que tenía un poco de estilo Google y así sucesivamente y no habían probado nada todavía, que acaba de lanzar un nuevo sitio. No sabían qué impacto tendría en la tasa de conversión. Entonces llegué yo. Estuve en sitios web durante un año y luego simplemente lo probé en otro país, pero lo lancé en EE.UU. y probé una lógica ligeramente diferente. Un poco como era antes.

No uno de esos anuncios de Google, sino algo más clásico, como cabría esperar de los motores de reservas de viajes. Tuvimos una subida enorme y, mientras tanto, el sitio alemán también ha vuelto a cambiar mucho. Esto significa que simplemente hemos aprendido de ello. Porque estas "decisiones Hippo", es decir, la opinión de la persona mejor pagada, es decir, la opinión de la persona que más gana, no funciona. Aunque yo sepa, Konstantin, que tú no eres el que más gana, sino que sólo cobras un pequeño sueldo - pero los derechos de autor están ahí en cualquier caso.

La HiPPO

Este Hipopótamo ("Oposición de la Persona Mejor Pagada") no siempre es bueno, sino exactamente lo contrario. Porque el Hipopótamo ("Persona mejor pagada") a menudo no tiene ni idea de sus clientes y suele estar relativamente alejado del día a día del negocio. Y entonces es una decisión aún peor, de alguna manera sólo la opinión de la mujer o algo así. Pero creo que es mejor aplicarlo y hacerlo sin probar es desde luego un drama.

Es por eso que las pruebas son una cosa interesante que hacer y con las grandes empresas como este proveedor de alquiler de coches, por supuesto, puede probar muy bien, pero curiosamente, no en todos los países, porque también hay países que simplemente no tienen realmente suficiente tráfico para las pruebas. También te das cuenta de que incluso en estas grandes empresas, el tráfico no es necesariamente tan alto como para que realmente puedas hacer pruebas con él. Hay que preguntarse de nuevo si lo que queremos es hacer pruebas coartadas o si queremos resultados reales.

Así que primero tengo que averiguar si tengo suficiente tráfico y se han convertido en suficiente para ser capaz de probar, entonces tengo que hacer pruebas muy pragmático con el que puedo generar rápidamente los resultados y poner en práctica el seguimiento y luego tengo que correr mi prueba durante 14 días, tres semanas, cuatro semanas, seis semanas como máximo y entonces estoy listo para ir. Y si todavía no he llegado a ese punto cuando me doy cuenta de que no tengo suficiente tráfico para hacer pruebas reales, entonces vuelvo al tema de la heurística o las mejores prácticas. Creo que el término científico heurística es de alguna manera más fresco, porque también de alguna manera dice más claramente de qué se trata. Porque una heurística es algo que utiliza un conocimiento limitado para hacer predicciones sobre el futuro.

Buenas prácticas y heurística para resultados rápidos

Así que está lloviendo y este es mi paraguas conocimiento limitado es que si lo uso probablemente voy a permanecer seco. Así paraguas heurística en la lluvia me hace seco, no sé todos los factores. Puede ser que ahora haga mucho viento y no me sirva para nada la lluvia. Sí, la buena heurística no se aplica al cien por cien si no tengo todos los datos y demás. Pero pega bastante bien y ni idea de la tienda online puede ser simplemente Slider apesta. Por desgracia, en el 98% de los casos, la promoción convergente no es posible. Así que, por desgracia, ya estamos fuera o simplemente así. ¿Dónde se pierden los usuarios? Se puede analizar cualitativa y cuantitativamente y determinar dónde se pierden los usuarios.

Entonces puedes echar un vistazo aquí, todos encuentran el botón, todos no hacen clic en él y no ponen nada en la cesta de la compra. No necesito hacer muchas pruebas al principio, pero puedo aplicar las mejores prácticas heurísticas y eso es el 80% de lo que hago con mis clientes. Vale, ¿cuáles son las heurísticas adecuadas para generar inmediatamente más conversiones en términos de tráfico, igual que en la tienda, igual que el correo electrónico y similares? Entonces, ¿cómo podemos ordenar las cosas primero? Así que antes de llamar a un diseñador de interiores, de alguna manera llamar a que en primer lugar.

¿El santo grial de la optimización de la conversión?

Comando al pintor y no inmediatamente en interior y rumpelte, Bruchbude viene él también dirá Hey qué se supone que debo hacer aquí y A / B de prueba está en el interior y, hasta que en su mayoría se llega pero con el desorden y el pintor y para muchos es suficiente en azul y el pintor también ya porque el director del internado es tan caro que ni siquiera puede ser capaz de jugar su valor añadido en. Así que al final no deja de ser una bonita metáfora. Me encanta esta cosa y es una cosa super chula, pero no es el Santo Grial de la optimización de la conversión, no es el Santo Grial para conseguir más ventas en la tienda, porque requiere esfuerzo y porque hay que tener suficiente tráfico en primer lugar. En este sentido, vale la pena poner orden en tu tienda primero y, por último, aquí tienes un consejo para hacerlo tú mismo. Claro que puedes hablar conmigo, pero hazlo tú mismo.

El modelo L.I.F.T. para las pruebas A/B

Existe el modelo ascensor, desarrollado por Widerfunnel. Es una agencia de Canadá. Muchos saludos a Rachel. En cualquier caso, tienen una analogía muy divertida: comparan un sitio web con un avión. Y un avión necesita algunas cosas básicas para poder volar: alas, por ejemplo. Así es como se presenta la promesa publicitaria del sitio: sin alas no necesitamos hacer nada más, sin alas podemos bombearle tanta parafina y tener una pista tan larga como queramos y todo eso. No funcionará.

Así que en primer lugar necesitamos alas y luego hay cosas en este modelo que hacen que el avión despegue. Son cosas como la confianza y una estructura clara y cosas que mantienen el avión en tierra, como el miedo y la distracción. Y luego hay algo que da al avión un impulso turbo. Esa es la urgencia y sólo hoy que en realidad a menudo trae mucho si se quiere decir honestamente así que Google para el modelo de Lyft si es necesario coger el modelo de Lyft de nuevo y enlaces también aquí abajo.

En el blog y en el podcast. Echa un vistazo y simplemente implementa esto como una heurística básica. Porque también soy feliz cuando hablo con tiendas que están fundamentalmente bien hechas y no empiezo con lo absolutamente básico porque prefiero pintar con una brocha un poco más pequeña que con un rodillo grueso o prefiero abrirme paso por la selva con un machete. Y sí, pero en cualquier caso quiero más conversiones. Y creo que puedes hacer muchas cosas bien con los consejos de este podcast. Lograr un montón Dame retroalimentación en los comentarios del podcast. Pero por favor, también en iTunes y Spotify porque me hace mucha ilusión recibir feedback y me hace mucha ilusión recibir cinco estrellas.

Con un machete a través de la jungla de la conversión

2 comentarios

  • Hola,
    La versión de texto de este artículo parece haber sido transcrita a máquina. Lamentablemente, su lectura resulta muy fatigosa. No obstante, el artículo es muy valioso. Quizá tenga sentido corregirlo y editarlo en consecuencia...
    LG + Muchas gracias

Escriba un comentario