Episodio 15: Pruebas A/B: El (no tan) Santo Grial de la optimización de conversiones

TRANSCRIPCIÓN DE ESTE EPISODIO DEL PODCAST

Hola, me llamo Jörg Dennis Krüger y, como acaba de decir el enrollacables de la recepción: Sí, soy el Hacker de Conversiones. Y este episodio de Conversion Hacking Podcast trata sobre el tema de las pruebas A/B.

Cualquiera que me conozca, que me haya conocido durante un poco más de tiempo, sabe que las pruebas A/B son uno de mis temas básicos absolutos. Empecé con el tema en 2008, en 2006 incluso empecé un tema de A/B testing por aquel entonces para Omniture. Mientras tanto, se ha convertido en Adobe-Test y Adobe-Target, que son viejos productos que utilizamos e introdujimos en grandes empresas como DKV, Allianz o similares. Y eso significa que desde las pruebas A/B y mi libro, que se publicó en 2011, Conversion Boosting with Website Testing también se llama exactamente así por algo.

Mi libro sobre A/B testing

Conversion Boosting with Website Testing, porque el enfoque del libro ya está muy centrado en el tema de las pruebas A/B. Presento el modelo de aumento de la conversión, cómo abordar el tema de la optimización y las pruebas de sitios web y muestro cómo realizar pruebas, cómo evaluar los periodos de tiempo. La la la la. Pero tengo que decir que he aprendido un poco más en el ínterin, porque nada en la optimización se trata de pruebas. Quiero decir, el testing se ha hecho grande gracias a Barack Obama, porque en su campaña electoral recaudó muchas más donaciones a través del A/B testing. Y de esta campaña de recaudación de fondos nació el actual proveedor de testing A/B Optimizely. Esto es básicamente lo que se construyó para la campaña de Obama en un principio. Por supuesto, mucho ha cambiado en el ínterin, Optimizely ha recibido 80, 90 millones en capital de riesgo para seguir desarrollando la herramienta y así sucesivamente.

Herramientas A/B Testing: Optimizely, Google Website Optimize & Co.

Con lo sofisticado que se ha vuelto el software, el precio de entrada es ahora muy alto. Por eso no lo recomiendo tan a menudo, pero es una herramienta genial. Así que todo el mundo quería hacer pruebas A / B, lo que funcionó para Obama probablemente funciona para mí y así sucesivamente. El gran problema es que la mayoría de las tiendas o sitios web, pero para mí es sobre todo tiendas, simplemente no se pueden probar. ¿Por qué? No tienen suficiente tráfico, porque una prueba de este tipo es simplemente un estudio doble ciego normal, tal y como lo conocemos de la medicina o de la ciencia en general.

Resultados estadísticamente significativos

Y con el fin de tener suficientes resultados y resultados estadísticamente significativos en un estudio de este tipo, necesito suficientes datos y estos datos son, por supuesto, siempre los visitantes en la página en la conversión de otro lado, estos son los dos factores principales que juegan con él. Y si tengo muy pocos visitantes en la página o una tasa de conversión que es simplemente demasiado baja en este momento, y por lo general ambos. Entonces no obtengo ningún resultado estadísticamente significativo, entonces siempre tengo el problema de que de alguna manera tengo datos, pero cuando los calculo un poco, en realidad son todos datos aleatorios. En las herramientas de prueba, esto también se muestra como confianza o significación.

Y si de alguna manera no supera el 60% o el 70% -bueno, el 50% es tirar una moneda al aire-, el 60% o el 70% no es mucho mejor y, si lo piensas más detenidamente, te das cuenta de que realmente necesitas muchos datos para obtener resultados realmente fiables y durante un cierto periodo de tiempo, porque tienes que hacer pruebas al menos 7, probablemente incluso 14 días, para tener todos los días de la semana al menos una vez, en realidad al menos dos veces.

Período de prueba óptimo para las pruebas A/B

Pero no debe realizar pruebas durante demasiado tiempo para evitar demasiadas influencias externas y demasiado ruido, por lo que el periodo de prueba óptimo es de 2 a 6 semanas. Y sí, si no tiene suficientes conversiones y suficientes visitantes, la cosa se complica. ¿Qué quiere decir "suficientes"? La regla general es: Necesito un mínimo de cien conversiones por variante de prueba. Pero es sólo una regla general. Si ambas variantes tienen las mismas conversiones, sólo tengo una probabilidad del "cincuenta por ciento" de saber qué variante se aplica.

Esto significa que si tengo dos variantes y quiero 200 conversiones, deben ser claramente diferentes. Por ejemplo, de 150 a 50 conversiones. Eso sería probablemente una diferencia significativa, si podemos decir que sí, la variante de 150 conversiones es definitivamente mejor que la variante de 50 convergentes. Pero hay un montón de cálculos en línea.

Calcular la duración de la prueba

Si usted acaba de buscar calculadora de trabajo o calculadora o algo así, entonces usted encuentra con todas las ofertas de pruebas A / B, si eso es Optimizely, A / B Tasty, sin duda también en algún lugar de Adobe y en VWO y no sé dónde, a encontrar en todas partes estos enlaces de prueba calculada función de todo lo que un poco diferente mostrar tal vez algunos resultados ligeramente diferentes, porque hay por supuesto un poco más, las variables matemáticas que se pueden incorporar con él. Pero te da una sensación relativamente buena si se puede probar la aplicación en absoluto o no.

Porque no hay nada peor que planificar una prueba, instalar una herramienta, implementar variantes, iniciar las pruebas y luego darse cuenta: No obtengo ningún resultado. Lo apagas al cabo de tres, cuatro, seis u ocho semanas y te das cuenta: "Sí, mierda, todo ese trabajo ha sido demasiado". Así que no tenías que hacerlo, era para nada. Y que no tengas que hacerlo en absoluto es el peor de los casos. Resultados negativos cuando te das cuenta de que este cambio no funciona en absoluto no es el peor de los casos. Eso está muy bien porque he aprendido algo y queremos aprender a través del trabajo en particular. Queremos conocer mejor a nuestros visitantes.

Aprender de los resultados de las pruebas A/B

No siempre se obtiene una mejora inmediata de la conversión, es decir, un aumento de la tasa de conversión, pero a veces simplemente se obtiene una disminución y uno se da cuenta de que "vaya, esto no está funcionando en absoluto". Hace algún tiempo, probé algo en una tienda online en la que estaba muy, muy seguro de que provocaría una mayor convergencia: de hecho, instalamos un banner en la parte superior de toda la tienda que hacía referencia a las valoraciones de confianza de cinco estrellas.

De hecho, esto no se tradujo en más ventas, sino todo lo contrario. Tuvimos una reducción significativa de la conversión debido a las importantes descargas. ¿Por qué? No lo sé. El porqué es extremadamente difícil de responder mediante pruebas. Pero sabemos que preferimos hacer otra cosa. Y también por eso, cuando construyes variantes de prueba, tienes que ser lo más pragmático posible, lo que significa que tienes que construir variantes muy rápidamente.

Maravillosos editores

No programe una variante durante dos, tres, cuatro, seis, ocho semanas y luego quizá se dé cuenta al cabo de una semana de que a menudo no se le ha olvidado nada, sino lance una variante de forma rápida y práctica. La mayoría de las herramientas tienen maravillosos editores o editores de apuntar y hacer clic. Puedes utilizarlos para construir una variante superguay rápidamente. Por supuesto, tienes que asegurarte de que se muestra correctamente en todos los navegadores y de que no se rompe de alguna manera al apuntar y hacer clic. Pero normalmente puedes hacerlo en horas, a menudo incluso en minutos,

construir una variante de prueba bastante utilizable, a partir de la cual puedas ver si funciona bastante bien, y luego quizás dedicarle más trabajo y afinar realmente la programación y luego implantar la tienda de forma permanente o algo similar, porque muy a menudo las estrategias tienden a decir "Oh, buena idea, puedo hacerlo, puedo programarlo enseguida. No, queremos probarlo. Queremos saber si funciona mejor y, en caso afirmativo, cuánto mejor. Para poder tomar decisiones y no limitarnos a implementar algo después de no saber qué hace más conversiones. Solía trabajar para una gran empresa de alquiler de coches y es muy familiar, dirigida de arriba abajo.

Ejemplo: Alquiler de coches Sixt

También se podría decir autoritario, incluso si eso - Alexander no golpea que - Konstantin usted un poco. Por supuesto que tu padre, gobierna de arriba hacia abajo. Pero se le permite hacer eso. En cualquier caso, simplemente lanzaron un nuevo sitio web. Se suponía que iba a tener un poco de estilo Google y así sucesivamente, y no habían probado nada todavía - que acaba de lanzar un nuevo sitio. No sabían qué influencia tendría en la tasa de conversión. Entonces llegué yo. Estuve en sitios web durante un año y luego lo probé en otro país, pero lo lancé en Estados Unidos y probé una lógica ligeramente diferente. Un poco como era antes.

No es tan google slot, sino un poco más clásico, como lo conocen de las máquinas de reservas de viajes. Tuvimos una subida enorme y mientras tanto la página alemana también ha cambiado mucho. Eso significa que simplemente han aprendido de ello. Porque estas "Hippo Decisions", es decir, la opinión de la persona mejor pagada, la opinión del que más gana, no funcionan. Aunque sé, Konstantin, que tú no eres el que más gana, sino que sólo te pagas un pequeño sueldo - pero los derechos de autor se pagan en cualquier caso.

La HiPPO

Este Hipopótamo ("Oposición de la Persona Mejor Pagada") no siempre es bueno, sino todo lo contrario. Porque el Hippo ("Persona mejor pagada") a menudo no tiene ni idea de sus clientes, suele estar relativamente alejado del día a día de la empresa. Y entonces una decisión es aún peor, de alguna manera es sólo la opinión de la mujer o algo así. Pero creo que es mejor ponerlo en práctica y por supuesto es un drama sin probarlo.

Es por eso que las pruebas son una cosa interesante que hacer, y con las grandes empresas como esta empresa de alquiler de coches, por supuesto, usted puede probar muy bien, pero curiosamente, no en todos los países, porque también hay países que simplemente no tienen suficiente tráfico para las pruebas. También te das cuenta de que incluso en estas grandes empresas, el tráfico no es necesariamente tan alto como para que realmente puedas hacer pruebas con él. Hay que preguntarse de nuevo si sólo queremos hacer pruebas simbólicas o si queremos resultados reales.

Así que primero tengo que averiguar si tengo suficiente tráfico y se han convertido en lo suficiente como para ser capaz de probar, entonces tengo que hacer pruebas muy pragmático con el que puedo generar rápidamente resultados, puedo implementar el seguimiento y luego tengo que correr mi prueba durante 14 días, tres semanas, cuatro semanas, seis semanas como máximo y entonces estoy bien en mi camino. Y si todavía no lo estoy cuando me doy cuenta de que no tengo suficiente tráfico para hacer pruebas reales entonces vuelvo al tema de la heurística o de las mejores prácticas. Creo que el término científico heurística es de alguna manera más fresco, porque también dice más claramente de qué se trata. Porque una heurística es algo que puede hacer predicciones sobre el futuro con un conocimiento limitado.

Buenas prácticas y heurística para resultados rápidos

Así que está lloviendo y este es mi paraguas, el conocimiento limitado es que si uso esto probablemente me mantendré seco. Así paraguas heurística en la lluvia hace seco no sé todos los factores. Podría ser que es muy ventoso ahora y no puedo usar la lluvia, y buena heurística no se aplican al cien por cien si no tengo todos los datos y así sucesivamente. Pero está bastante bien y no sé nada de la tienda online, así que el deslizador es una mierda. Por desgracia, en el 98 por ciento de los casos no es la promoción convergente. Así que por desgracia estamos fuera de ella o así. Dónde se pierden los usuarios. Usted puede analizar cualitativa y cuantitativamente y luego determinar dónde los usuarios simplemente romper.

Entonces puedes echar un vistazo aquí, todos encuentran el botón, no hacen más clic, no ponen nada en la cesta de la compra. No necesito hacer muchas pruebas al principio, pero puedo implementar las mejores prácticas heurísticas y eso es el 80 por ciento de lo que hago con mis clientes. Vale, ¿cuáles son las heurísticas adecuadas para generar más conversiones de inmediato, en cuanto a tráfico, igual que en la tienda, igual que el correo electrónico, etc.? Así que cómo podemos limpiar eso primero. Así que antes de llamar a un diseñador de interiores, también llamo a que de alguna manera.

¿El santo grial de la optimización de la conversión?

Comando para el pintor y no inmediatamente en la decoración de interiores y desordenado, avería edificio viene él también dirá Hey ¿qué se supone que debo hacer aquí y A / B de prueba está en la decoración de interiores y, hasta que en su mayoría se llega pero con el desorden y el pintor y para muchos es suficiente en azul y el pintor también ya porque el director del internado es tan caro que puede no jugar su valor añadido en absoluto. Tan bonita metáfora para terminar como antes. Me encanta la cosa y la cosa es una cosa super chula pero no es el Santo Grial de la optimización de la conversión, no es el Santo Grial para tener más ventas en la tienda porque es un esfuerzo y porque tienes que tener suficiente tráfico en primer lugar. Y en este sentido, primero vale la pena limpiar bien la tienda y por último, aquí tienes un consejo para hacerlo tú mismo. Por supuesto que puedes hablar conmigo, pero para hacerlo tú mismo.

El modelo L.I.F.T. para las pruebas A/B

Existe el modelo ascensor, desarrollado por Widerfunnel. Es una agencia de Canadá. Muchos saludos a Rachel. En cualquier caso, tienen una analogía muy divertida: comparan un sitio web con un avión. Y un avión necesita algunas cosas básicas para poder volar: alas, por ejemplo. Sin alas no necesitamos hacer nada más. Sin alas podemos bombearle tanta parafina y tener una pista tan larga como queramos y demás. No funcionará.

Así que primero necesitamos alas y luego hay cosas en este modelo que hacen que el avión despegue. Son cosas como la confianza y una estructura clara y las cosas que mantienen el avión en tierra son cosas como el miedo y la distracción. Y luego hay algo que da turbo en el avión. Esa es la urgencia y sólo hoy en día que en realidad a menudo trae bastante si se entiende honestamente por lo tanto veces después de Lyft modelo de Google si es necesario Lyft modelo de nuevo coger y enlaces también aquí abajo.

En el blog y en el podcast. Echa un vistazo y simplemente aplicar esto como una heurística básica. Porque también soy feliz cuando hablo con tiendas que están fundamentalmente bien hechas y no empiezo con lo absolutamente básico porque prefiero pintar con una brocha un poco más pequeña que con un rodillo grueso o prefiero atravesar la selva con un machete. Y si pero en cualquier caso quiero más conversiones. Y creo que con los consejos de este podcast se puede hacer mucho bien. Lograr un montón Dame retroalimentación en los comentarios podcast. Pero por favor también en iTunes y Spotify porque espero feedback y espero cinco estrellas.

Con un machete a través de la jungla de la conversión