Xavi Colomes (ByHours.com)

Xavi dirá que nos presentó Peter O´Neill en un conversion thurday en Londres (el cual era una barra libre en un barco 🙂 Pero para entonces yo ya sabía perfectamente quien era él. Entre otras cosas por que había sido el profesor del modulo de analítica cualitativa del master que cursé en kSchool.

Xavi trabaja actualmente como CMO en ByHours.com y director del CRO Ignite
Previamente ha pasado por empresas de la talla de Google o Intuit, donde ha desarrollado tareas tanto de analítica digital como de CRO y testing. También ha desarrollo proyectos como consultor a través de Conversion Garden y es ponente habitual en congresos y profesor de distintos masters.

Como es tradición la primera pregunta (en este caso también la segunda) la dejó el último entrevistado, que fue Carlos Lebron, de Análisis Web

1) ¿Hasta qué punto debe un analista depender de una herramienta concreta? es decir ¿debemos medirlo todo con Analyitcs/adobe/piwik y tirar o importa más el enfoque que la herramienta?

Hola Javier! La herramienta, es sólo una herramienta. Yo soy bastante tool agnostic, y en mi carrera he tenido que usar todo tipo de herramientas para hacer mi trabajo, sin mayor problema que perder un poco de tiempo al principio entendiendo cómo funciona. A nivel de analitica, lo que esperamos de una tool es que mida algo para nosotros poder tomar decisiones en base a esa lectura. Y punto pelota 🙂 Lo que no tiene sentido es invertir en herramientas sin acompañar esa inversión en gente detrás que actue en base a las lecturas de esa herramienta.

2) Bonus question para la afición: Si pudieras volver al MeasureCamp de Madrid.. ¿volverías a poner tu sesión al mismo tiempo que la de AnálisisWeb o la cambiarías para poder asistir a su sesión de terapia?

No me arrepiento de nada… excepto de haber coincidido con la charla de Carlos. Realmente, el que se perdió la charla buena fui yo!

3) ¿Cualquier momento es bueno para testear? ¿Como afecta la estacionalidad a la optimización de la conversión?
Es decir, dado que se esperan más tráfico en el momento x del año, es por ello un buen momento para testear? O debido a la estacionalidad, los resultados no van a ser realmente extrapolables a otras épocas del año y no sería un buen momento?

Pues mira, te diré que NO. No cualquier momento es bueno para testear, y no todo el mundo puede y debe testear. Estamos tan acostumbrados a leer el impacto de los test de Amazon, Booking o Airbnb que muchas veces pensamos que podemos realizar los mismos test. Pero no. Sin ese volumen y agilidad en el testeo, es un error replicar sus test. Debemos encontrar el test que nosotros necesitamos y por el cual estamos dispuestos a esperar 2 meses si hace falta.

Dicho esto, si eres un grande y ya tienes ese volumen, no veo mayor riesgo en testear en cualquier momento del año si tu cliente no cambia por la estacionalidad.

4) ¿Cuáles son las tres principales confunding variables que siempre tratas de evitar?

He tenido que googlear “confounding variables”, no sabía que se llamaba así a la tercera variable (siempre oculta) que explica la correlación  entre otras dos. Hay varias, sobre todo a tener en cuenta cuando testeamos, La más importante es el tiempo de carga. Test A/B en el que testeo una nueva imagen de la home, que pesa 5 veces más que la anterior…. pues eso. Esos resultados no son fiables. La segunda sería el split de dispositivo…. y ya la cosa se complica. Para saber que el device desde el que se accede no está influyendo en los resultados deberíamos tener significación estadística en cada uno de los dispositivos. Imposible, o casi! Por eso me gusta testear solo en  mobile o solo en desktop si es posible.

5) Explica la idea “Testea para aprender, no para ganar”. Recuerdo que la leí en un post o tweet tuyo y me dejó con cara de poker.

hahaha yo dije eso? 🙂 Me encanta la pregunta. Es muy sencillo: ¿De qué sirve ganar un test si no sabes explicar qué ha cambiado en el cliente para que ahora sí compre? ¿De qué sirve ganar un test si no puedes replicar y aumentar esa hipótesis ganadora? Pan para hoy, hambre para mañana. Es lo que llamo “maybe testing” testear cosas random, y si, aveces algo funciona pero el impacto ganado es mediocre y el coste de oportunidad de no haber testeado lo que realmente importa es enorme. Por eso soy anti “testear por testear”.

6) ¿Crees que hay que trackear el revenue como objetivo de un test? Si / No y porque

Esta es dificil…  por un lado, todo lo que hacemos debería acabar impactando el revenue… por otro lado, en CRO la distancia más corta entre dos puntos no siempre es la más rápida. Ahí lo dejo :).

7) Analítica y conversión son disciplinas de la misma “familia” pero ligeramente distintas. ¿Cuales son las cualidades que hacen que un analista pueda llegar a ser un buen CRO manager? Aparte claro de cursar el CRO Ignite 🙂

Los analistas y los SEO somos los más indicados para dar el salto al CRO: Ya tenemos la mentalidad analítica, y el conocimiento digital. Sólo falta completarlo con estrategia, psicología, estadística, research para meter al usuario en la toma de decisiones y algo de diseño para ser un gran CRO. Vamos, lo que enseñamos en el el CRO Ignite que empieza en pocas semanas! 🙂

Deja una pregunta para la próxima entrevista. Será con Jose Luís Loren, que trabaja en Munich como Digital Analytics Lead en Amway.

¿Cuál es la gran diferencia para justificar tener Adobe Analytics sobre Google?