¿Cuándo no vale la pena pagar una prueba A/B de tu portada?

La decisión que necesitás tomar sobre las dos tapas

Cuando estás preparando la publicidad de tu novela y tenés dos propuestas de tapa, es posible que quieras probarlas antes de elegir cuál usar. Podés preparar un anuncio con la primera cubierta para mostrarlo a un grupo y otro con la segunda para mostrarlo a otro grupo. Al mirar cuántas visitas llegan a la página del libro desde cada anuncio, empezás a tener información sobre lo que ocurrió al presentar esas dos imágenes.

A esa comparación se la conoce como una prueba A/B, porque A y B son los nombres que les damos a las dos variantes. Si lo que querés averiguar es cuántas visitas atrae cada anuncio cuando reemplazás una tapa por la otra, es importante cuidar las demás condiciones en las que se muestran. Cuando uno lleva otro texto o se dirige a un público diferente, ya hay otra diferencia que podría explicar por qué recibió más visitas. Con esos resultados todavía no sabrías qué parte de la diferencia en las visitas corresponde a la cubierta.

En este primer caso, la novela que ofrecés es la misma y la decisión pendiente es cuál de las dos tapas usar en la publicidad. Pero puede ocurrir que todavía no hayas resuelto qué versión del libro querés publicar. Si dudás entre la novela para adultos y una adaptación juvenil, una de las cubiertas puede estar presentando una versión del texto que todavía no está lista para publicarse. En ese caso no estamos mostrando solamente dos imágenes distintas de la misma novela: también estamos ofreciendo dos versiones del texto.

Supongamos que el anuncio de la versión juvenil recibe más visitas. Eso permite mirar la respuesta a esa propuesta, pero no te dice qué partes de la novela necesitás adaptar, cuánto tiempo puede llevarte ni si querés hacer esos cambios. Para encargar la adaptación todavía hace falta leer el manuscrito con ese propósito y decidir qué versión querés preparar. La respuesta al anuncio puede formar parte de esa decisión, aunque no alcance para resolver el trabajo sobre el libro.

También conviene revisar las tapas antes de poner en marcha la comparación. Si el título aparece cortado o el archivo se ve borroso al tamaño en que va a usarse, podés comprobar esa dificultad mirando la imagen. Esas correcciones se pueden hacer antes de mostrar las tapas en anuncios, porque pagar la difusión no es un paso necesario para advertir qué está pasando con esas letras o con esa reproducción.

Si los dos anuncios reciben casi la misma cantidad de clics

Volvamos a las dos cubiertas para una misma novela, porque ahora queremos mirar qué puede pasar al comparar las visitas que llegan desde sus anuncios. Imaginá que cada anuncio se muestra 1.000 veces. A esas apariciones se las llama impresiones, y una misma persona puede ver el anuncio más de una vez. Por eso, 1.000 impresiones no significa que lo hayan visto 1.000 personas distintas.

En la tabla también vamos a contar los clics, es decir, las veces que alguien hizo clic para ir a la página del libro. Son números inventados para este ejemplo. Nos sirven para seguir lo que ocurrió con cada anuncio y, después, preguntarnos si esa diferencia permite elegir una de las dos tapas.

El anuncio A recibió 20 clics, mientras que el anuncio B recibió 18. Cada uno tuvo sus propias 1.000 impresiones, de modo que la ventaja observada de A es de dos clics. Podemos decir que A recibió más clics en este registro. Antes de tomar ese resultado como motivo para elegir la tapa, sin embargo, queda por averiguar si muestra una respuesta distinta a las cubiertas o si una diferencia de ese tamaño podría aparecer por azar al repetir una comparación de este tipo.

Las tasas de la última columna permiten comparar los clics con las veces que se mostró cada anuncio. En A, dividimos los 20 clics por las 1.000 impresiones y multiplicamos por cien para expresar el resultado como porcentaje: así obtenemos el 2 %. Al hacer esa misma cuenta con los 18 clics de B y sus 1.000 impresiones, el resultado es 1,8 %. Las impresiones son las apariciones sobre las que hacemos la cuenta, y no respuestas favorables que podamos sumar a los clics.

El manual del Instituto Nacional de Estándares y Tecnología de Estados Unidos, conocido como NIST, explica cómo comparar proporciones de dos muestras. Para evaluar si la ventaja de dos clics podría deberse al azar, es importante revisar cómo se decidió a qué grupo mostrarle cada anuncio y de qué manera se registraron las impresiones y los clics. La cantidad de veces que se mostró un anuncio no se considera por separado de los clics: nos interesa qué proporción de esas apariciones terminó en un clic y qué diferencia queremos poder distinguir entre los porcentajes de las dos variantes. Una cantidad fija de impresiones no vuelve concluyente cualquier prueba.

Puede ocurrir que, después de pagar los anuncios y comparar sus resultados, todavía no tengas información suficiente para elegir una de las dos tapas. Si desde el comienzo esperás que haya muy pocos clics, esa posibilidad también forma parte de la decisión sobre el gasto. Decir que no encontramos una diferencia clara significa que la pregunta sigue abierta. Elegir A solamente porque recibió dos clics más daría por resuelto algo que estos números, por sí solos, todavía no permiten resolver.

Qué otro trabajo del libro tendrías que postergar

Para preparar la prueba hay que dedicar tiempo a las variantes, pagar por mostrar los anuncios y, después, leer los resultados. Ese gasto se suma al de los otros trabajos que todavía te faltan para publicar el libro. Al compararlo con el dinero del que disponés, podés decidir cuánto dedicar a los anuncios sin depender de que aparezca una respuesta que te permita elegir.

Supongamos que las dos tapas se pueden usar, pero todavía falta corregir el interior de la novela. Si pagar la prueba te deja sin dinero para esa corrección, podés postergar la elección entre las cubiertas hasta resolver el trabajo del texto. En esta situación, el problema del presupuesto es concreto: usarías en los anuncios el dinero que necesitás para terminar el interior.

Hay otra pregunta que conviene aclarar antes de hacer ese gasto. Hasta acá estuvimos comparando clics para saber qué ocurrió cuando alguien vio cada anuncio y eligió ir a la página del libro. Si lo que querés decidir es cuál de las dos tapas ayuda a vender más, la comparación tiene que continuar después de esas visitas, porque la tabla no dice cuántos clics terminaron en una compra.

Para comparar las ventas, hace falta poder identificar qué compras corresponden a las visitas que llegaron desde cada anuncio. Si la página del libro no permite distinguirlas, vas a poder comparar las visitas de las dos variantes, pero el total vendido no alcanza para saber cuántas compras corresponden a A y cuántas a B. Aunque uno de los anuncios reciba más clics, la pregunta que tenías sobre las ventas sigue sin responderse.

Antes de contratar la prueba, pedí que te expliquen cómo se decide a qué grupo se muestra cada tapa y qué información vas a recibir sobre las visitas. Cuando lo que buscás es comparar ventas, preguntá también si se pueden identificar las compras que llegaron desde cada anuncio. Acordá cuánto dura la comparación y qué van a informarte si los datos no permiten elegir una cubierta. Quien prepara los anuncios puede explicar cómo va a hacer ese trabajo, pero no garantizar de antemano que el resultado señale una ganadora.

Una consulta sobre la tapa puede ayudar antes de pagar por anuncios

Si varias personas miraron la tapa de tu novela y creyeron que presentaba un manual, ya tenés una dificultad sobre la que podés preguntar antes de poner esa imagen en anuncios. Podés pedirles que expliquen qué les dio esa idea: las palabras del título, la forma de las letras o lo que se ve en el dibujo. Al volver a la tapa con sus respuestas, vas a tener algo más preciso para discutir con quien diseña y preparar otra variante.

Después podés mostrar la nueva propuesta y preguntar otra vez qué libro imaginan al verla. Esa conversación permite mirar si todavía se la confunde con un manual. Si más adelante comparás la cantidad de visitas que reciben los anuncios de las dos tapas, vas a estar examinando otra respuesta. Que aumenten los clics no demuestra que haya desaparecido la confusión sobre el tipo de libro.

Entre una campaña y otra pueden cambiar las condiciones en las que se muestran los anuncios. Si cambia el público, el precio o la descripción, una diferencia en las visitas puede tener varias explicaciones. Podés esperar a tener esas condiciones definidas antes de pagar por una prueba que pretende averiguar qué ocurre con las visitas al reemplazar la portada.

En cómo preparar una comparación de anuncios desarrollamos las condiciones que conviene revisar para hacerla. Mirá además la diferencia entre las visitas, las compras y el margen. Saber qué información puede darte cada comparación ayuda a decidir si conviene pagarla ahora, revisar primero la tapa o dedicar ese dinero a otro trabajo del libro.