FAQ TEST A/B - Les réponses aux questions courantes sur les tests A/B

Tout ce que vous voulez savoir sur les tests AB sans jamais oser le demander

Le test A/B, également connu sous le nom « split testing », est l’un des moyens les plus efficaces pour améliorer vos taux de conversions.

Dans la pratique, on compare simultanément deux versions (A et B) d’un même contenu, comme une landing page, auprès d’un échantillon identique de visiteur pour mesurer quelle version est la plus efficace, en terme d’amélioration du taux de conversion. Pour en savoir plus consulter l’article Guide du test AB et Multivariés (AB testing) – Jouez et gagnez à tous les coups !

Les questions sur la bonne exécution de test A/B, semblent abonder à travers le Web. Alors, pour vous aider dans la conduite de vos tests A/B, j’ai rassemblé les questions les plus fréquemment posées sur les tests A/B en y incluant des éléments de réponse – Il est quand même sympa le CRO Consultant, non ?

1) Quand un test A/B est une bonne idée? Quand est-il une mauvaise idée ?

Un test A/B qui échoue est un test qui n’a pas d’objectif clair , il est important de bien comprendre ce que vous cherchez à tester. Utilisez un test A/B pour valider une hypothèse, par exemple – ajouter une photo sur une landing page augmente-t-il le taux de conversion ? Les gens sont-ils plus enclins à cliquer sur un bouton rouge ou un bouton bleu ? Et si je change le titre pour souligner le délai de l’offre ? Ce sont tous des changements qui peuvent être facilement quantifiés. Les gens rencontrent souvent des problèmes avec des hypothèses de tests trop vagues, comme tester deux design totalement différents avec des variantes multiples. Si cela ne s’inscrit pas dans une stratégie de tests, et à moins d’avoir un gagnant clairement distingué, tester différents modèles peut conduire à des conclusions plus fragiles avec une profonde incertitude quant à ce qui a causé l’augmentation des conversions.

2) Combien devrais-je avoir de variations pour un test A/B ?

Imaginons qu’après un brainstorming marketing, vous avez quatre bonnes idées de landing page (oui je sais, mais ça peut arriver…). Il peut être tentant de tester les quatre versions parallèlement, mais là on sort des test A/B pour entrer dans les tests A/Z. Le hic avec l’approche A/Z, c’est la difficulté d’identifier les critères déterminants qui ont porté la conversion. La beauté du test A/B est que ses résultats sont simples et concrets. Organisez un tournoi de test A/B, dans lequel vos challengers s’affrontent l’un contre l’autre, jusqu’à la finale qui révélera votre champion.

3) Qu’est-ce qu’une l’hypothèse nulle ?

Une hypothèse nulle est l’hypothèse que toute différence dans les résultats est la conséquence d’une erreur d’échantillonnage ou d’écart type. Pensez aux pile ou face. Même si au départ vous avez 50% de chance pour que la pièce atterrisse sur face, parfois le résultat peut être de 55% ou toute autre variation due au hasard. Mais plus vous lancerez la pièce, plus le résultat devrait tendre vers 50%. En statistiques, la façon de prouver ou de réfuter une idée est de contester une hypothèse nulle. Contester une hypothèse nulle c’est pousser l’exécution de l’expérience suffisamment longtemps pour exclure un résultat fortuit. Ce concept est aussi appelé atteinte d’une signification statistique. Plus d’information sur Test d’hypothèse ou l’analyse statistique des tests A/B

4) Combien de visites faut-il pour avoir de bon résultat avec un test A/B ?

Avant de valider les résultats d’un test A/B, vous devez être sûr que le test a atteint une signification statistique – suffisamment pour atteindre le seuil de confiance d’au moins 95%.

La bonne nouvelle c’est que la plupart des outils de test A/B intègre un indicateur de confiance statistique qui peut vous aider à valider vos tests, et prévoir la date où votre test sera suffisamment mur pour être interprété. Par ailleurs, il existe de nombreux calculateurs gratuits sur le web.

Calculatrice de durée de test A/B
http://visualwebsiteoptimizer.com/ab-split-test-duration/

Calculatrice de signification de test A/B
http://visualwebsiteoptimizer.com/ab-split-significance-calculator/
http://getdatadriven.com/ab-significance-test

5) Quelles sont les différences entre un test multivarié (MVT) et un test A/B ?

Le test A/B est généralement utilisé pour l’innovation et l’exploration de nouvelle direction ou pour valider des hypothèses de conception en opposant deux versions l’une contre l’autre. Le test multivarié sert notamment à qualifier le degré d’influence de chaque composant. Il permet notamment de déterminer pour chaque composant, son utilité (test d’inclusion/d’exclusion), sa forme (test de forme), son message (test éditorial) et son positionnement dans la page (test de positionnement).

Exemple : 3 versions de Titre, 3 types de bouton « Commander en ligne », 2 organisations de contenu et 2 blocs de texte possibles pour la description on obtient alors 3x3x2x2 = 36 – Comment tester 36 Combinaisons de page ? En combien de temps ?

Le test A/B est une méthode de test très bien si vous avez besoin de résultats concrets rapidement. C’est également la meilleure méthode à utiliser si vous n’avez pas énormément de trafic sur votre site. En raison des multiples variables à tester dans un test multivarié, vous aurez besoin d’un trafic beaucoup plus conséquent pour atteindre une signification statistique suffisante, 95% de confiance minium.

6) Est-ce que les tests A/B ont une incidence négative sur le référencement (SEO) ?

Il y a un mythe selon lequel les tests A/B impactent le classement de la page testée dans l’index des moteurs de recherche, car elle pourrait être pénalisée pour Duplicate Content. Ce mythe est certainement faux, car Google, via Matt Cutt conseille de recourir aux tests A/B pour améliorer la fonctionnalité de votre site. L’outil TEST de Google Analytics met à mal également le mythe.

Je conseille toutefois d’ajouter un tag « no index » dans les variations, simple, rapide et efficace pour éviter tout débat…

7) Quand et comment dois-je interpréter les résultats d’un split test ?

Le test démarre. Les données commencent à affluer. Vous vous empressez de vérifier qui gagne. Mais, comme vous le savez certainement au fond de vous, ce n’est pas le bon moment pour commencer à interpréter et surtout communiquer les résultats. Attendez que votre test atteigne une signification statistique suffisante avant de revoir votre hypothèse de départ (voir la question 4). Le test prouve ou réfute définitivement votre hypothèse ? Si c’est le cas, vous pouvez commencer à tirer quelques conclusions. Lorsque vous interprétez votre test, essayez de rester discipliné en vous assurant des liens évidents entre le changement et le résultat, et surtout qu’il n’y a pas d’autres influences à l’œuvre.

8) Combien de variables dois-je tester ?

Vous voulez que votre test A/B soit concluant – vous investissez du temps afin d’avoir une réponse claire et concrète ! Le problème si vous testez plusieurs variables à la fois, c’est l’incapacité à déterminer leur influence et identifier les variables qui font la différence. Vous pouvez juste affirmer qu’une page donne de meilleurs résultats qu’une autre, s’il y a trois ou quatre variables sur chaque version, vous ne pouvez pas être certain de savoir si l’une de ces variables est un préjudice ou un bénéfice que vous pouvez exploiter sur d’autres pages. Si vous n’avez pas le volume de trafic suffisant pour produire des tests multivariés, faites une série de test A/B itératif sur une base d’une variable.

9) Que dois-je tester ?

Ce que vous testez est à vous, mais nous vous recommandons de commencer avec quelques pivots de base de votre page web.

Call to action : Même avec un seul élément d’un Call to Action, il y a un certain nombre de choses différentes que vous pouvez tester. Assurez-vous que vous êtes clair sur l’aspect du CTA que vous testez. Vous pouvez tester le texte – ce que le CTA invite à faire, le positionnement – où le CTA est positionné sur la page, la forme et le style – à quoi ressemble le CTA .
Titre : C’est généralement la première chose qu’un visiteur lit sur votre site, de sorte que le potentiel d’impact est significatif. Tester différents styles de titre mais assurez-vous que la différence de positionnement de chaque titre soit évidente, de sorte d’être certain que ce qui a causé le changement.
Images : Qu’est-ce qui est le plus efficace, l’image d’une personne utilisant votre produit, ou le seul visuel du produit ? Testez différentes versions de vos pages avec des images alternées, pour mesurer s’il y a une différence dans l’action.
Textes : Votre page, a-t-elle besoin de raccourcir le texte pour un message plus clair, ou au contraire en ajouter pour mieux expliquer votre offre ? Essayer différentes versions de votre texte peut vous aider à déterminer quelle quantité d’explication un lecteur a besoin avant la conversion. Pour faire cette recherche, essayez de partir sur le même texte et tester le volume de ce dernier.

10) Peut-on exécuter des tests A/B sur autre chose que des pages web ?

Oui ! En plus des landing pages et des pages internes, de nombreux web-commerçants exécutent des tests A/B sur les emails, les campagnes PPC, et les Call To Action.

Mail : les variables de test d’un email sont entre autres, l’objet du mail, la personnalisation, et le nom de l’expéditeur.
PPC: pour les campagnes PPC, vous pouvez tester, le titre, le corps, le texte du lien, ou les mots clés.
CTA: sur un Call To Action, vous pouvez tester le texte, la forme, la couleur, ou le placement sur la page.

11) Comment puis-je trouver des exemples de tests A/B produits par d’autres entreprises ?

Il y a un certain nombre de sites qui propose des exemples de tests A/B et leur résultat. Certains vous permettent d’effectuer une recherche par type d’entreprise, et la plupart fournissent des détails sur la façon dont la société a interprété les résultats des tests. Pour vous initier aux tests, ce n’est pas une mauvaise idée que de consulter ce type de site pour vous faire une idée sur la portée de certaines variations.

Which Test Won : Which Test Won, beaucoup d’exemples disponibles ainsi que des concours annuels pour lesquels vous pouvez soumettre vos propres tests.

Visual Website Optimizer : Éditeur du logiciel de test A/B éponyme, il propose un grand nombre d’exemples sur leur site.

testsAB.com : Notre prochaine plateforme crowdsourcing de tests AB.

Si vous avez d’autres références de site qui publie plusieurs études de cas de tests AB, n’hésitez pas à nous les communiquer, faites-le-moi savoir par commentaire.

12) Que dois-je faire si je n’ai pas confiance dans les résultats ?

Si vous n’avez pas vraiment confiance dans les résultats après avoir exclu toutes les causes d’erreur possibles ou contestations qui invalideraient le test, la meilleure chose à faire est de relancer le test pour vérifier que vous pouvez reproduire les résultats. Si vous êtes capable de reproduire encore et encore le test, vous aurez un ensemble de résultats plutôt solide.

14) De quoi ai-je besoin pour exécuter des tests A/B sur mon site ?

La meilleure façon de conduire des tests A/B est d’utiliser un outil logiciel conçu pour cela. Attention aux options incluses dans les forfaits, toutes les offres ne sont pas égales.

15) Au-delà de la taille de l’échantillon, quels sont les autres pièges pour valider le résultat d’un test ?

Plusieurs causes externes peuvent biaiser les résultats de vos tests.

Assurez-vous d’informer votre entreprise et vos prestataires des tests en cours -« Attention ! Silence, ça tourne… »
Attention aux campagnes marketing et aux effets saisonniers (si votre entreprise est sensible où période exceptionnelle comme l’avant Noel, où les utilisateurs sont naturellement plus motivés)
Si possible, analysez les données au jour le jour
Surveiller la disponibilité des pages et leur temps de chargement.
Vérifier la compatibilité avec les différents types et versions des navigateurs/OS
Comparer les écarts types entre les données de test et Web Analytics et les écarts types.
Surveiller les anomalies de test

16) Dois-je exécuter des tests A/B sur ma page d’accueil ?

Sans éliminer complètement les tests de votre page d’accueil, je dirai qu’il peut être difficile d’effectuer un test concluant sur une page d’accueil sans super segmenter la population du test. Votre page d’accueil capte naturellement un mélange hétérogène de trafic, des visiteurs arrivés par accident, des journalistes, des chercheurs d’informations, des prospects, des concurrents, des clients… Il y a aussi souvent beaucoup de contenu sur votre page d’accueil, de sorte qu’il peut être difficile de déterminer ce qui motive les visiteurs à agir ou ne pas agir. Enfin, en raison de la diversité des visiteurs, définir un objectif de test peut se révéler un véritable challenge. Vous pouvez penser que votre objectif est de tester le taux de conversion de prospect en client, mais l’échantillon de la population de test a des chances d’inclure des clients au lieu de prospects, votre objectif pour ce groupe pourrait changer. Si vous voulez tester votre page d’accueil, pensez simplement à tester vos CTA.

17) Que faire si je n’ai pas de page contrôle ?

Une page contrôle est la version existante d’une landing page ou une page Web que vous souhaitez tester. Parfois, vous voudrez peut-être tester deux versions d’une page qui n’a jamais existé auparavant … et c’est possible. Il suffit de choisir l’une des variantes et de la définir comme contrôle. Essayez de choisir celle qui est la plus semblable à la façon dont vous concevez des pages actuellement, et utiliser l’autre comme alternative.

18) Pourquoi je n’ai pas exactement un split de 50/50 ?

Parfois, lors de tests A/B vous pouvez remarquer que le volume de trafic de chaque variation n’est pas identique. Cela ne signifie pas qu’il y a un problème avec le test, il s’agit juste de variation aléatoire liée au hasard. Pensez aux pile ou face. Vous avez 50/50 possibilité de faire pile ou face, mais parfois, vous obtenez trois faces de suite. Mais comme nous l’avons vu à la question 3, plus la population de test sera volumineuse plus les chiffres devraient se rapprocher de 50/50.

19) Quand ma version gagne dans un test A/B contre un collègue dois-je faire lui frotter le nez avec mes oreilles ?

Tentant, je sais. Surtout parce qu’il était tellement certain que l’ajout d’un GIF animé allé générer plus de conversions. Mais gardons les choses professionnelles. Documenter et présenter les résultats, et exploitez les enseignements de votre test pour aller plus loin dans l’expérimentation, et puis, quand personne ne regarde … faites la danse du Funky Chicken Dance (la CRO winner danse officielle)