Mon test A/B ne donne rien de significatif : que faire ?

Lisez-le avant de le ranger, car son intervalle de confiance dit entre quelles limites se situe l'effet.

Cherchez ensuite la cause parmi quatre : un comptage défaillant, un test trop petit, un effet plus faible qu'espéré ou une variante diluée dans une audience trop large. Et classez-le « non concluant » vous-même, avant que quelqu'un d'autre l'inscrive au tableau des victoires.

Le repère

Regardez l'intervalle de confiance avant le verdict.

Sur une boutique que nous accompagnons, un test de libellé sur le bouton du panier a réuni, en moins de deux semaines, un peu plus de 14 000 visiteur·euse·s par version, pour 106 commandes côté contrôle et 113 côté variante.

L'outil affichait +7,5 %, avec un intervalle à 95 % allant de −17 % à +40 %.

Un gain supérieur à +40 % est très peu compatible avec ces données, et l'effet peut aussi bien être négatif : déployer comporte donc un risque.

Entre ces deux bornes tout reste possible, si bien que vous ne pouvez pas non plus conclure à l'absence de différence. La fiche Que veut dire « significatif à 95 % » dans un test A/B ? précise ce que ce seuil de 95 % garantit.

La règle

Un intervalle serré autour de zéro clôt le débat : l'idée ne change rien d'utile, passez à la suivante.

Un intervalle large signale un test sous-dimensionné, et c'est le cas qui revient le plus souvent dans nos propres analyses. Passé la durée prévue, arrêtez-le et refaites-le autrement, avec un changement plus franc ou sur une population plus précise.

Les étapes

1. Le comptage. Devant un résultat décevant, soupçonnez d'abord la mesure. Lors de l'un de nos premiers tests, j'avais résumé l'alternative à l'équipe : « soit il y a un problème de mesure, soit la performance n'est pas là où on l'attend ». Commencez par comparer la taille des deux groupes avec un test du khi-deux. D'après notre calcul, un partage 49/51 sur 40 000 visites sort déjà du hasard, et Microsoft recommande de ne pas se fier à un test déséquilibré tant que la cause n'est pas trouvée. Traquez ensuite une version affichée ailleurs que prévu, une commande comptée deux fois ou un affichage qui arrive après un délai visible.
2. La puissance. Un test dimensionné pour voir +20 % ne détecte un gain réel de +5 % qu'une fois sur dix environ, sans que rien soit cassé. La fiche Combien de sessions faut-il pour lancer un test A/B ? donne la formule de dimensionnement.
3. La taille de l'effet. Chez Google, LinkedIn et Microsoft, environ deux tiers des idées prometteuses développées puis testées n'améliorent pas la métrique visée, selon un article cosigné par Ron Kohavi. À notre avis, un libellé ou une couleur déplacent rarement assez le taux de conversion pour qu'un test le voie.
4. Le segment. Un test sur tout le trafic fait la moyenne de populations qui réagissent différemment. Dans un exemple fictif, une réassurance sur les délais gagne 15 % auprès des nouvelles visites, qui pèsent un quart des commandes, et perd 3 % chez les client·e·s fidèles. La moyenne donne +1,5 %, non significatif. Pour le prochain test, déclarez la population visée dans le plan avant le lancement.
5. La suite. Si votre trafic ne permet pas un test assez puissant, décidez autrement, avec le faisceau d'indices que décrit la fiche Comment optimiser mon site sans assez de trafic pour tester ?.

Le piège

Il existe deux manières de changer un test non significatif en victoire, et la plus connue consiste à découper les résultats après coup jusqu'à trouver le segment qui gagne.

Avec dix découpages indépendants, vous avez quatre chances sur dix qu'au moins l'un d'eux passe le seuil par hasard. Notez ce segment comme une piste pour le prochain test.

L'autre manière est plus discrète, et nous l'avons pratiquée. Pour une autre boutique, notre analyse d'un test de page d'accueil concluait après quatorze jours : « pas de conclusion statistique possible ».

La nouvelle version a tout de même été déployée, pour une raison de cohérence de marque que le test ne mesurait pas, ce qui peut se défendre. Notre base de suivi classe pourtant ce test « Win », sans explication. Dans six mois, la personne qui la consultera y lira un gain mesuré.

La phrase à présenter

Avant de fermer le test, écrivez sa conclusion en une phrase qui contient l'intervalle, la décision et la suite, puis collez-la dans votre tableau de suivi à la place du statut. À copier, puis à réécrire avec vos chiffres pour votre direction :

« Ce test ne permet pas de conclure : l'effet du nouveau libellé se situe quelque part entre −17 % et +40 % de commandes. Je le classe “non concluant”, ni gagné ni perdu. Je propose de retester un changement plus franc, avec une durée fixée avant le lancement. »