Cela veut dire que si vos deux versions étaient identiques, le hasard seul produirait un écart au moins aussi grand que le vôtre moins de 5 fois sur 100.
Le chiffre ne promet ni que la variante ait 95 % de chances de gagner, ni que 95 % de vos gagnants soient vrais. Quant au seuil lui-même, c'est une convention, et le bon niveau dépend de ce que vous coûterait une erreur.
Le repère
Derrière ce 95 % se trouve une p-value inférieure à 0,05, qui se traduit en une phrase. À 0,03, elle se lit ainsi : « si A et B convertissaient pareil, un écart au moins aussi grand apparaîtrait 3 fois sur 100 ».
L'American Statistical Association l'a rappelé en 2016 dans sa déclaration sur la p-value : elle ne mesure pas la probabilité qu'une hypothèse soit vraie, et pas davantage la taille d'un effet ou l'importance d'un résultat.
Votre outil n'affiche pas toujours une p-value.
Intelligems, que nous utilisons, s'appuie sur un modèle bayésien et donne une « probabilité de battre le contrôle ». Cette grandeur estime la chance que la variante fasse mieux, d'après le modèle de l'éditeur, et la traduction ci-dessus ne s'y applique plus.
Nous avons fait la confusion nous-mêmes, noir sur blanc : notre fiche de méthode interne définissait correctement la p-value, puis demandait de la lire « dans la propriété “probability to Be Best” ».
Le seuil fixe le risque que vous acceptez de voir un écart là où il n'y en a aucun, et ce choix a un prix en trafic.
| Seuil | Fausses alertes sur 100 tests sans effet réel | Trafic nécessaire (base 100 à 95 %, puissance de 80 %) |
|---|---|---|
| 90 % | 10 | 79 |
| 95 % | 5 | 100 |
| 99 % | 1 | 149 |
La règle
Choisissez le seuil avant le lancement, selon le coût d'une erreur. Un changement réversible et peu coûteux peut se décider à 90 %.
Pour une refonte du checkout, visez 99 %. Hérité de la recherche scientifique du siècle dernier, le 95 % n'a jamais été calculé pour le commerce en ligne. Vous pouvez donc le discuter, à condition de ne plus y toucher dès que les résultats sont visibles.
Nous n'avons pas toujours tenu cette règle. Notre fiche de méthode tolère un risque de 0,1, soit un seuil de 90 %, avec au moins 200 conversions.
De janvier à septembre 2026, nos comptes rendus et nos documents annoncent pourtant quatre seuils de décision, tous lus sur la probabilité affichée par l'outil : 80 %, 85 %, 90 % et 95 %.
Le seuil a glissé selon la personne et le moment, faute d'avoir été relié une fois pour toutes au coût d'une erreur.
Les étapes
- L'affichage. Cherchez dans la documentation de votre outil s'il donne une p-value ou une probabilité de battre le contrôle, et notez-le à côté du seuil retenu.
- L'intervalle. Lisez la fourchette des effets compatibles avec vos données avant le verdict. Dans un exemple fictif, un gain compris entre +1 % et +30 % et un autre entre +14 % et +16 % sortent tous deux « significatifs », sans appeler la même décision.
- L'échantillon. Vérifiez que la taille prévue est atteinte, car une p-value lue en cours de route n'a plus la propriété annoncée (la fiche sur la durée d'un test explique pourquoi).
- La borne basse. Comparez le bas de l'intervalle au coût du déploiement, développement compris.
À copier pour votre direction, puis à réécrire avec vos chiffres, quand le gain le plus prudent ne rembourse pas le développement :
« Le test est significatif, mais dans le pire des cas compatibles avec les données, il rapporte moins que ce qu'il coûte à développer. On ne déploie pas. »
Le piège
Le piège est de croire qu'un programme de tests à 95 % ne se trompe que 5 fois sur 100. Ces 5 % portent sur les tests sans effet réel, alors que la question utile concerne vos gagnants déclarés : combien sont du bruit ?
Tout dépend de la part de vos idées qui marchent. Selon les taux de réussite recensés par Kohavi, Deng et Vermeer, une idée sur trois améliore la métrique visée chez Microsoft, et une sur dix chez Booking, Google Ads ou Netflix.
Faites le compte sur 100 tests dont 10 portent un vrai effet. Bien dimensionnés, à 80 % de puissance, vos tests en détectent 8. Les 90 autres produisent 4,5 fausses alertes, dont la moitié en faveur de la variante.
Vous annoncez une dizaine de victoires, et 22 % d'entre elles sont du bruit, avec un réglage irréprochable. Passer à 99 % ramène cette part à 5 % environ, et chaque test demande alors moitié plus de trafic.
En restant à 95 %, une idée gagnante sur trois suffit à la descendre à 6 %. À notre avis, le levier le plus sûr reste de tester de meilleures idées sur des échantillons assez grands, et le calcul des sessions nécessaires se fait avant le lancement.
