A/B testing

Définition

L'A/B testing consiste à présenter, au même moment, une version A (la version de référence) et une version B (la variante) d'un élément marketing à deux échantillons d'audience tirés au hasard. On mesure ensuite laquelle obtient le meilleur résultat sur un indicateur défini à l'avance.

La méthode vient de la logique de l'expérience contrôlée utilisée en statistique et en recherche. Elle ne se confond pas avec une simple comparaison « avant / après », faussée par la saisonnalité ou l'actualité, ni avec le test multivarié, qui fait varier plusieurs éléments à la fois et exige beaucoup plus de trafic.

Comment ça marche

Un test rigoureux suit plusieurs étapes :

• Formuler une hypothèse : « un bouton plus visible augmentera les inscriptions ».
• Choisir l'indicateur : taux de clic, taux de conversion, panier moyen, taux d'ouverture.
• Ne modifier qu'un élément : titre, visuel, couleur ou libellé d'un bouton, objet d'un email, prix affiché.
• Répartir le trafic aléatoirement et attendre un volume suffisant.
• Vérifier la significativité statistique avant de conclure, puis déployer la version gagnante.

Les outils d'emailing, les régies publicitaires et des solutions spécialisées (AB Tasty, Optimizely, Kameleoon) intègrent ces fonctions. Le test A/B s'inscrit dans une démarche d'optimisation continue : chaque résultat nourrit l'hypothèse suivante.

Exemples

Deux exemples sont souvent cités :

• Lors de la campagne présidentielle de Barack Obama en 2008, l'équipe numérique a testé plusieurs combinaisons d'images et de boutons sur la page d'inscription du site afin de recueillir davantage d'adresses email.
• Google a testé plusieurs dizaines de nuances de bleu pour ses liens afin de déterminer celle qui générait le plus de clics.

À retenir

• Deux versions, une seule différence, deux groupes tirés au hasard.
• Un indicateur unique, fixé avant le test.
• Ne conclure qu'avec un résultat statistiquement significatif.