CRO · A/B testing

A/B testing : comparer des variantes avec une méthode statistique rigoureuse.

Un test A/B compare une variante à la version de référence, auprès de visiteurs répartis au hasard. Un test A/B/n compare plusieurs variantes du même changement. TRACT cadre l’hypothèse, calcule l’échantillon, déploie le test et lit le résultat avec prudence.

Prestations
Cadrage · Mise en place · Pilotage
Formats
A/B, A/B/n, tests côté serveur
Rigueur
Échantillon, durée et seuils fixés avant lancement
TRACT

Construire. Mesurer. Accélérer.

Les règles

Six règles d’un test fiable.

Un test mal cadré produit des résultats qui séduisent et induisent en erreur.

  • Hypothèse écrite avant le lancement. Le changement, le segment, l’indicateur et la raison attendue de l’effet sont consignés.
  • Indicateur principal et garde-fous. Un seul indicateur décide. Des indicateurs de contrôle (chiffre d’affaires, taux de rebond, vitesse) surveillent les effets secondaires.
  • Échantillon et durée calculés. Ils dépendent du taux de conversion de référence, de l’effet minimal détectable et du trafic disponible.
  • Répartition vérifiée. Le contrôle du rapport d’échantillonnage détecte les erreurs de répartition qui invalident un test.
  • Durée respectée. Arrêter un test dès qu’il paraît concluant gonfle le risque de faux positif. La date de lecture est fixée à l’avance.
  • Segmentation limitée. Chaque comparaison supplémentaire augmente la probabilité de trouver un effet par hasard.
Outils

Outils et mise en œuvre.

Google Optimize a cessé de fonctionner en septembre 2023. Le marché propose depuis des solutions de test côté navigateur ou côté serveur. Le choix dépend de votre pile technique, du trafic, des contraintes de performance, dont l’effet de scintillement à l’affichage, et du consentement. Nous recommandons l’outil après audit, sans parti pris pour un éditeur en particulier.

Le résultat d’un test se lit dans l’outil de test et se recoupe avec GA4. Lorsque l’objectif est un lead qualifié ou une vente, le recoupement se fait avec le CRM.

Notre méthode

Trois prestations appliquées à vos tests.

  1. Cadrage

    Hypothèse, indicateur principal, garde-fous, calcul de l’échantillon et de la durée, choix de l’outil.

  2. Mise en place

    Conception des variantes, développement, recette sur appareils, contrôle de la mesure et de la répartition.

  3. Pilotage

    Suivi du test, lecture du résultat à la date fixée, décision, déploiement de la variante gagnante, enseignements consignés.

À connecter

L’A/B testing dans un programme.

Il s’alimente des audits et se prolonge par d’autres formats.

Diagnostic

Audit CRO

La source des hypothèses à tester.

Expérimentation

Multivariate testing

Pour tester plusieurs éléments et leurs combinaisons.

Pages

Landing pages

Terrain d’essai privilégié pour les tests.

Questions fréquentes

Questions sur l’A/B testing.

Une autre question ? Écrivez-nous.

La durée découle du calcul d’échantillon : trafic disponible, taux de conversion de référence, effet minimal détectable. Elle se compte souvent en semaines. Un test couvre au moins un cycle complet d’activité, par exemple une semaine entière.

Le test A/B compare des variantes d’un même changement. Le test multivarié croise plusieurs éléments avec un besoin de trafic bien supérieur. Voir multivariate testing.

Le consigner. Il indique que le changement testé n’a pas d’effet détectable avec le trafic disponible, ce qui évite un déploiement inutile. L’hypothèse suivante en tient compte.

Un faible trafic rallonge les tests ou limite l’effet détectable. Les changements à fort impact attendu ou les corrections fondées sur des preuves précèdent alors les tests.

Un test bien conçu n’y nuit pas. Nous suivons les recommandations de Google : même contenu servi aux robots et aux visiteurs, redirections temporaires pour les variantes.

Sources

Sources officielles.

Un projet à structurer ?

Décrivez vos objectifs, vos outils et vos contraintes : nous revenons vers vous avec une première lecture.