A/B Test
Tests statistiques pour comparer deux variantes
Qu'est-ce qu'un Test A/B ?
Le Test A/B est une méthode statistique pour comparer deux versions (A et B) et déterminer laquelle performe le mieux. C'est comme faire une expérience scientifique avec vos utilisateurs !
Vous divisez votre public en deux groupes : l'un voit la version A (contrôle) et l'autre voit la version B (variante). Le système calcule si la différence observée est statistiquement significative.
Exemples d'utilisation :
- • Tester deux versions d'une page de vente
- • Comparer l'efficacité de deux campagnes de marketing
- • Évaluer l'impact des changements de design ou de copy
- • Décider entre deux stratégies de pricing
Démarrage Rapide
- 1. Préparez vos données au format CSV avec le groupe (A ou B) et la métrique de résultat.
- 2. Téléchargez le fichier sur le page de téléchargement
- 3. Configurez les paramètres (niveau de confiance, type de test)
- 4. Veuillez patienter pendant le traitement (généralement 1-2 minutes)
- 5. Analysez les résultats statistiques et prenez des décisions basées sur les données.
Comment organiser vos données
Organisez vos données dans une feuille de calcul CSV avec deux colonnes :
Colonne 1 : Groupe
Identifie quelle version a été montrée. Utilise 'A' pour le contrôle et 'B' pour la variante.
Colonne 2 : Conversion/Métrique
Résultat de l'action (1 = converti, 0 = non converti) ou valeur numérique (temps, revenu, etc)
Exemple de tableau de test A/B :
| group | converted |
|---|---|
| A | 1 |
| A | 0 |
| B | 1 |
| B | 1 |
💡 Astuce : Chaque ligne représente un utilisateur ou une observation. Utilisez 1 pour succès (conversion, clic, achat) et 0 pour échec.
Paramètres du test
Niveau de Confiance
Définissez à quel point vous voulez être certain que la différence est réelle (pas une coïncidence).
Type de Test
Choisissez le test statistique approprié pour vos données :
Z-Test (proportions)
Pour des données binaires (0 ou 1) : conversions, clics, achats
Test T (moyennes)
Pour les valeurs numériques continues : temps, revenus, quantité
Testez Unicaudal vs Bicaudal
Définissez l'hypothèse du test :
Bicaudal (bilatérale)
Testez s'il y a une différence dans n'importe quelle direction (plus grande ou plus petite)
Unidirectionnel (unidirectional)
Testez si B est spécifiquement meilleur que A.
Comprendre les résultats
Le test renvoie des statistiques qui aident à décider si la version B est vraiment meilleure que A ou si la différence n'est peut-être qu'une question de chance.
Métriques Clés
P-valeur (p-value)
Probabilité d'observer cette différence par hasard.
p < 0,05 = Différence significative ! | p > 0,05 = Différence non significative
Taux de Conversion
Pourcentage de réussite dans chaque groupe (A et B).
Exemple : Groupe A : 12%, Groupe B : 15% (B est 25% meilleur)
Intervalle de Confiance
Intervalle où la véritable différence est probablement située.
Si elle n'inclut pas zéro, la différence est statistiquement significative.
Taille de l'Effet (Effect Size)
Magnitude pratique de la différence trouvée.
Petit (0.2), Moyen (0.5), Grand (0.8)
⚠️ Important : Un résultat statistiquement significatif (p < 0,05) ne garantit pas un impact sur les affaires. Considérez toujours la taille de l'effet et le contexte pratique de la décision.
Besoin d'aide ? Contactez-nous : contato@grabatus.com