A/B Test
Statistische Tests zum Vergleich von zwei Varianten
Was ist ein A/B-Test?
Der A/B-Test ist eine statistische Methode, um zwei Versionen (A und B) zu vergleichen und zu bestimmen, welche besser abschneidet. Es ist wie ein wissenschaftliches Experiment mit Ihren Nutzern!
Sie teilen Ihr Publikum in zwei Gruppen: Eine sieht die Version A (Kontrolle) und die andere sieht die Version B (Variante). Das System berechnet, ob der beobachtete Unterschied statistisch signifikant ist.
Anwendungsbeispiele:
- • Testen Sie zwei Versionen einer Verkaufsseite.
- • Vergleiche die Effektivität von zwei Marketingkampagnen
- • Bewerten Sie die Auswirkungen von Änderungen im Design oder Text
- • Entscheiden zwischen zwei Preisstrategien
Schnellstart
- 1. Bereiten Sie Ihre Daten im CSV-Format mit Gruppe (A oder B) und Ergebnis-Metrik vor
- 2. Laden Sie die Datei in die Upload-Seite
- 3. Konfigurieren Sie die Parameter (Konfidenzniveau, Art des Tests)
- 4. Bitte warten Sie auf die Verarbeitung (normalerweise 1-2 Minuten)
- 5. Analysiere die statistischen Ergebnisse und treffe datengestützte Entscheidungen.
Wie man seine Daten organisiert
Organisieren Sie Ihre Daten in einer CSV-Tabelle mit zwei Spalten:
Spalte 1: Gruppe
Identifizieren Sie, welche Version angezeigt wurde. Verwenden Sie 'A' für die Kontrolle und 'B' für die Variante.
Spalte 2: Konversion/Metrik
Ergebnis der Aktion (1 = konvertiert, 0 = nicht konvertiert) oder numerischer Wert (Zeit, Einnahme usw.)
Beispiel für eine A/B-Test-Tabelle:
| group | converted |
|---|---|
| A | 1 |
| A | 0 |
| B | 1 |
| B | 1 |
💡 Tipp: Jede Zeile repräsentiert einen Benutzer oder eine Beobachtung. Verwenden Sie 1 für Erfolg (Konversion, Klick, Kauf) und 0 für Misserfolg.
Testeinstellungen
Vertrauensniveau
Bestimme, wie sicher du sein möchtest, dass der Unterschied echt ist (nicht zufällig).
Testart
Wählen Sie den geeigneten statistischen Test für Ihre Daten aus:
Z-Test (Proportionen)
Für binäre Daten (0 oder 1): Konversionen, Klicks, Käufe
T-Test (Mittelwerte)
Für kontinuierliche numerische Werte: Zeit, Einnahmen, Menge
Teste Unicaudal vs Bicaudal
Definiere die Hypothese des Tests:
Zwei-seitige
Teste, ob es einen Unterschied in irgendeiner Richtung (größer oder kleiner) gibt.
Einseitig
Teste, ob B speziell besser ist als A.
Verstehen der Ergebnisse
Der Test liefert Statistiken, die helfen zu entscheiden, ob Version B wirklich besser ist als A oder ob der Unterschied nur Glück sein könnte.
Wichtige Kennzahlen
P-Wert (p-value)
Wahrscheinlichkeit, diese Differenz zufällig zu beobachten.
p < 0.05 = Signifikante Differenz! | p > 0.05 = Nicht signifikante Differenz
Konversionsrate
Erfolgsquote in jeder Gruppe (A und B).
Beispiel: Gruppe A: 12%, Gruppe B: 15% (B ist 25% besser)
Konfidenzintervall
Bereich, in dem der wahre Unterschied wahrscheinlich liegt.
Wenn null nicht enthalten ist, ist die Differenz statistisch signifikant.
Effektgröße (Effect Size)
Praktische Größe des gefundenen Unterschieds.
Klein (0.2), Mittel (0.5), Groß (0.8)
⚠️ Wichtig: Ein statistisch signifikantes Ergebnis (p < 0,05) garantiert keinen Geschäftseinfluss. Berücksichtigen Sie immer die Effektgröße und den praktischen Kontext der Entscheidung.
Brauchen Sie Hilfe? Kontakt aufnehmen: contato@grabatus.com