A/B-Testing (auch Split-Testing) ist eine Methode, um datenbasiert zu entscheiden, welche Version einer Seite, eines Features oder eines Texts besser funktioniert. Du baust zwei Varianten – Variante A und Variante B – zeigst sie zufällig 50 % deiner Nutzer und misst, welche mehr Conversions bringt.
Statt zu raten, ob die rote oder grüne Button-Farbe besser ist, lässt du die Daten entscheiden. Bei genug Traffic ist das Ergebnis statistisch belastbar. A/B-Testing ist seit Jahren Standard bei großen Tech-Firmen (Google testet hunderte Varianten parallel) und durch Tools wie PostHog inzwischen auch für kleine Teams möglich.
Wie funktioniert ein A/B-Test?
Ein typischer Ablauf:
- Hypothese formulieren – "Eine kürzere Headline erhöht Signups um 10 %"
- Erfolgs-Metrik definieren – Signups, Käufe, Klicks
- Variante B bauen – die alternative Version
- Traffic splitten – 50/50 oder anders, abhängig von Tool
- Genug Daten sammeln – meistens 1–4 Wochen
- Statistische Signifikanz prüfen – ist der Unterschied echt oder Zufall (p-Wert < 0.05)
- Gewinner ausrollen oder Test verwerfen
Wichtige Begriffe:
- Statistical Significance – ist der Unterschied wirklich echt
- Sample Size – wie viele User braucht es für ein verlässliches Ergebnis
- Conversion Rate – Anteil der User, die das Ziel erreichen
- Lift – relativer Unterschied zwischen Varianten
Wofür brauchst du A/B-Testing?
- Landing Pages optimieren – Headlines, CTA-Texte, Hero-Bilder
- Pricing testen – funktionieren 19 € oder 29 € besser
- Onboarding-Flows – verschiedene Reihenfolgen testen
- Email-Subjects – welcher Betreff wird häufiger geöffnet
- Feature-Rollouts – neues Feature für 10 % der User, dann ausweiten
- CTA-Buttons – "Jetzt starten" vs "Kostenlos testen"
- Marketing-Kampagnen – verschiedene Ad-Creatives gegen einander
A/B-Testing ist nichts für sehr kleine Sites: Mit 100 Besuchern pro Woche dauert ein Test ewig. Faustregel: Mindestens 1.000 Conversions pro Variante für verlässliche Ergebnisse.
A/B-Testing und VibeCoding
Mit modernen Tools und Claude Code integrierst du A/B-Tests in Minuten in deine App. PostHog Feature-Flags machen das besonders einfach: Du definierst einen Flag im Dashboard, gibst ihm zwei Varianten, fragst im Code mit useFeatureFlag('headline-test') ab.
Beispiel-Workflow mit Claude Code:
- "Bau mir eine Variante B der Hero-Section mit anderer Headline"
- Claude generiert die Komponente
- "Wickle das in einen PostHog-Feature-Flag"
- Claude fügt den Flag-Code ein
- Im PostHog-Dashboard aktivieren, Test läuft
Vercel hat zusätzlich Edge Config, mit dem du Tests am Edge ausspielen kannst – ohne dass User die Variante "blitzt", weil die Entscheidung schon vor dem Page-Load gefallen ist.
Häufige Fehler:
- Zu früh stoppen – nach 100 Conversions sind Ergebnisse meist Zufall
- Mehrere Tests gleichzeitig auf derselben Seite – Effekte überlagern sich
- Keine Hypothese – einfach drauflos testen ist Lotterie
- Mobile vs Desktop nicht trennen – kann zu falschen Schlüssen führen
Empfehlung
- Beste All-in-One-Lösung: PostHog (Analytics + Flags + Tests)
- Klassiker für Marketing: Optimizely, VWO
- Edge-basiert: Vercel Edge Config + PostHog
- Email-Tests: in Resend, ConvertKit oder Customer.io eingebaut
- Für ganz kleine Projekte: noch nicht nötig – erst mehr Traffic generieren