Waarom 80% van je A/B Testen Geen Winnaar Oplevert (en Wat je Eraan Doet)
Je hebt de tool geïnstalleerd. Je hypothese staat op papier. De test loopt. En dan — niets. Geen winnaar. Of erger: een resultaat dat na twee weken plots omdraait en je alsnog met lege handen achterlaat.
Als je al een tijdje A/B test, ken je dit gevoel. En je bent niet alleen. Ervaringen uit de CRO-praktijk leren dat de meerderheid van A/B tests geen statistisch significante winnaar oplevert. Niet omdat A/B testen niet werkt — maar omdat de meeste test-setups fundamentele fouten bevatten die het resultaat saboteren nog voor de test begint.
In dit artikel lopen we door de zeven meest voorkomende oorzaken waarom tests mislukken, en wat je bij elke oorzaak concreet doet om het te voorkomen. Dit is een vervolg op onze basisgids over A/B testen — als je nog niet vertrouwd bent met de grondbeginselen, begin daar dan.
Waarom mislukken zoveel A/B tests?
Een A/B test mislukken betekent niet dat de variant slechter was. Het betekent meestal dat je niet kunt bepalen of hij beter of slechter was. Dat onderscheid is cruciaal.
Een test zonder conclusie is verspilde tijd en verspild verkeer. Maar het is ook vermijdbaar — op voorwaarde dat je weet waar het fout gaat. Dit zijn de zeven meest voorkomende oorzaken.
Oorzaak 1: Te weinig data om iets te bewijzen
Dit is de meest voorkomende fout, en de meest onderschatte. Veel marketeers starten een A/B test zonder vooraf te berekenen hoeveel bezoekers ze per variant nodig hebben. Ze laten de test een week lopen, zien een verschil van 12%, en concluderen dat de variant wint.
Maar 12% verschil op basis van 80 conversies is statistisch nietszeggend. Met zo weinig data kan dat verschil volledig op toeval berusten.
De benodigde steekproefgrootte hangt af van drie factoren:
- Jouw huidige conversieratio — hoe lager, hoe meer bezoekers je nodig hebt
- Het Minimum Detectable Effect (MDE) — hoe klein een verschil mag zijn om nog relevant te zijn
- Het betrouwbaarheidsniveau — standaard 95%, wat betekent dat je 5% kans op een vals resultaat accepteert
Concreet voorbeeld: je hebt een conversieratio van 2% en wil een verbetering van 20% detecteren (dus naar 2,4%). Daarvoor heb je ongeveer 19.000 bezoekers per variant nodig. Bij 1.000 bezoekers per week duurt die test bijna 40 weken. Dat is de realiteit voor veel Belgische kmo’s.
Wat je doet: bereken de benodigde steekproefgrootte voor je test start. Als het benodigde volume niet haalbaar is binnen een redelijke termijn, zoek dan naar aanpassingen die waarschijnlijk een groter effect hebben — geen marginale tweaks.
Oorzaak 2: Je stopt de test te vroeg (het peeking-probleem)
Stel: je test loopt drie dagen. Variant B leidt met 34%. De verleiding is enorm om de test te stoppen en de winnaar te implementeren.
Dit heet peeking — tussentijds kijken en op basis daarvan stoppen — en het is een van de meest destructieve gewoontes in CRO. Het probleem is statistisch: vroege resultaten fluctueren van nature veel sterker dan late resultaten. Een variant die na drie dagen met 34% leidt, kan na drie weken achterliggen.
Onderzoek toont aan dat peeking de kans op een valse conclusie kan oplopen tot 25-30%, terwijl je dacht dat je op 5% zat.
Wat je doet: bepaal voor de test start wanneer je stopt — op basis van de vooraf berekende steekproefgrootte, niet op basis van het tussenresultaat. Wil je toch tussentijds kijken? Gebruik dan Sequential Testing of Bayesian A/B testing. Die methodes houden rekening met herhaalde analyse.
Oorzaak 3: Je test elementen met te weinig impact
Je wijzigt de kleur van een knop van blauw naar groen. Of je verandert de puntgrootte van je footer. En je vraagt je af waarom de test geen winnaar oplevert.
Het probleem is niet de methode — het is de keuze van wat je test. Kleine, cosmetische aanpassingen produceren kleine effecten. Kleine effecten vereisen enorm veel data om statistisch aan te tonen.
Er is een directe wiskundige relatie: een aanpassing die de conversieratio met 5% verbetert, vereist vier keer meer data dan een aanpassing die hem met 10% verbetert.
Wat je doet: test groot. Verander de kernboodschap in plaats van de knopkleur. Test een volledig andere paginastructuur in plaats van een subtiele lay-outwijziging. Test een radicaal ander aanbod in plaats van de formulering van één zin. Grote, gedurfde wijzigingen produceren grotere effecten — en zijn daardoor sneller en betrouwbaarder te meten.
Oorzaak 4: Je hypothese is zwak of ontbreekt volledig
Een test zonder hypothese is een gok met een dashboard erop. Je kunt een winnaar trekken, maar je leert niets — en je volgende test is even blind als de vorige.
Een sterke hypothese:
- is gebaseerd op data of klantonderzoek, niet op intuïtie
- beschrijft wat je verandert, welk effect je verwacht en waarom
- is falsifieerbaar — de test kan haar ontkrachten
Zwakke hypothese: “Als we de knop groter maken, klikken meer mensen erop.”
Sterke hypothese: “Uit onze heatmapanalyse blijkt dat 60% van de bezoekers de pagina verlaat voor ze de CTA zien. Als we een tweede CTA-knop toevoegen halverwege de pagina, verwachten we dat de klikratio stijgt met minstens 15%, omdat de knop nu zichtbaar is voor bezoekers die niet tot onderaan scrollen.”
Wat je doet: laat elke test voorafgaan door onderzoek. Analytics, heatmaps, sessie-opnames, klantgesprekken. Die inzichten vormen de basis van hypotheses die kloppen.
Oorzaak 5: Seizoensgebondenheid en externe ruis vertroebelen je resultaten
Een A/B test die loopt van maandag tot woensdag meet niet hetzelfde als een test van vrijdag tot zondag. Een test tijdens een promotiecampagne meet niet hetzelfde als in een rustige periode.
Als externe ruis niet gelijk verdeeld is over variant A en variant B, vertekent ze je resultaten.
Wat je doet:
- Test altijd minstens twee volledige weken, zodat weekdageffecten gelijkmatig verdeeld zijn
- Start nooit een test vlak voor of tijdens een grote promotie, seizoenspiek of externe nieuwsgebeurtenis
- Vermijd het starten van grote marketingacties tegelijk met een lopende test
- Controleer na de test of er externe factoren waren die de resultaten kunnen hebben beïnvloed
Oorzaak 6: Het novelty effect saboteert je eerste resultaten
Je lanceert een nieuwe, opvallende versie van een pagina. De eerste week ziet er geweldig uit: variant B wint met 22%. Enthousiast implementeer je de winnaar. Drie weken later is de conversieratio weer op het oude niveau.
Wat er is gebeurd: terugkerende bezoekers reageerden op de nieuwigheid van de variant, niet op de intrinsieke kwaliteit ervan. Ze klikten erop omdat het anders was, niet omdat het beter was. Dit heet het novelty effect.
Wat je doet: segmenteer je testresultaten naar nieuwe versus terugkerende bezoekers. Als de variant wint bij nieuwe bezoekers maar verliest bij terugkerende (of andersom), verleng dan de test tot het effect uitgedempt is. Baseer je eindbeslissing primair op het gedrag van nieuwe bezoekers.
Oorzaak 7: Je analyseert niet per segment
Een test die overall geen winnaar oplevert, kan verbergen dat variant B wint voor mobiele gebruikers maar verliest voor desktop-gebruikers. Of wint voor Google Ads-verkeer maar verliest voor organisch. Als je alleen naar het gecombineerde resultaat kijkt, heffen de effecten elkaar op.
Wat je doet: segmenteer je resultaten altijd op minimaal drie dimensies:
- Apparaattype (mobiel vs. desktop vs. tablet)
- Verkeersbron (betaald vs. organisch vs. e-mail)
- Gebruikerstype (nieuw vs. terugkerend)
Let op: segmentanalyse verhoogt het risico op valse positieven. Beschouw segmentresultaten als hypotheses voor volgende tests, niet als definitieve conclusies.
Hoe bouw je een test-setup die wél structureel resultaten levert?
Een winnende A/B test begint lang voor de test zelf start. De kwaliteit van je resultaten wordt bepaald door de kwaliteit van je voorbereiding.
Stap 1 — Bouw een prioritaire testlijst op basis van onderzoek
Elke test op je lijst heeft een hypothese die gebaseerd is op data. Geen test start op basis van een mening. Rangschik op verwachte impact en uitvoerbaarheid: grote, goed onderbouwde tests gaan voor.
Stap 2 — Bereken de steekproefgrootte voor elke test op voorhand
Gebruik een steekproefgrootte-calculator en vul in: je huidige conversieratio, je MDE en je gewenste betrouwbaarheidsniveau. Als de benodigde steekproef niet haalbaar is in 4-6 weken, kies dan voor een hypothese met een groter verwacht effect.
Stap 3 — Stel een stopdatum in, geen stopconditie op basis van resultaten
Bepaal voor de lancering wanneer je de test stopt: op de datum waarop je de benodigde steekproefgrootte bereikt hebt, of na minimum twee weken — wat langer is. Houd je eraan, ongeacht tussenresultaten.
Stap 4 — Documenteer elke test in een testlog
Noteer per test: de hypothese, het geteste element, de varianten, de primaire metric, de steekproefgrootte, de testduur, het resultaat en de conclusie. Na tien tests heb je een kennisbank. Na dertig tests ken je jouw doelgroep beter dan wie ook.
Stap 5 — Behandel elke test als leermogelijkheid, niet alleen als winmogelijkheid
Een test die geen winnaar oplevert is geen mislukking als je weet waarom. Analyseer: was de steekproef te klein? Klopte de hypothese niet? Was er externe ruis? Die analyse stuurt je volgende hypothese.
Teams die A/B testen het beste beheersen, zijn niet de teams die het vaakst winnen — het zijn de teams die het snelst leren.
Wat als je website te weinig verkeer heeft om te testen?
Dit is de meest gehoorde frustratie bij kmo’s en B2B-bedrijven. Standaard A/B testen vereist een minimumdrempel. Maar er zijn alternatieven.
Usability-testen vereisen geen websiteverkeer. Je werft 5 tot 8 deelnemers die een taak uitvoeren op jouw website terwijl jij toekijkt. Waar ze aarzelen, wat ze verkeerd begrijpen, waar ze afhaken — dat zijn directe inzichten zonder statistiek.
A/B usability testen tonen twee varianten aan een kleine groep deelnemers en vragen welke ze prefereren en waarom. Kwalitatieve validatie van een hypothese voor je ze live zet.
Klantgesprekken zijn de meest onderschatte bron van CRO-inzichten. Tien gesprekken van twintig minuten met bestaande klanten leveren meer bruikbare hypotheses op dan maanden van data-analyse bij laag verkeer.
Meer over hoe je klantonderzoek vertaalt naar conversieverbeteringen lees je in onze gids over conversie optimalisatie als overkoepelende methodologie.
Veelgestelde vragen
Hoeveel A/B tests mag ik tegelijk draaien?
In principe kun je meerdere tests tegelijk draaien, op voorwaarde dat ze op verschillende pagina’s of in verschillende funnelstappen zitten. Tests op dezelfde pagina of hetzelfde bezoekerssegment kunnen elkaar beïnvloeden. Houd tests op hetzelfde paginaniveau altijd sequentieel.
Wat doe ik als mijn test statistisch significant is, maar het effect is klein?
Statistisch significant betekent niet automatisch praktisch relevant. Een verbetering van 0,2% is statistisch significant bij enorm veel data, maar levert jou nauwelijks iets op. Beoordeel altijd of het gevonden effect groot genoeg is om te rechtvaardigen.
Wat als de winnende variant na implementatie toch niet presteert zoals verwacht?
Mogelijke oorzaken: de testperiode was atypisch, het novelty effect speelde een rol, of de steekproef was te klein. Monitor de metrics de eerste weken na implementatie nauwlettend. Als de resultaten tegenvallen, analyseer de oorzaak en herhaal de test indien nodig.
Is een test die “verliest” altijd nutteloos?
Absoluut niet. Een verliezende test bewijst dat jouw hypothese incorrect was — en dat is waardevolle informatie. Het verhindert je om een aanpassing door te voeren die jouw conversieratio zou verlagen. Documenteer de reden waarom de variant verloor; dat stuurt jouw volgende hypothese in een betere richting.
Stop met testen in het wilde weg — begin met testen met systeem
De meeste A/B tests leveren geen winnaar op omdat ze starten zonder voldoende data, te vroeg worden gestopt, het verkeerde element aanpakken of gebouwd zijn op een zwakke hypothese. Geen van die fouten is onvermijdbaar.
Een sterke test-setup begint met onderzoek, vertaalt dat onderzoek in scherpe hypotheses, berekent de benodigde steekproefgrootte voor de test start, en wacht geduldig op statistische zekerheid voor ze conclusies trekt.
Wil je weten hoe je een testprogramma opzet dat structureel resultaten oplevert? Lees onze complete gids over A/B testen als startpunt, of bekijk hoe A/B testen past in het grotere geheel van conversie optimalisatie.
Wil je een second opinion op jouw huidige test-setup? Neem contact op met GrowthForce Digital — wij kijken mee en identificeren waar jouw tests stranden.
De kennis van een groot bedrijf. De aandacht van een boutique bureau.
Manou Zaakvoerder – Voormalig CRO-specialist en hoofd digitale marketing experten • KBC
GrowthForce Digital is opgericht door Manou Maudgal, voormalig CRO specialist en hoofd digitale marketing expertenteam bij KBC. Tien jaar lang werkte hij aan conversieoptimalisatie en digitale groeistrategie voor een van de grootste financiële instellingen van België, met miljoenen gebruikers en complexe digitale funnels.
Vandaag zet hij die expertise in voor ambitieuze e-commerce en lead generation bedrijven. GrowthForce werkt met een bewust beperkt aantal klanten tegelijk zodat elk traject de strategische diepgang krijgt die grote agencies zelden bieden.
Manou doceert digitale strategie en conversieoptimalisatie aan UCLL, de Vrije Universiteit Brussel, de Universiteit Antwerpen, SBM en SyntraPXL.
