Vanaf hoeveel bezoekers per maand heeft een A/B-test zin? In de praktijk pas vanaf enkele tienduizenden bezoekers per maand, en dan nog alleen voor een flink verwacht effect. Nielsen Norman Group (NN/g) rekent in zijn inleiding op A/B-testen een voorbeeld door. Bij een basisconversie van 3%, een verwacht effect van 20% en de gangbare betrouwbaarheid van 95% heb je ongeveer 13.000 gebruikers nodig voordat de uitkomst iets zegt (NN/g, A/B Testing 101). Voor een shop met een paar honderd bezoekers per maand is dat niet haalbaar. Je kunt dan nog steeds iets doen, maar een A/B-test is niet het eerste instrument dat je pakt.
Eerst de termen, want ze lopen makkelijk door elkaar. Conversie is het percentage bezoekers dat de actie doet die je wilt, meestal bestellen. CRO (conversion rate optimization) is het vak van structureel verbeteren van die conversie. Een A/B-test is daarbinnen één instrument: je laat twee versies van een pagina naast elkaar draaien bij echte bezoekers en meet welke versie beter scoort. Significantie geeft aan hoe klein de kans is dat toeval alleen het gemeten verschil oplevert. Power geeft aan hoe groot de kans is dat je een echt verschil ook terugziet in je test, in plaats van het te missen door te weinig data. Hoe A/B-testen past binnen UX en CRO in bredere zin staat al uitgewerkt in UX in je Magento-webshop: waar begin je?.
Hoeveel verkeer heb je nodig voor een betrouwbare test?
Significantie en power in gewone taal
De gangbare drempel voor significantie is dat de kans op toeval onder 5% ligt. Statistici noemen dat een p-waarde onder 0,05; in de praktijk heet het “95% significant” (NN/g, Understanding Statistical Significance). Die drempel is geen garantie. Voer je 20 tests uit terwijl er in werkelijkheid nergens een verschil is, dan wijst gemiddeld toch 1 test een “winnaar” aan. Een winnende variant is dus niet automatisch een echte winnaar, zeker niet bij een klein verwacht effect.
Rekenvoorbeeld 2% naar 2,2%
NN/g rekende ook een scherper voorbeeld door, uitgaande van een basisconversie van 2%: een stijging van 10% in conversie is al significant te meten bij ongeveer 14.000 gebruikers, maar een stijging van 2% vraagt ongeveer 340.000 gebruikers (NN/g, Measuring a 1% Increase in Sales Through A/B Testing). NN/g rekent daar met één groep gebruikers per ontwerp; bij een echte A/B-test, waarin je bezoekers over twee versies verdeelt, heb je het dubbele nodig. Kleine effecten kosten dus onevenredig veel verkeer.
Om dat voor een eigen situatie concreet te maken, hebben we zelf gerekend met de vuistregel van Evan Miller: n = 16·σ²/δ² (de factor 16 komt overeen met 95% significantie en 80% power, tweezijdig getoetst) (Evan Miller, How Not To Run an A/B Test, sample size calculator). Daarin is σ² de spreiding van de conversie (conversie × (1 − conversie)) en δ het verschil dat je wilt meten, als fractie (0,2 procentpunt is dus 0,002). Die 80% power betekent: van vijf echte verbeteringen mis je er gemiddeld één. Startpunt: een conversie van 2,0%, dus σ² = 0,02 × 0,98. NN/g zegt bij zijn 13.000 overigens niet of dat per variant of in totaal is; met deze formule kom je met dezelfde uitgangspunten (3%, 20% effect) op ongeveer dat aantal per variant.
- Van 2,0% naar 2,2% (10% relatieve verbetering, δ = 0,002): ongeveer 78.400 bezoekers per variant, bijna 157.000 in totaal.
- Van 2,0% naar 2,4% (20% relatieve verbetering, δ = 0,004): ongeveer 19.600 bezoekers per variant, ongeveer 39.000 in totaal.
De les uit dit eigen rekenvoorbeeld: een half zo groot effect vraagt ongeveer vier keer zoveel bezoekers. Een bescheiden verbetering van 10% testen kost je dus vier keer zoveel verkeer als een grote van 20%.
Het peeking-probleem
Let op: stop een test nooit tussentijds zodra hij “significant” lijkt. Evan Miller laat zien dat het werkelijke foutpercentage stijgt tot 26,1% als je na elke nieuwe waarneming naar de uitkomst kijkt en stopt zodra je significantie ziet (in zijn voorbeeld: een conversie van 50%, maximaal 150 waarnemingen), terwijl het vooraf berekende foutpercentage op 5% stond. Reken de benodigde steekproefgrootte vooraf uit en wacht tot die bereikt is.
Wat onderzoek zegt over de grenzen van A/B-testen
Zelfs met genoeg verkeer vertelt een A/B-test je niet waaróm een variant wint. NN/g waarschuwt dat A/B-testen pas waarde heeft als aanvulling op ander gebruikersonderzoek, niet als vervanging (NN/g, Putting A/B Testing in Its Place). Baymard trekt dezelfde conclusie vanuit een andere hoek: split testen is alleen zinvol als je een duidelijk omschreven probleem test en je keuzes op data baseert. Baymard waarschuwt daarbij expliciet tegen het blind kopiëren van wat andere sites doen en tegen willekeurige tests zoals de kleur van een koopknop (Baymard, What is Split Testing).
Te weinig verkeer? Dit kun je wel doen
Geen honderdduizenden bezoekers per maand? Dan zijn er alternatieven die wel iets opleveren.
Een usability-test met een handvol deelnemers is daar één van. NN/g toonde aan dat 5 testdeelnemers de meeste gangbare usability-problemen al blootleggen (NN/g, Why You Only Need to Test with 5 Users). Je ziet dan geen conversiepercentage, maar wel waar mensen vastlopen, en dat is precies de informatie die een A/B-test je niet geeft.
Daarnaast blijven sessie-opnames en gewone analytics bruikbaar: waar klikken bezoekers niet, waar haken ze af, welke stap in het bestelproces duurt te lang. Een voor/na-vergelijking zonder A/B-test kan ook, met het voorbehoud dat je niet weet of een verandering in conversie door je aanpassing komt of door iets anders, zoals seizoen of een marketingcampagne.
Kijk bij weinig verkeer sowieso eerst naar de checkout: daar haken bezoekers af die al wilden kopen. Wat daar concreet speelt staat uitgewerkt in Hyvä Checkout: zo halveer je checkout-afhakers.

Weet je niet goed waar je op moet letten voordat je iets gaat testen? Een Magento Quickscan kijkt van buitenaf naar je frontend en geeft concrete aanknopingspunten, ook zonder dat er al genoeg verkeer is voor een formele test.
Wel genoeg verkeer? Begin hier, niet bij knopkleuren
Heb je wel genoeg verkeer voor een A/B-test, begin dan niet bij de kleur van een knop. Baymard noemt dat soort willekeurige tests expliciet als voorbeeld van wat niet werkt: zonder een duidelijk gedefinieerd probleem als uitgangspunt meet je vooral ruis. Begin bij een knelpunt dat je al kent uit analytics, sessie-opnames of een usability-test, en test daarna een gerichte oplossing voor dat knelpunt.
| Bezoekers per maand | Wat je betrouwbaar kunt testen |
|---|---|
| Minder dan 5.000 | Geen A/B-test; wel een usability-test met 5 deelnemers en sessie-opnames |
| 5.000 tot 20.000 | Alleen een groot verwacht effect, en dan met een lange looptijd |
| 20.000 tot 100.000 | Een relatieve verbetering van ongeveer 20% is haalbaar om te meten |
| Meer dan 100.000 | Ook een relatieve verbetering van ongeveer 10% is meetbaar |
Deze drempels zijn een eigen afleiding uit de berekening hierboven, geen norm uit een bron. Tel bovendien alleen de bezoekers die de geteste pagina ook echt zien: een test op de checkout heeft veel minder verkeer dan je homepage. Reken je eigen cijfers door met de calculator van Evan Miller om te zien waar je shop concreet staat.
Tip: Google Optimize is op 30 september 2023 gestopt (Google). Draaide je daarop en heb je nog geen alternatief gekozen, dan test je nu helemaal niet, ook niet met genoeg verkeer.
A/B-testen in een Magento- of Hyvä-shop: de techniek
Een client-side testtool (een script dat de pagina in de browser aanpast, ná het laden) toont altijd eerst de originele pagina en wisselt daarna naar de andere variant. Bezoekers zien dat als een korte flits of een verspringende pagina, en dat vertekent precies de meting die je wilde doen. Op een Magento- of Hyvä-shop komt daar een technisch detail bij dat weinig mensen vooraf kennen: full page cache (Varnish) cachet een pagina per URL, niet per bezoeker. De voor de hand liggende oplossing, de variant op de server kiezen, werkt daardoor niet zonder de cache ook per variant te splitsen.
De oplossing is de cache splitsen per variant, bijvoorbeeld op basis van een cookie, zodat elke bezoeker consistent dezelfde variant uit de cache krijgt. Dat is geen instelling die je zelf aanzet, maar iets dat een developer moet inrichten. Een server-side aanpak, waarbij de variant al vóór het renderen van de pagina wordt gekozen in plaats van erna in de browser, voorkomt de flits volledig. In een Hyvä-thema betekent dat: de keuze tussen varianten gebeurt op de server, en Alpine.js wordt alleen ingezet voor de interactie binnen een variant, niet voor het wisselen zelf. Meer over hoe een Hyvä-thema is opgebouwd staat bij Hyvä development.
Ga je testen op je Magento- of Hyvä-shop, vraag je developer dan in elk geval naar drie dingen: hoe de cache per variant wordt gesplitst, of dat server- of client-side gebeurt, en hoe wordt voorkomen dat zoekmachines wisselende varianten van dezelfde pagina te zien krijgen.
Veelgestelde vragen
Hoeveel bezoekers heb ik nodig voor een A/B-test?
Minimaal ruim tienduizend bezoekers per variant, en vaak veel meer, afhankelijk van het effect dat je verwacht. NN/g rekent op ongeveer 13.000 gebruikers bij een basisconversie van 3% en een verwacht effect van 20%. Verwacht je een kleiner effect, dan loopt dat aantal snel op: in een eigen berekening met Evan Millers formule vraagt een halvering van het verwachte effect ongeveer vier keer zoveel bezoekers.
Hoe lang moet een A/B-test lopen?
Tot je vooraf berekende steekproefgrootte per variant bereikt is, niet tot het moment dat de uitkomst er significant uitziet. Stop je eerder omdat je steeds meekijkt en ziet dat een variant lijkt te winnen, dan stijgt het werkelijke foutpercentage volgens Evan Miller naar 26,1%, terwijl je uitging van 5%.
Kan ik A/B-testen zonder Google Optimize?
Ja, dat moet ook: Google Optimize is op 30 september 2023 gestopt. Er zijn betaalde alternatieven voor client-side testen, en op een Magento- of Hyvä-shop kan een developer varianten ook server-side inrichten, zodat de cache per variant wordt gesplitst en bezoekers geen flits tussen versies zien. Twijfel je wat bij jouw shop past, neem dan contact op.
