De term ‘A/B testing’ hoor je steeds vaker in de wereld die ‘internet’ heet. Maar wat is A/B testing eigenlijk precies? Is het gewoon een populair begrip, een hype? Of is het een onderzoeksmethode die een substantiële bijdrage kan leveren aan het verbeteren van websites? De meningen hierover zijn verdeeld. Om een oordeel te kunnen vormen, is het echter van belang om eerst te weten te komen wat A/B testing is en hoe het precies werkt.

Wat is A/B testing?

Bij deze methode worden bezoekers van een website willekeurig opgedeeld in twee groepen, groep A en groep B. Deze bezoekers merken zelf niks van deze opdeling, ze zijn zich er dan ook niet van bewust dat ze meedoen aan een onderzoek. Dit is een groot voordeel van deze testmethode.

Bij A/B testing heeft de onderzoeker dus ook geen invloed op het gedrag van de bezoekers. De onderzoeker kent de bezoekers niet. Dit alles komt de betrouwbaarheid van het onderzoek ten goede. A/B-tests meten het daadwerkelijke gedrag van bezoekers.

Bij elke bezoeker wordt opgeslagen in welke groep hij of zij zit. Een terugkerende bezoeker zal daardoor telkens in dezelfde groep terechtkomen. Elke groep krijgt een andere versie van een webpagina te zien. Deze twee versies verschillen op slechts één punt van elkaar, bijvoorbeeld het kleurgebruik of de tekstgrootte.

Soms is versie A het huidige design en ziet het grootste deel van de bezoekers deze versie. Versie B is dan een meer uitdagende versie die slechts aan een kleine groep wordt getoond totdat het zijn waarde bewezen heeft1.

Bij beide versies wordt dezelfde actie gemeten, bijvoorbeeld het aanvragen van informatie of het aanmelden voor een nieuwsbrief. Er wordt zo getest bij welke versie de actie het meest succesvol is. Op deze manier worden de effecten van design in kaart gebracht. A/B testing speelt dan ook voornamelijk een controlerende rol tijdens het verbeterproces van een website.

Werkwijze

Bij het toepassen van een A/B-test kan de volgende werkwijze worden toegepast.

Fase 1: doelstelling

Hier geldt de tegelwijsheid meten is weten. Meet eerst bijvoorbeeld alle bezoekers, bezoeken en pageviews. Zoek vervolgens naar verbeterpunten en formuleer deze als een meetbaar doel.

Voorbeeld: 2% van alle bezoeken moet leiden tot de verkoop van een product.

Dit voorbeeld is gebaseerd op een populair doel: omzetverhoging. Deze twee procent zal dan wel een stijging moeten zijn ten opzicht van de huidige verkoopaantallen. Deze huidige verkoopaantallen moeten daarom wel eerst in kaart zijn gebracht.

Fase 2: verbeterpunten

Met de nieuw geformuleerde doelstelling in het achterhoofd worden op basis van bestaande richtlijnen, de kennis en ervaring van usabilityexperts of de uitkomsten van een gebruikerstest aannames gemaakt over de manier waarop de doelstelling bereikt kan worden.

Hiervoor kan gebruik worden gemaakt van verschillende publicaties zoals Handboek Website Usability2, Websiteusability 3 en de Research-Based Web Design & Usability Guidelines 4. In dit laatste document staan meer dan 200 richtlijnen omtrent gebruiksvriendelijkheid.

Voorbeeld: Aanname: “Bezoekers kopen zo weinig omdat ze de bestelknop, die telkens op een andere plek staat, niet kunnen vinden.” Richtlijn: “Plaats belangrijke items consistent.”

Fase 3: uitvoeren

Een webdesigner krijgt vervolgens de taak om de website te verbeteren aan de hand van één aanname. Meer dan één aanname gebruiken voor het aanpassen van een design is ook toegestaan, maar besef dan wel dat het effect per aanname niet meetbaar is.

Vervolgens is het wachten op onderzoeksresultaten. Het is aan te raden om minimaal twee weken te wachten. Vergelijk vervolgens de onderzoeksresultaten per week. Als deze ongeveer gelijk zijn kan deze fase worden afgesloten. Als er duidelijke verschillen merkbaar zijn, wacht dan nog eens twee weken, net zolang totdat er twee even lange periodes zijn met gelijke onderzoeksresultaten.

Fase 4: evaluatie

Na het onderzoek wordt gekeken of de nieuwe doelstelling is behaald. Dit is echter niet voldoende. Kijk ook naar statistieken van zoveel mogelijk andere aspecten van de website.

Voorbeeld: Het opvallender tonen van het offerteaanvraagformulier heeft geleid tot meer aanvragen. De doelstelling is behaald. Maar als dit betekent dat er minder producten zijn verkocht (zonder eerst een offerte aan te vragen) dan hoeft er geen sprake te zijn van een verbetering.

Nu is beschreven wat A/B testing is en hoe het uitgevoerd kan worden, is het leuk om eens te kijken naar een voorbeeld uit de praktijk.

Usabilityweb

Erik Nijland heeft voor zijn afstudeeronderzoek van de opleiding ‘Communicatiesystemen: Multimedia & ontwikkeling’ onder andere een A/B-test uitgevoerd op de website www.usablityweb.nl.

Tijdens een kleine gebruikerstest met zes deelnemers kwam één punt herhaaldelijk naar voren, namelijk: Het leest niet zo prettig. Er zijn vervolgens drie richtlijnen gevonden die invloed hebben op de leesbaarheid4 :

Limit the Number of Words and Sentences;
Optimize Display Density;
Use Moderate White Space.

De eerste richtlijn stelt dat een zin maximaal twintig woorden mag bevatten en elke paragraaf maximaal zes zinnen. De content op usabilityweb voldeed al aan deze richtlijn.

De tweede en derde richtlijn beïnvloeden elkaar. Het blok met content op usabilityweb bevatte te veel witruimte. Door deze grote witruimtes ontstaat er een lage dichtheid van content. Tekst met een lage dichtheid wordt minder snel gelezen.

Het doel is om bezoekers een prettige leeservaring te bezorgen.

Voor dit onderzoek zijn vier weken lang statistieken verzameld. Er zijn twee betrouwbaarheidintervallen van twee weken gehanteerd.

De resultaten per interval zijn vrijwel gelijk, tijd heeft geen duidelijk meetbare invloed op de uitslag van dit onderzoek. De doelstelling om de leessnelheid te verhogen lijkt geslaagd.

Pagina’s worden gemiddeld 256 seconden korter bezocht. Dit lijkt op een stijging van de leessnelheid van meer dan 50 procent.

Dat de leessnelheid is gestegen, is echter niet met zekerheid te concluderen. De enige zekerheid is het feit dat een bezoek aan een pagina gemiddeld korter duurt. Het is niet duidelijk of de pagina’s ook daadwerkelijk zijn gelezen.

Daarom is besloten nog een gebruikerstest uit te voeren met dezelfde deelnemers. Elke deelnemer heeft hetzelfde artikel gelezen. Drie personen kregen versie A voorgelegd, de andere drie versie B. Het verschil in leessnelheid bleek hier nog positiever uit te vallen in het voordeel van versie B. De tekst werd ruim 60 procent sneller gelezen.

Op basis van de resultaten van dit onderzoek kan gesteld worden dat de verbetering is geslaagd: de leesbaarheid is verhoogd, bezoekers lezen sneller en ze ervaren dit als prettig lezen

.

Conclusie

Om terug te komen op de vragen die in het begin van dit artikel werden gesteld. Is A/ B testing gewoon een populair begrip, een hype? Of is het een onderzoeksmethode die een substantiële bijdrage kan leveren aan het verbeteren van websites? Het antwoord is volgens ons: geen van beide.

Wij denken dat A/B testing niet slechts een hype is. Het is wel degelijk een methode die zinvolle resultaten kan opleveren, zeker voor organisaties die structureel bezig zijn met het verbeteren van hun website.

Maar of het ook echt een methode is die een substantiële bijdrage levert? In combinatie met andere methoden waarschijnlijk wel. De voorbereiding is bij A/B testing essentieel. Weet wat je precies wilt meten en ga niet lukraak de methode inzetten, omdat je nou eenmaal wil testen. De doelen moeten duidelijk zijn! Kies een pagina en onderbouw deze keuze. De aanpassingen die worden getest, moeten gebaseerd zijn op gedegen onderzoek. Er kan bijvoorbeeld gebruik worden gemaakt van richtlijnen die reeds door anderen onderzocht zijn en die hun waarde hebben bewezen.

Met een gedegen voorbereiding kun je met A/B-tests inderdaad eenvoudig resultaten behalen. Realiseer je echter ook dat de methode niet zaligmakend is. Het is één van de vele mogelijkheden om de eindgebruiker als uitgangspunt te nemen bij het ontwikkelen en continu verbeteren van je website.

Over de auteur(s)

Marleen Nagengast volgde eerst de opleiding Commerciële Economie aan de Hanzehogeschool in Groningen. Daarna heeft ze Communicatie- en Informatiewetenschappen gestudeerd aan de RUG.Sinds een half jaar is ze Junior Projectmanager bij Concept7 (www.concept7.nl).

Erik Nijland onderzocht A/B testing voor Concept7 tijdens zijn afstudeerstage voor de opleiding Communicatiesystemen: multimedia & ontwikkeling. Als voormalig werknemer van Concept7 heeft Erik 3 jaar ervaring op het gebied van gebruiksvriendelijke websites.

Bronnen

  1. Putting A/B Testing in Its Place (Jakob Nielsen’s Alertbox)ga terug naar de content
  2. Kassenaar, P. & Van Rijswijk, O. (2003). Handboek Website Usablity. ISBN 9039521018.ga terug naar de content
  3. Van der Put, W. (2006). Websiteusability. ISBN 9789043013048ga terug naar de content
  4. Research-Based Web Design & Usability Guidelines.ga terug naar de content
Be Sociable, Share!