Usability onderzoek is vaak kwalitatief van aard. Dit komt omdat het gericht is op het opsporen van knelpunten en je dit al met relatief klein aantal deelnemers kunt bereiken.

Bekend is de de vuistregel van Jakob Nielsen die zegt dat je 85% van alle knelpunten kunt opsporen met slechts vijf deelnemers. Alhoewel hier geen gemeenschappelijke consenus over heerst en sommigen beweren dat je minimaal 8 of nog meer nodig hebt. Ik ben het hier niet mee eens.

Statistische significantie overgewaardeerd

Statistische significantie bij het opsporen van knelpunten is niet het belangrijkste.

Losliggende stoeptegel

Stel je voor je ben burgemeester van een gemeente en een oud vrouwtje breekt haar been omdat ze struikelt over een losliggende stoeptegel.

Wat doe je? laat je het voetpad repareren of wacht je tot er nog 30 oude vrouwtjes hun been hebben gebroken zodat je met een statistische betrouwbaarheid van 95% kunt zeggen dat het inderdaad de losliggende stoeptegel is die zorgt dat mensen vallen en niet louter toeval? Ik zou het maar snel gaan repareren.

Eigenlijk heb je dus aan één respondent al genoeg om een knelpunt op te sporen.

Focus op het aantal taken

Interessant in dit verband is het onderzoek van Lindgaard en Chattratichart die hebben ontdekt dat er een positief verband bestaat tussen het aantal taken dat iemand uitvoert en het aantal gevonden knelpunten.

Dat wat deelnemers doen is dus belangrijker dan de hoeveelheid deelnemers. Beter een respondent die vijf taken uitvoert dan vijf respondenten die een taak uitvoeren.

In het boek ‘Don’t Make Me Think’ schrijft Steve Krug het volgende: “Keep user testing simple enough so you do a lot of them“. Ik ben het met hem eens.

Bronnen:
Why You Only Need to Test with 5 Users, Nielsen J.
Usability testing: what have we overlooked? Lindgaard G. en Chattratichart J.
Eight is Not Enough,Perfetti C. en Landesman L.
Be Sociable, Share!