Usability onderzoek is vaak kwalitatief van aard. Dit komt omdat het gericht is op het opsporen van knelpunten en je dit al met relatief klein aantal deelnemers kunt bereiken.
Bekend is de de vuistregel van Jakob Nielsen die zegt dat je 85% van alle knelpunten kunt opsporen met slechts vijf deelnemers. Alhoewel hier geen gemeenschappelijke consenus over heerst en sommigen beweren dat je minimaal 8 of nog meer nodig hebt. Ik ben het hier niet mee eens.
Statistische significantie overgewaardeerd
Statistische significantie bij het opsporen van knelpunten is niet het belangrijkste.
Stel je voor je ben burgemeester van een gemeente en een oud vrouwtje breekt haar been omdat ze struikelt over een losliggende stoeptegel.
Wat doe je? laat je het voetpad repareren of wacht je tot er nog 30 oude vrouwtjes hun been hebben gebroken zodat je met een statistische betrouwbaarheid van 95% kunt zeggen dat het inderdaad de losliggende stoeptegel is die zorgt dat mensen vallen en niet louter toeval? Ik zou het maar snel gaan repareren.
Eigenlijk heb je dus aan één respondent al genoeg om een knelpunt op te sporen.
Focus op het aantal taken
Interessant in dit verband is het onderzoek van Lindgaard en Chattratichart die hebben ontdekt dat er een positief verband bestaat tussen het aantal taken dat iemand uitvoert en het aantal gevonden knelpunten.
Dat wat deelnemers doen is dus belangrijker dan de hoeveelheid deelnemers. Beter een respondent die vijf taken uitvoert dan vijf respondenten die een taak uitvoeren.
In het boek ‘Don’t Make Me Think’ schrijft Steve Krug het volgende: “Keep user testing simple enough so you do a lot of them“. Ik ben het met hem eens.
11 reacties op "Gebruikersonderzoek: 1 deelnemer is genoeg"
Mooie omschrijving/ vergelijking en ik ben het met je eens dat statistische significantie bij dit soort onderzoek niet belangrijk is.
Toch denk ik dat 1 deelnemer in de praktijk weer een beetje te weinig is. Vaak zien wij dat je na 4 of 5 testpersonen de meeste issues wel boven tafel hebt. Daarna zie je vaak mensen de fouten herhalen die je al eerder zag.
Toch kiezen we er vaak voor om toch minimaal 5 en het liefst 8 testpersonen te gebruiken. Die laatste drie personen kosten je nauwelijks extra geld, je hebt de test toch al klaar staan immers. En het geeft je wel een stuk meer zekerheid.
Want om die stoeptegel recht te leggen moet je in de praktijk wel een hoop kosten maken. Waarschijnlijk zal een heel legertje designers, programmeurs, schrijvers en managers zal zich er mee bemoeien, en dat brengt kosten met zich mee. Dan kun je maar beter zorgen dat je zeker weet dat je de juiste stoeptegel aanpakt en dat er niet aan de overkant van de weg een veel groter gat in de weg zit.
Leuke insteek en in veel gevallen heb je denk ik gelijk. Zeker wat betreft het opsporen van de grootste, meest duidelijke fouten. Een praktijk voorbeeld was overigens wellicht krachtiger geweest.
Toch is het soms ook wel wat kort door de bocht, in het geval van de stoeptegel repareer je hem zoals altijd (nieuwe tegel, tegel recht leggen). Website problemen zijn niet altijd exacte wetenschap, soms heb je meer onderzoek nodig voordat je veel geld overmaakt naar de webbouwer of wil je de dure, soorten reparaties testen op gebruikservaring/conversie effect.
@Remi,
Ik blijf van mening dat ondezoek met een respondent (de mama test) beter is dan geen onderzoek en dat je kritieke dingen die je tegenkomt gelijk moet oplossen. Dat er aan de overkant nog een veel groter gat zit doet niets af aan het feit dat je ook deze stoeptegel toch echt recht moet leggen.
Lang niet alle issues zijn echter kritiek. Juist voor de prioritering (wat lossen we het eerst) helpt het om je website met meer deelnemers te onderzoeken (5 a 8 is mooi aantal want dat kun je in een dag behapstukken). Voor het grote prioritering vraagstuk zie ik ook heel veel toegevoegde waarde in remote usability testing tools zoals bijvoorbeeld usabilla.com. Maar dit is een andere blogpost 😉
Hm… hoewel ik het met de strekking wel eens ben, is het natuurlijk niet zo dat je bij een onderzoek met 8 respondenten (of zelfs 20) een grote kans hebt op statistisch significante resultaten. Denk ook dat niemand je voorbeeld zal weerleggen, maar vind het wel een beetje dun beargumenteerd verhaal / hoog open deur gehalte.
In dit geval zou ik zeggen.. Gebruikersonderzoek niet meer nodig oud vrouwtje heeft been al gebroken..
Denk dat de strekking interessant is maar dat je al heel erg aan simple testing aanschuurt. De scheidslijn tussen testen en usability onderzoek is ‘thin’.
Als je gaat testen dan hoef je dat ook niet dertig keer te doen. Na een of twee keer weet je wel of het klopt of niet. Kortom hoe digitaler het usability probleem hoe meer ik het eens ben met deze stelling ;-).
PS: Leuke site, gelijk op de reader geknald 😉
Als je niet meer wilt investeren dan in één persoon, dan zou ik een expert review aanbevelen. Het zelf doorllopen van de website op punten ter verbetering. En overigens doen wij dat zelfs standaard met z’n tweeën omdat één persoon altijd dingen over het hoofd ziet of dingen anders iwaardeert.
Daar komt nog bij dat een website ophangen aan één persoon een groot gevaar met zich meebrengt. Immers, is de persoon nauwelijks kritisch, dan komt er weinig uit. En omgekeerd. Nog afgezien van het feit vaak ondoenlijk is om de hele website aan één persoon voor te leggen.
Waarbij in onze optiek ook nog onderscheid gemaakt moet worden naar doelgroepen. Immers dat oude vrouwtje zal andere eisen stellen aan een doelgroep, dan een manager, dan een jongere. Dus ondervraag minimaal de verschillende doelgroepen.
Wij kiezen ervoor om iedere respondent – die behoort tot een doelgroep – opdrachten te laten uitvoeren. Altijd een opdracht die bij de respondent past, zodat het commentaar ook oprecht is. Wij merken dat het ondervragen van minimaal 5 personen per doelgroep vaak voldoende informatie oplevert. Maar voor het geval er respondenten tussen zitten die het niet in zich hebben om echt kritisch te zien, verkiezen wij een wat ruimere marge. We houden 7 respondenten per doelgroep aan. En dat levert zeer waardevolle resultaten op.
@Stefan – Ben het met je eens wanneer je zegt dat testen met 1 respondent beter is dan met 0. Het aantal respondenten dat je nodig hebt om 80% van de knelpunten op te sporen hangt natuurlijk heel erg van de door ons geformuleerde taken af.
@Astrid Kuijer – OnlineResults: Als je maar in 1 iemand wilt investeren om je website te testen kun je volgens mij ook een vriend of familielid vragen om de site eens door te lopen (gratis i.p.v. expert-rate). Die zal volgens mij al heel veel knelpunten blootleggen (prima value for money).
Voor het opsporen van knelpunten lijkt me jullie methode een wel heel grote investering. Ik begrijp wel dat het zinvol is om met zoveel mensen uit je verschillende doelgroepen te spreken maar dan op een abstracter niveau (voorafgaand aan project of tijdens om verbeterstrategie te bepalen), niet om knelpunten of fouten in functionaliteiten te signaleren.
Je kan het ook zo bekijken:
De stoeptegel lag schuin en de persoon viel er over, maar als de persoon van de andere kant was gekomen was de persoon niet over die tegel gevallen maar over een andere. Je hebt dus meerdere personen nodig die op een verschillende manier de stoep bewandelen.
De vraag blijft natuurlijk of, als je maar 1 persoon over de stoep had laten lopen, deze ook daadwerkelijk gestuikeld was….
[…] het lezen van het artikel Gebruikersonderzoek: 1 deelnemer is genoeg op usabilityweb.nl kwam ik op het idee om dit voor mijn stage toe te passen bij de NCRV. Aangezien ik door […]
Eén deelnemer KAN genoeg zijn. Géén enkele ook, als er geen fouten zitten in de website of applicatie, maar da’s weinig waarschijnlijk. 🙂
Ik vind één deelnemer toch wel wat weinig. Immers alle mensen delen wel veel eigenschappen en kenmerken, we verschillen toch nog wel een beetje ook. Ervaring, gebruiksfrequentie, opleiding, leeftijd, het geslacht, eventuele gezichtsproblemen e.a. zorgen er voor dat we allen soms andere strategieën toepassen in het gebruik van de applicatie én in het onderuit halen ervan.
Plaats je reactie
Velden met een * zijn verplicht in te vullen