Comments on: Gebruikersonderzoek: 1 deelnemer is genoeg

By: Edwin Waelbers

Edwin Waelbers — Wed, 10 Feb 2010 13:50:36 +0000

Eén deelnemer KAN genoeg zijn. Géén enkele ook, als er geen fouten zitten in de website of applicatie, maar da’s weinig waarschijnlijk.

Ik vind één deelnemer toch wel wat weinig. Immers alle mensen delen wel veel eigenschappen en kenmerken, we verschillen toch nog wel een beetje ook. Ervaring, gebruiksfrequentie, opleiding, leeftijd, het geslacht, eventuele gezichtsproblemen e.a. zorgen er voor dat we allen soms andere strategieën toepassen in het gebruik van de applicatie én in het onderuit halen ervan.

By: Usability onderzoek « Timo Moes .NL – Interaction, Usability, Design

Usability onderzoek « Timo Moes .NL – Interaction, Usability, Design — Tue, 08 Dec 2009 14:12:11 +0000

[...] het lezen van het artikel Gebruikersonderzoek: 1 deelnemer is genoeg op usabilityweb.nl kwam ik op het idee om dit voor mijn stage toe te passen bij de NCRV. Aangezien ik door [...]

By: Thomas Eilander

Thomas Eilander — Mon, 23 Nov 2009 13:37:24 +0000

De vraag blijft natuurlijk of, als je maar 1 persoon over de stoep had laten lopen, deze ook daadwerkelijk gestuikeld was….

By: Rolf

Rolf — Sun, 08 Nov 2009 15:03:08 +0000

Je kan het ook zo bekijken:

De stoeptegel lag schuin en de persoon viel er over, maar als de persoon van de andere kant was gekomen was de persoon niet over die tegel gevallen maar over een andere. Je hebt dus meerdere personen nodig die op een verschillende manier de stoep bewandelen.

By: Henk Wijnholds

Henk Wijnholds — Wed, 04 Nov 2009 13:59:54 +0000

@Stefan – Ben het met je eens wanneer je zegt dat testen met 1 respondent beter is dan met 0. Het aantal respondenten dat je nodig hebt om 80% van de knelpunten op te sporen hangt natuurlijk heel erg van de door ons geformuleerde taken af.

@Astrid Kuijer – OnlineResults: Als je maar in 1 iemand wilt investeren om je website te testen kun je volgens mij ook een vriend of familielid vragen om de site eens door te lopen (gratis i.p.v. expert-rate). Die zal volgens mij al heel veel knelpunten blootleggen (prima value for money).

Voor het opsporen van knelpunten lijkt me jullie methode een wel heel grote investering. Ik begrijp wel dat het zinvol is om met zoveel mensen uit je verschillende doelgroepen te spreken maar dan op een abstracter niveau (voorafgaand aan project of tijdens om verbeterstrategie te bepalen), niet om knelpunten of fouten in functionaliteiten te signaleren.

By: Astrid Kuyer - OnlineResults

Astrid Kuyer - OnlineResults — Wed, 04 Nov 2009 12:56:09 +0000

Als je niet meer wilt investeren dan in één persoon, dan zou ik een expert review aanbevelen. Het zelf doorllopen van de website op punten ter verbetering. En overigens doen wij dat zelfs standaard met z’n tweeën omdat één persoon altijd dingen over het hoofd ziet of dingen anders iwaardeert.
Daar komt nog bij dat een website ophangen aan één persoon een groot gevaar met zich meebrengt. Immers, is de persoon nauwelijks kritisch, dan komt er weinig uit. En omgekeerd. Nog afgezien van het feit vaak ondoenlijk is om de hele website aan één persoon voor te leggen.
Waarbij in onze optiek ook nog onderscheid gemaakt moet worden naar doelgroepen. Immers dat oude vrouwtje zal andere eisen stellen aan een doelgroep, dan een manager, dan een jongere. Dus ondervraag minimaal de verschillende doelgroepen.
Wij kiezen ervoor om iedere respondent – die behoort tot een doelgroep – opdrachten te laten uitvoeren. Altijd een opdracht die bij de respondent past, zodat het commentaar ook oprecht is. Wij merken dat het ondervragen van minimaal 5 personen per doelgroep vaak voldoende informatie oplevert. Maar voor het geval er respondenten tussen zitten die het niet in zich hebben om echt kritisch te zien, verkiezen wij een wat ruimere marge. We houden 7 respondenten per doelgroep aan. En dat levert zeer waardevolle resultaten op.

By: Andrei Westerink

Andrei Westerink — Wed, 04 Nov 2009 11:33:21 +0000

In dit geval zou ik zeggen.. Gebruikersonderzoek niet meer nodig oud vrouwtje heeft been al gebroken..

Denk dat de strekking interessant is maar dat je al heel erg aan simple testing aanschuurt. De scheidslijn tussen testen en usability onderzoek is ‘thin’.

Als je gaat testen dan hoef je dat ook niet dertig keer te doen. Na een of twee keer weet je wel of het klopt of niet. Kortom hoe digitaler het usability probleem hoe meer ik het eens ben met deze stelling .

PS: Leuke site, gelijk op de reader geknald

By: Marnix

Marnix — Wed, 04 Nov 2009 09:29:46 +0000

Hm… hoewel ik het met de strekking wel eens ben, is het natuurlijk niet zo dat je bij een onderzoek met 8 respondenten (of zelfs 20) een grote kans hebt op statistisch significante resultaten. Denk ook dat niemand je voorbeeld zal weerleggen, maar vind het wel een beetje dun beargumenteerd verhaal / hoog open deur gehalte.

By: Stefan Wobben

Stefan Wobben — Wed, 04 Nov 2009 08:34:50 +0000

@Remi,

Ik blijf van mening dat ondezoek met een respondent (de mama test) beter is dan geen onderzoek en dat je kritieke dingen die je tegenkomt gelijk moet oplossen. Dat er aan de overkant nog een veel groter gat zit doet niets af aan het feit dat je ook deze stoeptegel toch echt recht moet leggen.

Lang niet alle issues zijn echter kritiek. Juist voor de prioritering (wat lossen we het eerst) helpt het om je website met meer deelnemers te onderzoeken (5 a 8 is mooi aantal want dat kun je in een dag behapstukken). Voor het grote prioritering vraagstuk zie ik ook heel veel toegevoegde waarde in remote usability testing tools zoals bijvoorbeeld usabilla.com. Maar dit is een andere blogpost

By: Janco

Janco — Wed, 04 Nov 2009 08:32:00 +0000

Leuke insteek en in veel gevallen heb je denk ik gelijk. Zeker wat betreft het opsporen van de grootste, meest duidelijke fouten. Een praktijk voorbeeld was overigens wellicht krachtiger geweest.

Toch is het soms ook wel wat kort door de bocht, in het geval van de stoeptegel repareer je hem zoals altijd (nieuwe tegel, tegel recht leggen). Website problemen zijn niet altijd exacte wetenschap, soms heb je meer onderzoek nodig voordat je veel geld overmaakt naar de webbouwer of wil je de dure, soorten reparaties testen op gebruikservaring/conversie effect.