Welke methode is het beste? De expert review of de gebruikerstest? Lisa Halabi van Webcredible vergelijkt de expert review met een Porsche en een usability test met een Formule1 wagen.
- Beide methoden worden ingezet met hetzelfde doel:
- Opsporen en prioriteren van usability-knelpunten;
- Evalueren van een vormgeving in de context van het uitvoeren van taken.
Beide methoden leveren echter andere resultaten op.
Met expert reviews worden veel knelpunten opgespoord op het gebied van layout en consistentie. Tijdens een gebruikerstest komen de knelpunten over de inhoud van de website en problemen met de volgorde van klikpaden meer aan bod.
- Expert reviews:
- Missen vaak knelpunten die tijdens een gebruikerstest wel worden opgespoord;
- Vinden knelpunten die tijdens de gebruikerstest niet worden opgespoord;
- Rapporteren problemen die geen echte problemen zijn.
Expert reviews worden vaker ingezet dan gebruikerstesten omdat ze goedkoper en sneller zijn om uit te voeren. Je hoeft geen lab af te huren, geen participanten te werven. In een dag ben je klaar met het uitvoeren van de expert review.
Het is echter afhankelijk van de expert welke problemen worden gerapporteerd. Het grootste manco is echter dat kritieke knelpunten over het hoofd kunnen worden gezien omdat de expert simpelweg niet over voldoende inhoudelijke domeinspecifieke kennis beschikt.
Een gebruikerstest mag dan wel een langere doorlooptijd hebben en duurder zijn. Het levert echter ook meer voordelen op.
Je spoort de écht belangrijke knelpunten op. Krijgt werkelijk inzicht in de problemen van echte gebruikers. Je hebt opnames van de sessies en dit is erg belangrijk voor het meekrijgen van de organisatie om te veranderen.
Sommige knelpunten kan je als expert van tevoren als zien aankomen (beide methoden hebben een overlap van ongeveer 41%). Het is zonde de tijd en energie van participant te verspillen om voor de hand liggende knelpunten op te sporen.
Een expert review is ideaal om als stofkam de grootste problemen op het gebied van toegankelijkheid (als de site al niet toegankelijk is, is er ook niets te testen) en gebruikersvriendelijkheid van te voren op te sporen. Het is echter ongeschikt als enige methode. Een website kan alleen verbeteren als er ook getest wordt met echte eindgebruikers die echte taken op de website proberen uit te voeren.
2 reacties op "Expert reviews vs. gebruikerstesten"
Oude discussie uit Document Design hoek. Stamt nog van Schriver (1989) die onderscheidt maakt tussen tekstgerichte, expertgerichte en lezersgerichte evaluatiemethoden. (voor het web is dat product-, expert-, gebruiker- respectievelijk).
Zij hield een pleidooi voor gebruikersgericht, met name vanwege de leerzame effecten op de makers (je leert gebruikers beter kennen) maar zeker ook vanwege de ingebakken ‘validiteit’. Als goed gekozen proefpersonen problemen ondervinden in een gebruikstest is het zeer waarschijnlijk dat in werkelijkheid je echte gebruikers dezelfde problemen ondervinden.
Het risico van ‘vals alarm’ daarentegen bij een expertanalyse is ook bekend. “Vraag het drie experts, krijg je drie meningen” roep ik altijd maar. In Nielsen’s ‘Usability engineering’ komt hij er ook nog op terug meen ik.
Nou ja, niet om de omgevallen boekenkast te spelen maar meer om aan te geven dat de discussie al een tijdje loopt…
FWIW dus
Rob
[…] Meer informatie hierover: Acht richtlijnen voor een gebruikerstest Expert reviews vs. gebruikerstesten Zin en onzin van […]
Plaats je reactie
Velden met een * zijn verplicht in te vullen