Is usability onderzoek echt noodzakelijk? Deze vraag speelt nog steeds bij veel bedrijven. Ondanks het feit dat steeds meer bedrijven geld gaan inveseren in usability onderzoeken blijken veel verantwoordelijke managers nog kritisch. Een vaak gehoord argument: “de onderzoeken zijn vaak een bevestiging van wat onze designers eigenlijk al dachten!” Mijn reactie op dergelijke uitspraken geeft weinig ruimte tot interpretatie: “als dat zo is, waarom zijn er dan zo ongelofelijk veel slechte websites?”
Vaak wordt bij usability onderzoek gedacht aan gebruikerstesten (user testing). Aan de hand van een aantal specifieke taken wordt een groep gebruikers gevraagd de opdrachten uit te voeren. Vaak worden de handelingen van de gebruikers geobserveerd en geregistreerd. Op deze manier krijg je inzicht in het gedrag van bezoekers op een website en kunnen valkuilen boven water worden gehaald. Echter methoden als cardsorting, paper prototyping, heuristische evaluatie, logfile analyse en vele andere methoden kunnen ook tot usability onderzoek worden gerekend. Het voert te ver om deze methoden allemaal afzonderlijk uit te diepen. Allesomvattend kunnen we wel de conclusie trekken dat alle usability onderzoeksmethoden hetzelfde doel dienen. Namelijk het zo optimaal mogelijk inrichten van een website voor de eindgebruiker.
Onlangs hebben wij met ons bedrijf een gebruikerstest gehouden. Doel van de test was het beoordelen van het gebruikersgemak van twee grote gemeente websites uit het Noorden van het land. Aangezien ons bedrijf gevestigd is in Groningen was de keuze voor de website van de Gemeente Groningen snel gemaakt. Toen we lazen dat de website van de Gemeente Assen onlangs een prijs had gewonnen voor de beste overheidssite van Nederland op het gebied van ‘zelfredzaamheid’, waren de te testen sites bekend.
We vroegen een aantal wilekeurige mensen wat zij zouden willen vinden op de website van een Gemeente site. Al snel werden de volgende onderzoeksvragen geformuleerd:
- Op welke dagen en tijden kan ik mijn oude koelkast naar de stort brengen en wat zijn de kosten hiervan?
- Heb ik bij mijn in de straat een parkeervergunning nodig en zo ja, wat zijn de kosten hiervan?
- Wat is het dichtsbijzijnde zwembad om in de avonden recreatief te kunnen zwemmen?
Er werden zes testpersonen geselecteerd aangezien je met zes testpersonen 85% van het aantal usability problemen kunt elimineren (bron:Jacob Nielsen, useit.com. De respondenten hadden allemaal een gemiddeld (tussen de 5 en 20) of laag (minder dan 5) aantal uren internetervaring per week.
De resultaten van het onderzoek waren verontrustend. Hoewel alle respondenten vooraf dachten dat de vragen eenvoudig binnen 15 minuten te vinden moesten zijn, slaagde niemand erin de vragen binnen 30 minuten te beantwoorden. Sterker nog, 4 van de respondenten slaagde er niet in de helft van de vragen beantwoord te krijgen.
Opvallend was dat vaak gekozen werd voor een verkeerd menu item. Het bleek niet duidelijk te zijn wat men onder een menu item kon verwachten zonder hier eerst op geklikt te hebben. Ook bleek men vaak tegen de zeer beperkte mogelijkheden van de zoekfunctie aan te lopen. Vaak werden resultaten weergegeven welke amper in relatie stonden met het doel van de zoekopdracht. Een ander opvallend punt is dat bezoekers vaak de ‘schuld’ van het niet kunnen vinden bij zichzelf zoeken en niet bij de onvolkomenheden van de site. Het was verrassend om te zien hoe lang bezoekers het uithouden op een site die totaal niet aan hun verwachtingen voldoet.
In deze specifieke situatie zijn we er door een gebruikerstest achter gekomen dat bezoekers een groot aantal vragen niet beantwoord zagen op de website. Vragen die willekeurig bij ondervraagden opkwamen en waarvan de respondenten vonden dat ze zeer eenvoudig te vinden moesten zijn. Ik citeer één reactie: “als dit er al niet op staat ..! “.
Dit had eenvoudig voorkomen kunnen worden door voordat de site werd gebouwd, een panelgesprek te houden. Op deze manier was mogelijk boven water gekomen dat er een groot verschil zit in het surfgedrag op gemeente sites tussen bezoekers en inwoners van een gemeente. Beide doelgroepen zoeken specifieke informatie en beide doelgroepen kunnen deze niet vinden!
Iedere ontwikkeling voor een bedrijf start met de segmentatie van je doelgroep. Zo ook de ontwikkeling van een website. Vervolgens is het erg belangrijk om deze doelgroep bij de ontwikkeling te betrekken. Zij zijn immers de gebruikers van de te bouwen website. Usability onderzoeken zijn hiervoor uitermate geschikt. Bedenk dat iedere dollar dat in de voorfase aan usability onderzoek wordt geïnvesteerd, $ 100 bespaart wanneer dit probleem na de ontwikkeling van de website nog aangepast dient te worden (bron: Jacob Nielsen.
Als we de verantwoordelijke managers mogen geloven hadden designers de meeste zaken uit zichzelf dus al kunnen tackelen. Immers usability is niets anders dan je gezonde verstand gebruiken. Toch geloof ik dat voor usability nog altijd de vlieger “meten is weten”opgaat, waarbij altijd uitgegaan moet worden van je doelgroep. Groot respect voor de managers die wel de waarde zien van een usability onderzoek. Zij nemen hun bezoekers eindelijk serieus!
3 reacties op "Usability is je gezonde verstand gebruiken!"
Raymond, met je conclusies ben ik het eens, maar ik denk dat je onderzoeksuitgangspunten niet deugen.
Ten eerste veeg je twee verschillende usability-problemen op een grote hoop. Dat informatie die van belang is voor gebruikers, niet beschikbaar is op een website, is het ene probleem. Dat informatie die wel beschikbaar is, niet of niet snel genoeg wordt gevonden, is het tweede en heel ander probleem. Het eerste usability-probleem kun je al tijdens de ontwerpfase voorkomen; alleen voor het vinden van de tweede fout is een gebruikerstest zinvol.
Deze verkeerde uitgangspunten leiden tot een tweede beperking. Als je gebruikers in een test vraagt informatie te zoeken die niet beschikbaar is, blijven ze inderdaad stug volhouden. Normaalgesproken zouden ze veel eerder afhaken, maar de probleemstelling van de test stuurt de uitkomst.
Ten derde denk ik dat je Jakob Nielsen verkeerd citeert (wat wel vaker gebeurt, omdat hij zo’n vreselijke generalist is). Ik denk dat Nielsen zou zeggen dat je twee keer zes is twaalf proefpersonen nodig hebt, omdat je twee verschillende websites test. Ik denk bovendien dat Nielsen en elke andere usability-expert zou kiezen voor een representatieve steekproef uit de doelgroeppopulatie, dus zes inwoners van Groningen en zes inwoners van Assen.
Ten slotte ben ik van mening dat je usability niet mag beperken tot een website. De [url=http://www.nngroup.com/about/userexperience.html]user experience[/url] omvat in ruimere zin alle producten en diensten van een organisatie. Als een gebruiker bijvoorbeeld binnen een halve minuut het informatienummer van de gemeente vindt en daarna van een vriendelijke telefoniste binnen een minuut een antwoord krijgt op de vraag naar de openingstijden van de stort en de kosten, is de gebruiker immers ook geholpen.
Overigens had het geen kwaad gekund als je in het artikel had vermeld dat de Gemeente Groningen een van de opdrachtgevers van je bedrijf is. Dan kunnen alle lezers van het artikel de inhoud beter op waarde schatten. Je schrijft “Aangezien ons bedrijf gevestigd is in Groningen …”. Volgens de ethische beginselen van de [url=http://www.upassoc.org/]UPA[/url] “Be Honest with Everyone” en “Act with Integrity” had je beter kunnen schrijven: “Aangezien de Gemeente Groningen een van onze klanten is …”
@Ward. Allereerst dank je voor uitgebreide reactie op mijn artikel. Met een aantal punten ben ik het met je eens, met een aantal zaken ook niet.
Allereerst je reactie op het feit dat de Gemeente Groningen een klant van ons is. De werkzaamheden welke wij voor (een afdeling van) de Gemeente Groningen hebben verzorgd kennen geen relatie met hun website. Wij zijn dan ook geen discussie partner met de Gemeente op dit gebied. Uitgangspunten van onze test was daadwerkelijk het vergelijken van twee Gemeente sites. De uitkomst van de test wordt echter in een afzonderlijke afspraak wel met de Gemeente besproken.
Voor wat betreft de 2 verschillende uitgangspunten moet ik het met je eens zijn. De formulering in het artikel is misschien niet helemaal juist. Van de 2 x 3 vragen (immers de vragen werden op 2 verschillende site beantwoord) bleek één deelvraag niet op de website vermeldt te staan. De andere vragen waren wel te vinden alleen was de manier waarop voor veel mensen niet logisch. Dit werd niet begrepen. Aangezien de tijd zich beperkte tot een half uur werden de antwoorden op de vragen niet gevonden. Ik ben echter met je eens dat op het moment dat de antwoorden niet de op de website staan, je bezig bent met een ander soort van test, iets waar een ustertest zich niet voor leent.
Voor wat betreft het afhaken stel ik mijn twijfels. Het is me, bij meerder userstest reeds, opgevallen hoe lang bezoekers blijven proberen alvorens ze de website verlaten. Bijvoorbeeld: het invoeren van een postcode dat meerdere keren een onbekende foutmelding geeft. Veel testpersonen voeren minimaal 3 of 4 keer de postcode in verschillende notaties in. Uiteindelijk wordt dan de reactie gegeven, ik weet niet wat ik hier fout doe.. Dit lijkt me toch duidelijk een functionaliteitsfout binnen de website. Bezoekers geven vaak zichzelf de schuld in plaats van de website of de techniek. Er wordt dan ook vaak gesteld dat bezoekers direct vertrekken, mij is opgevallen dat bezoekers (langer dan mij in ieder geval) opnieuw blijven proberen.
Het artikel waar ik naar refereer geeft erg duidelijk weer dat bij ‘low cost user testing’ 6 gebruikers afdoende zijn om het meerendeel aan ‘usability fouten’ boven water te brengen. Ik moet je gelijk geven dat je refereert aan 2 x 6 personen aangezien inderdaad vanuit 2 uitgangspunten is getest. Ook [url=http://www.stevekrug.com]Steve Krug[/url],
verwijst in zijn boek ‘Don’t make me think’ naar dit betreffende artikel. Ook ben ik het niet eens met je reactie dat de steekproef mensen uit de Gemeente zouden moeten zijn. Het is juist gebleken dat deze twee gemeente sites zich in eerste instantie meer richten op [b]bezoekers[/b] van de Gemeeente in plaats van de inwoners. Dit is ook één van de conclusies van de ustertest.
Voor wat betreft je laatste punt geef ik je volledig gelijk. User experience beperkt zich zeer zeker niet tot alleen website. Dat had beter in het artikel naar voren kunnen komen. Ik heb mij echter tot internet beperkt, aangezien hier onze kennis ligt.
Ben benieuwd naar je (en meeredere) reactie(s).
@Raymond. Met je conclusies ben ik het nog steeds eens, zeker nu je de gebruikerstest uitgebreider hebt toegelicht. Het was me vooral te doen om de betrouwbaarheid van het onderzoek en uiteindelijk om een vraag die veel bezoekers van [url=https://www.usabilityweb.nl/]Usabilityweb[/url]
zal bezighouden: in hoeverre kunnen we de conclusies van dit onderzoek vertalen in universele usability-principes die toepasbaar zijn op uiteenlopende websites?
Voor wat betreft de [b]doelgroep[/b] van een gemeente heb je volkomen gelijk. Een gemeente faciliteert niet alleen haar eigen inwoners maar is een kern in een veel grotere regio, een gemeente houdt rekening met touristen en andere bezoekers en de meeste gemeenten proberen zelfs nieuwe bedrijven en inwoners naar de gemeente te trekken. Dit zijn allemaal strategische en operationele doelen die ik zelf graag terugzie in een functioneel ontwerp van een website.
Mijn kritiek op de [b]steekproefpopulatie[/b] hangt vooral samen met de derde vraag: “Wat is het dichtstbijzijnde zwembad om in de avonden recreatief te kunnen zwemmen?” Het concept [b]dichtstbijzijnde zwembad[/b] heeft alleen een betekenis voor de inwoners van Groningen of Assen en nabijgelegen randgemeenten. Voor iemand uit bijvoorbeeld Amsterdam of Limburg heeft [b]dichtstbijzijnd[/b] nauwelijks enige betekenis. (Ik denk zelfs dat de betekenis afneemt naarmate de afstand groter wordt, maar ook dat zou je kunnen meten.) Vooral daarom vind ik toch dat deze specifieke steekproef beperkt had moeten blijven tot inwoners van Groningen of Assen.
@Ward. Daarinzijn het nu volledig met elkaar eens. Een goede leer uit de test, en dit is waar jij ook op wijst, is dat je moet proberen niet teveel ineens te willen testen. De vragen over bijvoorbeeld het zwembad zijn van een andere strekking als het vinden van informatie over een parkeerkaart. Het was beter geweest om dit onderzoek in 2 keer te doen en de vragen allemaal vanuit dezelfde context te stellen.
Zoals je ook naar mijn mening terecht opmerkt doet dit niets af aan de uiteindelijke conclusies. Gemeente sites zouden hier toch echt mee aan de slag moeten, want er is nog veel te doen!
[img]https://www.wilhelmy-it.de/sms/shop/images/warn.png[/img] [b]hey Concept 7 [/b].
je onderzoeksuitgangspunten deugen niet.
je schrijft [i]waarom zijn er dan zo ongelofelijk veel slechte websites?.”[/i] is jou kijk op de sites.
de opdrachtgevers en bezoekers klagen niet zo.
Johan,
En die van jou wel?
Ik bedoel, ken jij alle gebruikers en opdrachtgevers?
Ik wil het zelf af zwakken tot ken jij voldoende gebruikers en opdrachtgevers?
Zijn punt is zeker geldig, de doorsnee website zit écht niet goed in elkaar.
Ik kan er mee overweg (zelfs met de slechte), maar ik ben niet de doorsnee gebruiker. Ik ben 25 jaar met computers bezig. Ik heb een ‘misvorming’ dus. 🙂
Als mijn ouders iets moeten opzoeken via het internet…dan krijgen we iets anders natuurlijk.
Plaats je reactie
Velden met een * zijn verplicht in te vullen