Gebruiksonderzoek op afstand

Techniek is pas interessant met mensen erbij, vinden we bij Q42. Daarom testen wij onze producten regelmatig met eindgebruikers. Al eerder deden we uit de doeken hoe we zelf op een hele laagdrempelige manier usabilitytests organiseren. Bijvoorbeeld met slechtzienden en blinden. Door eindgebruikers tíjdens het ontwikkeltraject te vragen wat zij van onze apps en websites vinden, kunnen we op een snelle manier ideeën valideren. En dat maakt de producten beter.

Voorheen deden we usabilitytesting altijd op locatie in onze kantoren. Het afgelopen jaar maakte corona dat natuurlijk onmogelijk. Dus bedachten we een nieuwe methode om zulke gebruiksonderzoekjes uit te voeren. Nog steeds laagdrempelig maar dan online en op afstand: de Remote Real User Morning (RRUM). Na meerdere edities van deze gebruikersochtend op afstand delen we in dit artikel onze ervaringen, tips voor tools én redenen waarom we ook na de lockdown virtueel zijn blijven testen.

Tool voor remote testen
Om de Real User Morning op afstand te kunnen organiseren hebben we ons eerst verdiept in online tools die ons hierbij kunnen helpen. Dankzij een tip van collega kwamen we uit bij Lookback. Na wat onderzoek en uitproberen besloten we Lookback als tool in te zetten voor onze remote gebruikerstest. Het doet precies wat we nodig hebben voor het krijgen van goede feedback van eindgebruikers.

Lookback is een tool gericht op het eenvoudig maken van gebruikstesten. In Lookback zijn er twee rollen, die van Moderator en Observer. De Moderator is degene die de gebruiker interviewt. De gebruiker krijgt de Moderator dus ook te zien. De Observers kijken achter de schermen mee zonder dat de gebruiker dit doorheeft. De gebruiker krijgt een link waardoor zij in de Lookback-sessie terechtkomt. Hier ziet en hoort ze de Moderator die haar instructies kan geven en kan helpen als er iets misgaat.

De Moderator kan vanuit het Lookback-dashboard de gebruiker zien, horen en meekijken op haar scherm. Ook de Observers kunnen meekijken. De gebruiker ziet of hoort de Observers niet. De Observers kunnen elkaar ook niet zien, maar wel met elkaar chatten om zo notities te maken van de test. Deze chat kan de Moderator ook zien.

Aanpak
Net als bij onze offline usabilitytests maken we voor remote tests gebruik van respondenten.nl. Deze service helpt ons bij het vinden van de juiste eindgebruikers. Wij stellen hiervoor specificaties op die matchen met de projecten die we willen testen. De vijf gekozen mensen krijgen van respondenten.nl instructies, hoe ze Lookback moeten installeren en gebruiken.

Voor de dag van de test zelf maken we een schema met tijdvakken van vijftien minuten per test (in eerste instantie was dat een half uur plus een kwartier pauze). Elke keer krijgt de gebruiker een ander project om de gebruiksvriendelijkheid te testen, in totaal drie à vier. Dit is anders dan onze normale RUM waar we met vijf gebruikers vijf projecten testen. Online is dat toch net iets lastiger om uit te voeren. Om toch aan een minimum van vijf eindgebruikers te komen organiseren we nu twee testmiddagen met steeds drie respondenten.

De planning voor zo’n middag gebruikersfeedback ophalen ziet er als volgt uit:

Die korte sessies van vijftien minuten blijken voor zowel de respondenten als de teamleden het beste te werken. Bij langer testen verdwijnt de focus. Wat we ook hebben aangepast is de begeleiding van de respondenten. In een eerste opzet gingen zij in Lookback zelf ‘langs’ de teams. Dat werkt niet optimaal. Er gaat te vaak iets fout met de technische set-up.

Daarom pakken we het nu anders aan. Elke respondent wordt tijdens het klantonderzoek begeleid door een extra Q’er (een host van buiten het team). Als er drie respondenten zijn, zijn er drie hosts. Kort voordat de test begint, ontvangen deze begeleiders afzonderlijk hun respondenten in van tevoren afgesproken videocalls. Twee aan twee doen zij dan de setup van Lookback. Ook worden eventuele voorbereidingen gedaan voor de apps en websites die getest gaan worden.

Als de eerste test begint, neemt de host de respondent mee naar de specifieke Lookback-sessie. De host meldt vervolgens in Slack, dat de respondent er klaar voor is. In Lookback geeft de host de rol van Moderator vervolgens over aan de interviewer uit het projectteam en kan de test beginnen.

Alle teamleden die als Observer met het interview meekijken, kunnen tijdens de sessie vragen en opvallende uitspraken noteren. Lookback voegt daarbij automatisch een tijdstempel toe, wat het terugkijken vergemakkelijkt. De host houdt de tijd in de gaten, zodat de interviewer daar geen omkijken naar heeft. Na het kwartier neemt de host de Moderator-rol weer over, en ‘gaan’ host en respondent in Lookback naar een volgend project. Helemaal aan het einde van het UX-onderzoek doet de host nog even een korte offboarding met de respondent.

Het verdelen van de rollen is een goede verbetering die we hebben doorgevoerd na de eerste RRUM. Omdat elke respondent tijdens het hele usability-onderzoek door één vaste contactpersoon begeleid wordt, creëren we rust en vertrouwen bij de respondent, voorkomen we vertraging door technische problemen, en kan het projectteam blijven focussen op het interview zelf. Door de goede voorbereiding is er echt vijftien minuten tijd om inhoudelijk te testen.

Nadelen en uitdagingen van testen op afstand
Verrassend genoeg blijkt remote gebruiksonderzoek weinig nadelen te hebben ten opzichte van testen op locatie. Tijdens de eerste RRUM zijn we er wel achter gekomen, dat het installeren en klaarzetten van de Lookback-app niet voor iedere gebruiker even soepel gaat. Enkele respondenten hebben we moeten bellen en helpen met opzetten. Hierdoor heeft de test voor sommige testteams direct vertraging opgelopen.

We hebben dit opgelost door hosts aan te stellen die vóór het klantonderzoek even bellen met de respondenten. Zo zorgen we ervoor dat het tijdschema niet uitloopt en de gebruiker ook een contactpersoon heeft die ze al heeft gesproken als er toch nog iets fout gaat.

We hebben ook feedback gevraagd aan gebruikers en teamleden. Daaruit kwam naar voren dat de initiële opzet van een half uur testen plus een kwartier pauze te lang was. We hadden dat gedaan om uit te kunnen lopen als er iets fout gaat in Lookback. Voor iedereen past het echter prima in een korter tijdsbestek. Daarom plannen we nu testrondes van een kwartier, net zoals in de offline variant. Dat is effectiever.

Een specifiek verbeterpunt voor Lookback is het gebrek aan mogelijkheden om overzicht te houden binnen een interviewsessie. Het is mogelijk om te chatten en de chat terug te kijken, maar het zou helpen als de chat direct gedaan zou kunnen worden op de video (zoals je bijvoorbeeld bij Vimeo direct ín de video comments kunt toevoegen).

Tot slot is privacy niet goed genoeg geregeld in Lookback. Dat blijft ook heel moeilijk. Respondenten gebruiken voor de test namelijk hun eigen apparaten. Zeker bij een mobiele telefoon kunnen er dan ook andere, niet relevante schermen in beeld komen. Voor aanvang van het UX-research vraagt de host dan ook om alle meldingen uit te zetten en geen andere apps te openen gedurende het interview dat opgenomen wordt.

Voordelen remote usabilitytesting
Na een paar edities van onze RRUM zijn developers, designers én onze klanten erg tevreden over deze manier van online usabilitytesten met Lookback. Een gebruiker kan makkelijk vanuit huis meedoen. Een respondent die lekker thuis op de bank haar eigen telefoon gebruikt om te testen, is het meest realistische scenario dat je je maar kunt wensen. Een eigen device gebruiken is ook veel handiger bij mensen met een beperking: zij hebben settings ingesteld die vaak niet makkelijk zijn te kopiëren naar een testapparaat. Bovendien is het veel makkelijker om mensen uit te nodigen voor de test, die niet in de buurt wonen. Al deze dingen zorgen ervoor dat respondenten zich meer op hun gemak voelen. Remote testen komt uiteindelijk minder intimiderend over: het voelt voor de respondenten minder als een ondervraging. Zij voelen zich minder bekeken. Dit heeft een positieve invloed op het klantonderzoek.

De gebruikers vinden het zelf ook erg leuk om feedback te geven vanuit hun thuissituatie. Enkele respondenten geven aan een volgende keer graag weer mee te willen doen. Eén van de gebruikers gaf aan dat hij echt de ruimte voelde om zijn mening te geven door de remote test en rustige uitleg. En daarnaast vond hij ook de apps heel inspirerend. Altijd leuk om te horen! ;)

Tot slot: er kunnen oneindig veel mensen meekijken tijdens een Lookback-sessie zonder dat de gebruiker dat doorheeft. Bovendien kan de opname teruggekeken worden om de gevonden issues te analyseren. Veel meer developers, designers en klanten ervaren zo de feedback uit eerste hand, wat enorm waardevol is voor het creëren van een breed draagvlak voor de verbeteringen.

Ik vond de remote RUM nog beter dan de echte real life RUM, vooral omdat je een hele goede video capture van het scherm hebt die je eindeloos kunt replay-en. Het hielp ons echt om bugs te analyseren.
(Wietske Rodenhuis, projectleider Q42)

Testen op afstand is een blijvertje
Remote usabilitytesting heeft wat ons betreft dus meer plus- dan minpunten. De positieve berichten van de deelnemende projectteams en klanten zijn genoeg aanleiding geweest om de RRUM niet louter als noodoplossing te zien. Nu we de nodige verbeteringen hebben gedaan, blijkt deze methode van klantonderzoek zo effectief, dat we ook ná de lockdown doorgaan met online testen.

Meer weten over onze remote gebruikstesten? Stuur ons een mailtje: anouk@q42.nl / lisa@q42.nl.