VR Contentanalyse

Methods
Aangereikt door het lectoraat: Play Civic Media door Mirjam Vosmeer


Samenvatting Methode

Deze methode is aangereikt door Mirjam Vosmeer, een onderzoeker afkomstig uit het Play & Civic Media lectoraat op de Hogeschool van Amsterdam. Mirjam heeft ervaring in psychologie, script-schrijven en heeft een achtergrond in storytelling. Ze heeft een PhD op het gebied van gaming afgerond op de UVA en heeft een actieve interesse in VR. Mirjam houdt zich momenteel bezig met het genereren van kennis over VR en doet een tweejarig onderzoek naar VR in combinatie met storytelling. Deze methode is geschikt voor onderzoekers en VR makers. 

De beschreven methode gaat vooral over de meetbare aspecten van VR-applicaties. Er is beperkte kennis over het effect van VR op de gebruiker. Deze methodiek staat dit bij door een basiskennis van VR-terminologie te benadrukken en mee te nemen in de vorm van een vragenlijst voor de gebruiker.

Hoe werkt het?

Deze methode is geschikt voor onderzoekers die nog niet veel ervaring hebben met gebruikersonderzoek in VR. Het kan gebruikt worden om de ‘echtheid’ van een VR-applicaties te testen en kan onderzoekers helpen met het begrijpen van verschillende VR-effecten op de gebruiker.

Stel, je wilt weten of jou VR applicatie een goede ervaring is. Dat is afhankelijk van een aantal factoren. Door je te verdiepen in deze methode leer je welke aspecten van belang zijn en kun je een specifieke vragenlijst opzetten waar deze aspecten in voorkomen.

Onderzoeksfase

Deze methode wordt gebruikt tijdens het testen van het VR filmpje. Je zou kunnen zeggen dat het bij de testfase hoort van het VR filmpje. Door een vragenlijst achteraf te geven aan de participanten kan je erachter gekomen wat voor ervaringen zij hadden tijdens het VR filmpje.

Ook kun je en proef-VR-ervaring kunnen gebruiken om verschillende perspectieven te meten.

Duur methode

De methode zou uitgevoerd kunnen worden in ongeveer een uur de tijd per participant. Dit ligt natuurlijk ook aan het type VR-content dat je wit gaan testen.

Het is lastig om de methode te leren, aangezien het om ervaring gaat. De eerste keer zal het interviewen en observeren nog een beetje stroef gaan. Bij observeren weet je dan nog niet waar je precies naar moet kijken en met interviewen kan het lastig zijn dat je niet genoeg doorvraagt. Dit kun je het beste doen door een paar keer te oefenen. Het is belangrijk dat je de vragen van te voren bedenkt voordat je test gaat afnemen. Ook is het belangrijk om te weten hoe je spullen werken en dat je daar goed mee kan omgaan. Het is belangrijk dat je voor het testen al je apparatuur test en dat er geen fouten ontstaan tijdens het testen. Doordat je de participanten gaat observeren en interviewen zijn de resultaten daardoor makkelijk te verwerken.

Benodigdheden

Het is lastig om de methode te leren, aangezien het om ervaring gaat. De eerste keer zal het interviewen en observeren nog een beetje stroef gaan. Bij observeren weet je dan nog niet waar je precies naar moet kijken en met interviewen kan het lastig zijn dat je niet genoeg doorvraagt. Dit kun je het beste doen door een paar keer te oefenen. Het is belangrijk dat je de vragen van te voren bedenkt voordat je test gaat afnemen. Ook is het belangrijk om te weten hoe je spullen werken en dat je daar goed mee kan omgaan. Het is belangrijk dat je voor het testen al je apparatuur test en dat er geen fouten ontstaan tijdens het testen. Doordat je de participanten gaat observeren en interviewen zijn de resultaten daardoor makkelijk te verwerken. 

Welke data kun je verzamelen?

Voor deze methode verzamel je voornamelijk kwalitatieve data. De data die je verzamelt zullen voornamelijk inzichten en ervaringen zijn van de participanten die de VR ervaring hebben meegemaakt. 

Hoewel de data als kwalitatief wordt ervaren, werkt de vragenlijst wel met een soort punten-systeem. Dit maakt het nog wel subjectief, maar de data wel kwantitatief.

Voor- en nadelen

Voordelen:
VR-enquêtes zijn een getoetste manier in om de subjectieve waarden van ‘presence’ op te meten. Deze methode vergroot de toolkit voor onderzoekers die VR willen gebruiken of VR-applicaties willen testen.

Nadelen:
Het kan lastig zijn om met subjectieve waardes ‘harde’ data te verkrijgen. Gelukkig gebruikt de ‘VR-questionnaire’ wel een schaal. Uit deze schaal kunnen ‘punten’ behaald worden.De uitkomsten van het onderzoek zijn ook mede afhankelijk van de ervaring van de participanten met VR. Mensen met veel VR ervaring zullen kritischer naar de VR applicatie.Het kan lastig zijn om met subjectieve waardes ‘harde’ data te verkrijgen. Uit de schaal kunnen wel ‘punten’ behaald worden.Kwalitatieve data heeft een diepere betekenis dan kwantitatieve data.

Uitwerking

Voor de besproken methode is het belangrijk om in een geschikte ruimte de VR ervaring te testen. Zorg voor genoeg participanten en zorg dat je alle materialen tot je beschikking hebt. Voordat je de participant de VR ervaring wil laten meemaken, worden eerst een paar korte vragen gesteld. De vragen zijn gericht op de gevoelens en welzijn van de participant. Vervolgens laat je de participant de één of meerdere VR ervaringen zien. Na afloop laat je de participanten een vragenlijst invullen met vragen over de VR ervaringen die zij hebben meegemaakt.

“Als je een bepaald aspect wil meten moet je zorgen dat je zoveel mogelijk andere factoren gelijk houdt, bijvoorbeeld een proef VR sessie voordat je de test gaat uitvoeren” 

-M.Vosmeer

“Als jouw lichaam en jouw ogen compleet verschillende dingen ervaren, dan kun je je akelig gaan voelen”.

-M.Vosmeer

Resultaten

Een goed voorbeeld is of participanten de details uit een VR filmpje sneller opvallen wanneer je wel headphones op hebt of wanneer niet. Hier ga je dus checken wat het verschil is tussen het dragen van headphones tijdens een VR ervaring. De resultaten die hieruit kwamen was, dat de participanten met headphones meer details zien dan degenen zonder headphone op.

Het eindresultaat is een door een gebruiker ingevulde VR-enquête . Hier staan een aantal vragen op waar steeds twee subjectieve waarden tegen elkaar worden afgewogen. De antwoorden zeggen iets over de mate van presence bij de gebruiker tijdens de VR-ervaring.

Tips en tricks

Wat deze methode lastig maakt, is de terminologie in verhouding met traditionele gebruikersonderzoeken. Termen als ‘presence’ (vertaald; aanwezigheid) zijn op zichzelf al vrij subjectief. De term kent dan ook vele sub-categorieën wat een uitdaging kan zijn (active presence, embodied presence, emotional presence, social presence).

Cyberpsychology and Behavior (Delft) heeft diepgaand onderzoek op het gebied van presence in VR gepubliceerd.

Bron: “Research on Presence in VR: a Survey”, Cyberpsychology and Behavior Delft, 7 jan 2001, https://bit.ly/2Ipqas2

Het is slim om vooraf je vragen al te hebben bedacht die je gaat vragen na het testen met VR filmpje. Voordat je begint met testen van het VR filmpje is het handig om korte vragen vooraf te stellen. Zo kan het belangrijk zijn dat de participant al eerder een VR game of filmpje heeft gespeeld. Voor mensen die nieuw zijn met VR kan het heel indrukwekkend zijn, waardoor ze heel positief zijn over jouw ontwerp. De stemming van mensen kan ook veel bepalen tijdens een VR ervaring hoe ze het ervaren. Iemand kan zich niet goed voelen op die dag, dit kan invloed hebben op je resultaten. 

Het is ook slim om de participant te observeren, welke bewegingen maakt hij/zij tijdens het bekijken van de VR ervaring. 

Wat speelt een rol bij VR?

  • Geen technologische problemen
  • Geen fysieke problemen (misselijkheid)
  • Hoge mate van presence (aanwezigheid)
  • Enjoyment (genot, niet saai)
  • Engagement (betrokken voelen)
  • Embodiment (Gevoel van virtueel lichaam)
  • Interaction
  • Acknowledgement (erkenning in virtuele wereld)

Gerelateerde Methodes

Als je kijkt naar andere methodes die beschikbaar zijn, dan zijn er overeenkomsten met ‘Usability Testing’. Hier worden gebruikers meegenomen in het ontwerp proces en getest op een aantal voorafgaand afgesproken gebruikers- of content doelen.