7 manieren om onderzoek te doen naar digitale vaardigheden
Door Suzanne Verheijden met medewerking van Jet Zantvoord

Hoe kom je er achter of de medewerkers in jouw organisatie over voldoende digitale vaardigheden beschikken? En hoe meet je of medewerkers door een project Digitale vaardigheden ook echt in vaardigheden of zelfvertrouwen zijn gegroeid? Er zijn verschillende manieren om onderzoek te doen en we hebben al diverse varianten geprobeerd. Wat is nou handig? In dit artikel neem ik je kort mee in de verschillende mogelijkheden met de bijbehorende voor-en nadelen.

Wat kun je meten?

De thema’s die vaak gemeten worden zijn:

• Basisvaardigheid
• Beleving over/ vertrouwen in technologie
• Groei in vaardigheden
• Effect aanpak

Natuurlijk kun je ook zaken meten als: het effect op verzuim, de toename in gebruik van applicaties, het aantal vaardigheidsgerelateerde meldingen helpdesk. Of het aantal inlogs en de aantallen medicijnfouten in de Medimo. Je kunt tellen of het aantal vragen aan de helpdesk afneemt of kijken of het effect heeft op de medewerkerstevredenheid. Maar het is allemaal lastig meetbaar omdat er zoveel verschillende factoren in meespelen.

Daarnaast kun je meten wat het startniveau is van je medewerkers om een aanpak te rechtvaardigen, of bijvoorbeeld om te bepalen hoeveel digicoaches je nodig hebt. Dat is de nulmeting. Je kunt ook een tweede meting doen na een jaar of anderhalf jaar om eventuele groei in vaardigheden of vertrouwen te meten. Nadeel van een tweede meting in de zorg is dat de respons in de nulmeting meestal geen 100% is en het verloop in de zorg vrij groot is. De zorgmedewerker is ook niet echt dol op het invullen van testen, zeker niet een tweede keer. Je tweede onderzoeksgroep kan er dus behoorlijk anders uitzien dan je eerste. Omdat medewerkers geneigd zijn zichzelf wat hoog te scoren is de groeimogelijkheid bij een tweede meting bovendien ook beperkt.

Test of toets?
Voor wat betreft de vaardigheden heeft de coalitie Digivaardig in de zorg al voor 5 zorgsectoren een lijst gemaakt met vaardigheden die onmisbaar zijn voor uitvoerende zorgprofessionals in die sector. Die lijst is samen met de mensen uit het werkveld ontwikkeld en verwerkt in een online zelfscan die ook geprint kan worden en op papier kan worden gescoord.

De medewerker beoordeelt hierbij zijn of haar eigen digitale vaardigheden. Het vraagt echter veel duwen en trekken om tot een hoge respons te komen. (Uit ervaring blijkt dat het helpt als je de tijd voor het invullen van de lijst in het rooster inplant of een cadeaubon aanbiedt in ruil voor het invullen). Het is heel belangrijk dat je duidelijk maakt dat de uitkomsten alleen naar de persoon zelf gaan en dat in het collectieve rapport geen namen van medewerkers te zien zijn. De digistarter is doodsbang voor gevolgen van lage cijfers en ook de gemiddelde medewerker gaat (bewust of onbewust) hoger scoren als duidelijk is dat de lijst ook naar de manager of projectleider gaat.

Een universeel probleem bij zelfonderzoek doen. Maar het geeft wel blijk van zelfvertrouwen en dat kunnen we niet genoeg hebben achter de computer.

Toetsen dan?
Je kunt er voor kiezen om in plaats van een zelfscan een speciale toets te ontwikkelen waar een vaardigheidsscore uit komt. Het voordeel is dat je feitelijke informatie hebt in plaats van een zelfinschatting.  Het nadeel is dat de digitale starter dit ongelooflijk eng vindt om te doen en dat veel organisaties toetsen niet vinden passen binnen hun visie en beleid. Het is ook behoorlijk ingewikkeld om een toets te maken die alles meet wat je wilt meten. Zeker als je bedenkt dat medewerkers met gemiddeld 17 applicaties moeten werken en dat digitale vaardigheden naast applicaties nog 7 thema’s kent.

Soorten onderzoek
Ik kies voor testen, Ik neem jullie mee in een aantal mogelijkheden voor het testen en noem de, naar mijn mening, belangrijkste voordelen en nadelen.

1. Zelfscan met een onderzoeks-subsite van Digivaardigindezorg.nl
Je richt tegen een vergoeding een subsite in en kunt onderzoek doen binnen je eigen organisatie met de bestaande zelfscan van jouw sector. Je krijgt dan de geanonimiseerde resultaten van jouw organisatie. Lees hier meer over het inrichten van een subsite.  Omdat zo’n onderzoekssubsite op maat wordt gemaakt door onze webbouwer, zijn er wel kosten aan verbonden.

Voordelen:

• Je onderzoeksopzet is al af en de rapporten worden automatisch gegenereerd
• je kunt met één druk op de knop gedetailleerde gegevens krijgen van teams, afdelingen, leeftijdsgroepen en opleidingsniveaus
• je kunt indien nodig zelf vragen toevoegen of termen wijzigen.

Nadelen:

•  het kost medewerkers veel tijd om in te vullen (15-30 minuten)
• en het kost veel leuren en trekken om het medewerkers voor een bepaalde datum te laten doen

2. Zelfscan met een eigen onderzoekstool zoals Microsoft Forms, Qualtrics, Survey Monkey enz. 

Voordelen:

• tools met mooie rapporten die gratis zijn  (behalve Qualtrics)
• je kunt je eigen vragen formuleren met vaardigheden die jij belangrijk vindt en de eigen namen van applicaties.

Nadelen:

• kost veel tijd om de vragen te bedenken en erin te zetten
• het kost veel tijd om in te vullen (15-30 minuten) en het kost veel energie om het medewerkers voor de deadline te laten doen

3. Kwalitatief onderzoek met interviews
Je houdt interviews met digitale starters, digivaardige professionals, managers of digicoaches

Voordelen:

• je komt aan veel gedetailleerde informatie en kunt vragen stellen over meer dan alleen vaardigheden
• minder tijdrovend voor medewerkers

Nadelen:

• het vraagt veel uren van een interviewer voor gesprekken, uitwerken en schrijven rapport
• je hebt geen cijfers over de stand van zaken van de vaardigheden van je medewerkers

4. Een combinatie van kwalitatief en kwantitatief
Je kunt 2 en 3 natuurlijk combineren! Ik vind dit persoonlijk de mooiste combinatie. Je kunt mensen vanuit verschillende rollen spreken voor een breder perspectief.  Het geeft je vaak meer inzicht en duiding als je hier met mensen over in gesprek gaat. Zij geven kleur aan de cijfers, waardoor deze cijfers waardevoller worden omdat je deze beter kunt interpreteren.

Je kunt in de gesprekken ook meteen draagvlak creëren voor je aanpak en vragen wat medewerkers nodig hebben, waar ze last van hebben. Meestal levert dat een enorme bijvangst op. Zie als voorbeeld het rapport van Utrechtzorg 2020. Zie ook de eindmeting die Utrechtzorg heeft gedaan in 2021. 

5. Zelfscan begeleid invullen met de digicoach zonder onderzoek
In deze optie verplicht je mensen niet tot het invullen, maar zet je de zelfscan meer in als hulpmiddel.

Voordelen:

• onder begeleiding van een digicoach worden eerlijke en juiste antwoorden gegeven en krijg je een echt goed beeld van het beginniveau.
• digitale starters vinden het heel fijn om het samen te doen

Nadelen:

• erg tijdrovend terwijl het toch vrijblijvend is
• je hebt geen collectieve gegevens van je organisatie

6. Schatting management/ teamleiders
Heb je geen behoefte aan wetenschap maar aan een grof beeld van de beginsituatie? Vraag je managers/ teamleiders/coaches dan aan hoeveel mensen hij/zij leidinggeef en hoeveel daarvan tot de door jou bijgevoegde omschrijving van een digitale starter behoren? Of hoeveel van zijn/haar medewerkers een 6 of hoger scoren op de door jou gemailde thema’s?

Voordelen:       

• snel klaar
• geen belasting zorgpersoneel

Nadelen:

• het is een schatting
• niet elke manager heeft daar goed zicht op.

7. Onderzoek aan de hand van persona’s
In samenwerking met Vilans is er een zelfscan ontwikkeld ‘Welk digitype ben jij’ waarin het niet alleen gaat om digitale vaardigheden maar ook om houding, gedrag en vertrouwen in technologie. De uitkomst geeft aan welke van de 4 ‘digitypes’ de medewerker is: analoge idealist, de aarzelende technologiegebruiker, de digivaardige professional, de digitale enthousiasteling. Het kan prettig zijn voor de medewerker om zichzelf te herkennen in een type. Ook een mooi startpunt voor een discussie binnen het team. Vilans geeft tips voor het faciliteren, motiveren en informeren van elk type.

Suzanne gelukkig maken
In de hoop (en verwachting) dat bovenstaand kopje prikkelt. Waar ik blij van zou worden? Ik zou heel graag een onderzoeksrapport lezen over de tijdwinst die het oplevert voor zorgprofessionals. Er is in 2012 (Van Deursen & van Dijk, Universiteit Twente) al een onderzoek gedaan met veelbelovende resultaten. Dat is echter al weer een tijd terug en werd niet in de zorg uitgevoerd.
Ik heb wel eens een berekening gemaakt waarbij iemand die een half uur langer deed over rapporteren bij een contract van 25 uur een tijdwinst kon behalen van 100,8 uur per jaar!

Maar meten is weten. Dus wie pakt de handschoen op?