Herken je deze uitspraak? Waarschijnlijk wel. Evaluatiemethoden die heel vaak gebruikt worden, maar eigenlijk heel weinig zeggen over het succes van je leeroplossing en de impact ervan bij je lerenden of medewerkers.
Uiteraard is het heel leuk dat een training, opleiding of andere leerervaring zo goed onthaald werd. Maar wat zegt die 80% op de kennisquiz precies? En wat betekenen die 4 sterren concreet?
Een kennisquiz werkt niet
De score op een kennisquiz zegt niets over de transfer naar de werkvloer. Gebruiken je medewerkers ook effectief wat ze leerden tijdens je opleiding? Het is niet omdat je iets weet, en dus een hoge score haalde, dat je het ook kunt toepassen in de praktijk. En is dat niet wat je wil bereiken met een opleiding?
Houd hierbij ook rekening met de vergeetcurve van Ebbinghaus. Hermann Ebbinghaus is een Duitse psycholoog die tijdens zijn carrière onderzoek deed naar het geheugen. Zijn vergeetcurve vertelt ons dat we bepaalde informatie heel snel terug vergeten, als er op korte termijn niets mee gedaan wordt. Zoals een opfrissing, oefening of toepassing in de praktijk of op de werkvloer.
Zo wordt een kennisquiz vaak afgenomen meteen nadat een deelnemer of medewerker de informatie heeft doorgenomen. Eigenlijk gaat dit puur na hoeveel informatie een medewerker onthouden heeft op korte termijn. Maar weet hij die informatie na drie weken ook nog? De kans is heel groot dat ze deze alweer vergeten zijn… Zonde van je training, toch?
Sterren zeggen niets
Het staat in de sterren geschreven, maar niet als het over de kwaliteit van je leerervaring gaat. Want wat zeggen die 4 sterren eigenlijk? Zo geeft Emma 5 sterren, want ze vond de inhoud heel erg boeiend. Jef gaat voor 4 sterren, want hij vond de dame die kwam spreken wel aangenaam om naar te luisteren. En Marthe duidt er 3 aan, want er waren geen vegetarische broodjes tijdens de lunchpauze. Zo zie je dat sterren geven iets subjectief is en iedereen hier een eigen betekenis aan geeft.
Het geven van sterren is iets typisch voor smile sheets, zoals we ze ook wel noemen in L&D-land. Dit zijn evaluatieformulieren met standaardvragen (bv. ‘wat vond je van de opleiding?’) waarbij men meestal op een schaal van 1 (= helemaal niet akkoord) tot 5 (= helemaal akkoord) antwoord geeft of waarbij men sterren aanduidt. Vaak zijn de vragen op smile sheets vaag geformuleerd. Elke deelnemer interpreteert ze op een andere manier, waardoor ze uiteindelijk niet veel zeggen over de kwaliteit van je opleiding.
Wist je trouwens dat onderzoek aantoont dat mensen slecht zijn in het inschatten hoe goed ze iets geleerd hebben? Nog een reden om extra voorzichtig te zijn met vragen als: ‘Heb je veel geleerd van de training?’.
Samengevat:
Evaluatiemethoden zoals kennistesten en smile sheets, zeggen dus weinig over het resultaat en de impact van een training, opleiding of andere leerervaring. Maar wat dan wel?
5 tips die wél werken om je leerervaringen te evalueren
Evalueren doe je best niet met 1 methode en op 1 moment. Door op verschillende niveaus en momenten te evalueren, krijg je een completer beeld van de impact van een leerervaring.
Tip 1: KPI's voor de organisatie
Key performance indicators, of KPI’s voor de vrienden, geven de toonbare effecten weer voor een organisatie. In dit geval het effect van een bepaalde leerervaring. Zorg dus altijd dat het doel van een opleiding of andere leerervaring duidelijk is. Probeer niet te vervallen in de klassieke leerdoelen zoals we ze allemaal kennen.
Bv. Onze medewerker kan de 3 kenmerken van onze nieuwe salestechniek opsommen.
Want het is niet omdat medewerkers die kenmerken kunnen opsommen, dat ze deze ook effectief gebruiken in de praktijk.
Een opleiding moet een probleem oplossen. Als alles perfect is, bied je waarschijnlijk geen opleiding aan. Dus maak duidelijk:
- Wat is het probleem?
- Hoe zie je dat het probleem is opgelost?
Bijvoorbeeld:
Probleem: niet genoeg sales
Doel: 5% stijging in sales van service A tegen het 4de kwartaal
Een doel dat smart geformuleerd is, is:
- Specifiek
- Meetbaar
- Acceptabel
- Realistisch
- Tijdsgebonden
Een smart-geformuleerd doel geeft je een algemeen beeld over de effectiviteit van de leerervaring. Wat brengt die investering in de opleiding op voor de organisatie? Voor welke verbeteringen zorgt het?
Maar wat als je enkel dit zou evalueren en je blijkt slechte resultaten te halen? Dan tast je in het duister over hoe dat komt. Welk deel van de opleiding was niet duidelijk? Welke skills hebben de medewerkers (nog) niet helemaal onder de knie? Of misschien ligt het niet aan je opleiding en moet je het antwoord ergens anders zoeken?
Daarom evalueer je ook op competentieniveau.
Tip 2: Competenties evalueren, want context is key
Evalueer niet op pure kennis, maar op competentie(s). Slaagt een lerende erin om de nieuwe kennis en vaardigheden effectief te gebruiken? Maken ze de juiste beslissingen? Gaan ze over op de juiste actie? Verlies hier nooit de context uit het oog. Geef lerenden situaties die ze tegenkomen op de werkvloer en ga na hoe ze het zouden aanpakken. Slagen ze erin het geleerde toe te passen?
Bijvoorbeeld:
- Digitaal branching-scenario van een verkoopgesprek waarbij de lerende op verschillende punten in het gesprek keuzes maakt aan de hand van multiple choice vragen. Afhankelijk van een bepaalde keuze, verloopt het gesprek anders. Maken ze goede keuzes, koopt de klant. Maken ze minder goede of slechte keuzes, ontstaat er twijfel bij de klant en koopt die misschien niet. Lerenden ondervinden zo de gevolgen van hun keuzes.
- Rollenspel met een collega of gespecialiseerd acteur.
- Observatie van een echt verkoopgesprek.
Tip 3: Evalueer op verschillende momenten
Denk even terug aan de vergeetcurve van Ebbinghaus. We vergeten vrij snel wat we geleerd hebben. Evalueer dus niet alleen na de opleiding. Laat er wat tijd over gaan en kom er na 1 à 2 weken nog eens op terug. Gebruik de resultaten ook niet als harde evaluaties, maar zie ze als leermomenten. Waar loopt een medewerker nog vast? Waar kan hij nog hulp bij gebruiken? Wat moet nog extra ingeoefend worden? Zie het als een continu proces van evalueren en bijsturen.
Tip 4: Gebruik performance-focused learner surveys
Will Thalheimer schreef een volledig boek over performance-focused learner surveys. Zo interessant dat het een van mijn favoriete boeken is. Hij leert je hoe je bevragingen maakt waar je echt iets aan hebt. Je kan performance-focused learner surveys zien als een waardig alternatief voor smile sheets. Je stelt de vragen op zo’n manier dat deelnemers concrete feedback geven over je opleiding. Die informatie gebruik je vervolgens om je opleiding te verbeteren en te finetunen. Voel je de perfecte opleiding al komen?
Nog een voordeel: je kan ze gebruiken als nudgetechniek. Door er impliciete signalen in te steken leer je de doelgroep iets bij over wat belangrijk is bij leren.
Bijvoorbeeld:
Welke van de volgende stellingen zijn waar als het gaat over de kansen die je kreeg om de salestechnieken te oefenen?
- We kregen geen tot amper oefenkansen.
- We kregen te weinig kansen om te oefenen.
- We kregen meerdere oefenkansen meteen nadat we de salestechieken leerden.
- We kregen meerdere oefenkansen een uur of meer na de opleiding.
- We kregen meerdere oefenkansen een dag of meer na de opleiding.
Tip 5: Ga voor LTEM
Wil je je grondig verdiepen in evaluatie van leeroplossingen? Dan is mijn ultieme tip: Verdiep je in het LTEM (learning transfer evaluation model) van Will Thalheimer. Daarnet had ik het al even over hem. Eigenlijk is hij de guru wat betreft evalueren van leerervaringen. Hij doet al jaren research rond evalueren en werkte op basis daarvan het LTEM uit. In dat model beschrijft hij 8 niveaus voor evaluatie. Het model biedt goeie handvaten om er praktisch mee aan de slag te gaan.
In zijn boek of in dit rapport lees je er meer over. Een must-read voor iedereen die met leren bezig is.
