Cognitieve prestatietool

Hoe bereid je het uitvoeren van de cognitieve prestatietool voor?

Stap 1: Bepaal bij welk vak je de onderwijsvernieuwing wilt doorvoeren. Welke toetsresultaten wil je gebruiken om te bepalen of de onderwijsvernieuwing effect heeft?

Stap 2: Bepaal hoelang je de onderwijsvernieuwing wilt uitvoeren voordat je de effecten ervan gaat meten. Bijvoorbeeld gedurende één hoofdstuk van een bepaald vak.

Stap 3: Bepaal wie de interventiegroep vormt en wie de controlegroep. Hoe groter de interventiegroep en de controlegroep, hoe betrouwbaarder de analyse zal zijn. Ideaal gezien lijkt de controlegroep zoveel mogelijk op de interventiegroep. Denk aan leerjaar en de docenten die lesgeven. De controlegroep ondergaat geen onderwijsvernieuwing terwijl de interventiegroep dit wel doet. Het beste is als de controlegroep ongeveer even groot is als de interventiegroep (bijvoorbeeld elk twee klassen).

Mocht de onderwijsvernieuwing bij alle klassen van een jaarlaag tegelijk ingaan, kan als controlegroep eventueel de toetsscores van een jaar eerder gebruikt worden. Dan kun je bijvoorbeeld de toetsscores van de huidige klassen 4 afzetten tegen de toetsscores van de klassen 4 van vorig schooljaar.

Stap 4: Zoek twee toetsen uit en stem deze af op de periode van de onderwijsvernieuwing. Eén toets geldt als voormeting en neem je af voor het begin van de onderwijsvernieuwing. De tweede toets geldt als nameting en neem je af na de onderwijsvernieuwing. Toetsen van hoofdstuk 1 en 2 over de grammatica van Engels kunnen bijvoorbeeld als voor- en nameting gebruikt worden, maar een begrijpend lezen toets en een grammaticatoets niet, omdat deze resultaten niet met elkaar kunnen worden vergeleken.

Hoe voer je de cognitieve prestatietool uit?

Stap 1: Neem de eerste toets af bij alle leerlingen, dus zowel in de interventiegroep als in de controlegroep, voordat je begint met de onderwijsvernieuwing. De resultaten op deze toets gelden als de voormeting.

Stap 2: Sla de toetsresultaten van de leerlingen op een beveiligde plek op en zorg dat je noteert welke resultaten van leerlingen in de controlegroep zijn en welke van leerlingen in de interventiegroep.

Stap 3: Voer de onderwijsvernieuwing uit bij één van de twee groepen.

Stap 4: Neem na afloop van het uitvoeren van de onderwijsvernieuwing de tweede toets af. De resultaten van deze toets gelden als je nameting.  

Stap 5: Sla de toetsresultaten van de leerlingen op een beveiligde plek op en zorg dat je noteert welke resultaten van leerlingen in de controlegroep zijn en welke van leerlingen in de interventiegroep.

Hoe analyseer je de cognitieve prestaties?

Het analyseren van de cognitieve prestaties van leerlingen in de interventiegroep en de controlegroep geeft inzicht in de effectiviteit van de ingevoerde onderwijsvernieuwing. Wanneer leerlingen in de interventiegroep betere prestaties behalen na de invoering van de onderwijsvernieuwing dan de leerlingen in de controlegroep, weet je dat de onderwijsvernieuwing effectief is.

Stap 1: Voer de toetsresultaten van de voor- en nameting in het Excel-format in. Let hierbij goed op dat je de toetsresultaten van de leerlingen in de controlegroep invult bij groep 1 en de toetsresultaten van de leerlingen in de interventiegroep bij groep 2. Voer alle toetsresultaten van de voormeting in de eerste kolom in en de toetsresultaten van de nameting in de tweede kolom. 

In het Excel-format kunnen cijfers van 1 tot en met 10 ingevoerd worden met maximaal één decimaal. Als je een cijfer met een decimaal invoert doe dit dan met een komma en niet met een punt (dus: 8,5 en niet 8.5).

Download het Excel-Format. 

Stap 2: Controleer de ingevoerde data. Let hierbij op:

• Rare cijfers (heel hoog of heel laag). Zijn deze cijfers juist ingevoerd?
• Leerlingen die een toets dubbel hebben gemaakt (neem voor elke leerling per toets één score mee).
• Neem alleen leerlingen mee die zowel de toets van de voormeting als de toets van de nameting hebben gemaakt. Leerlingen die bijvoorbeeld geen toets van de voormeting hebben gemaakt, kunnen de resultaten van de nameting onjuist beïnvloeden. Laat daarom van deze leerlingen alle scores weg uit het invoerbestand.

Stap 3: De toetsresultaten worden in het Excel-format automatisch geanalyseerd op het tabblad ‘Resultaten’. Zo worden de gemiddelde scores en standaardafwijkingen van de scores van beide groepen berekend (in de tabel ‘Gemiddelde en standaardafwijking per groep en meting’) en kan worden gekeken in hoeverre de groepen van elkaar verschillen (in de tabel ‘Vooruitgang in score per groep’).

Wat vertellen de resultaten jou?

Stap 1: In het resultatentabblad van het Excel-format wordt weergegeven of de resultaten van de controlegroep en de interventiegroep op de eindmeting significant van elkaar verschillen. Dat wil zeggen dat het niet aannemelijk is dat de verschillen tussen de groepen zijn ontstaan op basis van toeval. Je kunt hierdoor uitspraken doen over de werking van de onderwijsvernieuwing.

Belangrijk is om hiervoor naar de tabel ‘Verschilt de vooruitgang van de interventiegroep en controlegroep significant?’ te kijken. Als het cijfer rood is, is er geen significant verschil. Als het cijfer groen is, is er wel een significant verschil. We weten nu echter nog niet of de interventiegroep meer vooruit is gegaan in hun toetsscore of juist de controlegroep. Zie hiervoor stap 2.

Stap 2: Bekijk de vooruitgang in scores van beide groepen. Je verwacht van tevoren dat de gemiddelde vooruitgang in scores van leerlingen in de interventiegroep hoger zal zijn dan bij leerlingen in de controlegroep. Toch is het belangrijk om dit te controleren, zodat je hier zeker van kunt zijn. Is de vooruitgang van de interventiegroep hoger dan bij de controlegroep én is dit verschil significant? Dan kun je met grote zekerheid zeggen dat de interventiegroep tijdens de onderwijsvernieuwing beter is gaan presteren in vergelijking met de controlegroep.

Stap 3: Denk na over de volgende vragen: Kan het verschil tussen de interventiegroep en de controlegroep op een andere manier verklaard worden dan door de onderwijsvernieuwing? Zijn er verschillen tussen de condities van de klassen opgetreden gedurende de looptijd van de interventie? Heeft één van de klassen bijvoorbeeld minder les gehad door uitval van een docent? Of heeft één klas leerlingen die beter opletten tijdens de lessen?

Wat kun je vervolgens doen met de resultaten?

1. Als is gebleken uit de resultaten dat de onderwijsvernieuwing positieve resultaten oplevert, kun je met je team en de directie bespreken of en hoe deze onderwijsvernieuwing breder kan worden ingevoerd in de school.
2. Als het onderzoek geen significante resultaten heeft opgeleverd, kan het zinvol zijn verder onderzoek te doen naar waarom deze resultaten niet gevonden zijn. Bijvoorbeeld door het uitvoeren van observaties of het interviewen van docenten en leerlingen. Deze resultaten kun je gebruiken om de onderwijsvernieuwing verder te verbeteren.

Bekijk de interviewtool.