Recentelijk is het nieuws bekendgemaakt dat de CELF-4 niet als voldoende is beoordeeld door de Commissie Testaangelegenheden Nederland, beter bekend als COTAN. Als uitgever van de CELF-4 begrijpen wij dat u met vragen zit naar aanleiding van deze berichtgeving. Wij willen u laten weten dat wij de situatie serieus nemen en dat we stappen ondernemen om tegemoet te komen aan de belangrijkste zorg die klanten uiten:

CELF-4-NL kan niet (als enig toetsinstrument) worden gebruikt voor indicatiestelling Cluster 2 zolang er geen voldoende beoordeling is van COTAN.

Wat gaat Pearson doen met de kritiek/beoordeling van de COTAN?

Onderstaand vindt u een uiteenzetting van onze stappen. Die bestaan onder andere uit het verhelderen van de complexe situatie en welke acties wij ondernemen om
bevredigend resultaat voor alle betrokken partijen te bewerkstelligen. 

Wij betreuren de kritiek t.a.v. de normen. Verderop leggen we kort uit wat onze tegenwerpingen zijn. Niettemin zijn wij onlangs gestart met een aanvullend onderzoek om aan de kritiek van de COTAN t.a.v. de groepsgrootte en representativiteit tegemoet te komen. Dit betekent concreet dat wij op dit moment extra normgegevens van Nederlandse kinderen aan het verzamelen zijn. De belangrijkste drijfveer hierbij is om u als klant in staat te stellen de CELF te gaan gebruiken: bij een voldoende COTAN-beoordeling kan de test worden ingezet voor bijvoorbeeld indicatiestelling.

Naar onze verwachting zal dit aanvullend onderzoek echter niet leiden tot significante verschillen t.o.v. de huidige versie van de test. Daarnaast zullen wij extra bewijsvoering aanleveren m.b.t representativiteit van de normen.

Conclusies van het aanvullend onderzoek en de extra bewijsvoering zullen aan de herziene handleiding worden toegevoegd. Deze handleiding zal gratis onder onze klanten, die een CELF-4-NL complete set of handleiding hebben aangeschaft, worden verspreid. Naast bovenstaande aanvullingen zal de huidige handleiding op enkele punten aangepast worden. In afwachting hiervan kunt u hier al de errata vinden.

Korte samenvatting van het COTAN-oordeel en ons antwoord hierop:
Het COTAN-oordeel is op de meeste onderdelen Voldoende tot Goed, maar de CELF scoort Onvoldoende op het belangrijkste onderdeel: de normen. In reactie op de beoordeling heeft Pearson een formeel verweer geschreven, met een weerlegging van de kritiek op essentiële punten.De voornaamste kritiekpunten van de COTAN over de normen en ons antwoord hierop vatten we hieronder kort samen:

De volledige beoordeling van de COTAN luidt als volgt:

I.    Uitgangspunten bij de testconstructie: Goed
IIa. Kwaliteit van het testmateriaal: Voldoende
IIb. Kwaliteit van de handleiding: Goed
III.  Normen: Onvoldoende*
IV.  Betrouwbaarheid: Voldoende
Va. Begripsvaliditeit: Voldoende
Vb. Criteriumvaliditeit: Onvoldoende*

Reden bij onvoldoende voor *
III. De normen zijn niet representatief en/of de representativiteit is niet te beoordelen; sommige normgroepen zijn te klein; de normtabellen voor 16-18-jarigen zijn louter door interpolatie tot stand gekomen.
Vb. Te weinig onderzoek

Beoordeling van de normen
1. Groepsgrootte
COTAN: Sommige normgroepen zijn te klein. Bij tests voor relatief minder belangrijke beslissingen op individueel niveau dient de subgroepsgrootte minimaal 70 te zijn om een beoordeling 'voldoende' te krijgen.
Pearson: Wij voldoen aan deze eis: de omvang van de normgroepen per leeftijd varieërt tussen 77 en 123 kinderen (Nederland en Vlaanderen samen). Wij hebben bij de normering gebruik gemaakt van een compleet uitgewerkt regressiemodel (zogeheten “continuous norming”), waar alle gegevens van leeftijden in hun geheel worden gebruikt. Daardoor zijn gegevens per leeftijdsgroep afzonderlijk van minder grote betekenis, en kunnen bepaalde leeftijdsgroepen niet zonder meer worden uitgelicht. Informatie over een leeftijdsgroep wordt immers niet alleen uit die leeftijdsgroep gehaald, maar wordt verkregen uit de prestaties van kinderen van alle leeftijdsgroepen. Ook worden bij kleinere stappen (van bijv. zes of drie maanden) de verschillen binnen de betreffende leeftijdsgroepen kleiner, wat tot een afname in noodzakelijke groepsgrootte leidt. Ter illustratie: bij tests met een vergelijkbare onderzoeksopzet met normen per één of twee maanden (of zelfs per dag) zijn de leeftijdsgroepen ook niet twaalf of zes (of driehondervijfenzestig) keer zo groot als bij twaalfmaandsnormen.

2. Representativiteit
COTAN: Er kan niet worden beoordeeld of het terecht is dat er gezamenlijke normen voor Vlaanderen en Nederland gemaakt zijn.
Pearson: Het vooronderzoek is uitdrukkelijk zodanig opgezet dat antwoord verkregen kon worden op de vraag of gemeenschappelijke normen verantwoord zouden zijn.
We zijn ervan uitgegaan dat er sprake is van één gemeenschappelijke taal. Vlaams als aparte taal bestaat niet en er wordt uitgegaan van de Standaardtaal: het Nederlands zoals dat in Vlaanderen en Nederland op school wordt onderwezen. Er is uiteraard wél sprake van regionale verschillen qua dialect. Deze verschillen hebben in de CELF echter geen betekenis: door regionaal bepaald taalgebruik beïnvloede antwoorden, die kunnen afwijken van de Standaardtaal, worden geaccepteerd en spelen geen rol in de scoring.

Resultaten uit het vooronderzoek:
 - Geen verschillen tussen jongens en meisjes
 - Geen verschillen tussen Vlaamse en Nederlandse kinderen

Op grond van deze bevindingen zijn gezamenlijke normen ontwikkeld voor jongens en meisjes en Nederlandse en Vlaamse kinderen. Er bestond geen aanleiding om nadere analyses uit te voeren over eventuele verschillen wat betreft p-waarden en alpha’s met het oog op mogelijke bias. Bij andere tests met een vergelijkbare opzet zijn in de handleiding ook geen aparte gegevens vermeld over mogelijke verschillen tussen deelpopulaties (Nederlandse en Vlaamse kinderen, jongens en meisjes, rijk en arm etc.). Slechts voor de groep allochtone kinderen zijn afzonderlijke gemiddelden vermeld.

3. Extrapolatie
COTAN: Voor de doelgroep 16-18 jarigen zijn geen gegevens verzameld, maar de normgegevens zijn naar deze groepen geëxtrapoleerd.
Pearson: Extrapolatie is een gangbare techniek binnen het testonderzoek om testresultaten buiten de range van meetgegevens te voorspellen. De vraag is hier of extrapolatie verantwoord is. Ontwikkeling, dus ook taalontwikkeling, kan men zich voorstellen als een curve, waarbij prestaties (bijv. lengte; gewicht; score op een CELF-subtest) toenemen naarmate de leeftijd toeneemt. De curve vertoont de eerste jaren een sterk stijgende lijn, die in latere jaren steeds meer afvlakt. Extrapolatie is verantwoord als de gemeten CELF-scores hetzelfde gelijkmatige ontwikkelingspatroon vertonen. In dit opzicht werpt een blik op de normtabellen snel uitkomst, waaruit de afname van de scoreverschillen tussen 11 en 16 jaar duidelijk wordt. Met andere woorden: de verschillen tussen de groepen zijn zeer regelmatig. Door deze kleinere verschillen kan met grotere zekerheid geëxtrapoleerd worden, doordat de verschillen afvlakken en dit patroon zich voortzet. Gegeven dit scoreverloop achten wij extrapolatie verantwoord.

Aanmelden voor de nieuwsbrief