Réttmæti og áreiðanleiki greindarprófa: hversu nákvæm eru próf á netinu?

Inngangur að réttmæti og áreiðanleika prófa

Þegar greindarpróf er metið ráða tvö lykilhugtök mestu um gæði þess: réttmæti og áreiðanleiki. Réttmæti snýst um hvort prófið mæli það sem því er ætlað að mæla, en áreiðanleiki snýst um hversu stöðugar niðurstöðurnar eru. Ef þú skilur þessi hugtök áttu auðveldara með að meta nákvæmni og notagildi niðurstaðna úr greindarprófum, hvort sem þær koma úr prófum á netinu eða faglegu mati.

Hvað er réttmæti prófa?

Réttmæti prófs svarar spurningunni: „Mælir þetta próf í raun og veru greind?“ Réttmætt greindarpróf á að meta vitræna getu af nákvæmni og spá fyrir um raunverulegan árangur sem tengist greind.

Tegundir réttmætis

Hugsmíðaréttmæti

Hugsmíðaréttmæti segir til um hvort prófið mæli hið fræðilega hugtak greind. Það er staðfest með:

• Fylgni við önnur viðurkennd greindarpróf
• Þáttagreiningu sem sýnir að prófin mæla greindarþætti
• Fræðilegu samræmi við greindarlíkön

Forspárréttmæti

Forspárréttmæti mælir hversu vel niðurstöður prófs spá fyrir um framtíðarárangur, til dæmis:

• Námsárangur
• Frammistaða í starfi
• Menntunarstig
• Velgengni á starfsferli

Rannsóknir sýna að fylgni greindarvísitölu við námsárangur er yfirleitt 0.4-0.6 og við frammistöðu í starfi 0.2-0.4, sem bendir til hóflegs en merkingarbærs forspárréttmætis (Schmidt & Hunter, 2004).

Samtímaréttmæti

Samtímaréttmæti mælir hversu mikil fylgni er milli niðurstaðna prófs og annarra mælinga sem gerðar eru á sama tíma, til dæmis:

• Önnur greindarpróf
• Mat kennara
• Frammistöðumat

Hvað er áreiðanleiki prófa?

Áreiðanleiki snýst um stöðugleika: færðu svipaða niðurstöðu ef þú tekur prófið oftar en einu sinni? Áreiðanlegt próf gefur stöðugar niðurstöður sem hægt er að endurtaka.

Tegundir áreiðanleika

Endurprófunaráreiðanleiki

Endurprófunaráreiðanleiki mælir stöðugleika milli endurtekinna fyrirlagna. Fagleg greindarpróf sýna yfirleitt fylgni upp á 0.85-0.95 þegar þau eru tekin aftur eftir nokkrar vikur, sem bendir til mikils áreiðanleika.

Innra samræmi

Innra samræmi mælir hversu vel ólíkar spurningar prófsins mæla sömu hugsmíð. Það er yfirleitt metið með alfastuðli Cronbachs og gildi yfir 0.8 teljast góð.

Matsmannaáreiðanleiki

Í prófum þar sem stigagjöf er huglæg mælir matsmannaáreiðanleiki samræmi milli ólíkra matsmanna. Flest nútímagreindarpróf nota hlutlæga stigagjöf, sem dregur verulega úr þessum vanda.

Réttmæti og áreiðanleiki faglegra greindarprófa

Viðurkennd fagleg greindarpróf á borð við WAIS og Stanford-Binet hafa gengist undir ítarlegt réttmætismat:

• Áratuga rannsóknir: Prófin hafa verið rannsökuð í 50-100 ár eða lengur
• Stór viðmiðunarúrtök: Stöðluð á þúsundum þátttakenda
• Ritrýni: Birt í fræðitímaritum og yfirfarin af sérfræðingum
• Klínískt réttmætismat: Notuð í klínísku starfi og skólastarfi
• Mikill áreiðanleiki: Endurprófunarfylgni yfirleitt 0.85-0.95

Greindarpróf á netinu: efasemdir um réttmæti og áreiðanleika

Greindarpróf á netinu standa frammi fyrir ýmsum áskorunum sem geta haft áhrif á réttmæti og áreiðanleika:

Efasemdir um réttmæti

• Takmarkaðar réttmætisrannsóknir: Flest próf á netinu hafa ekki gengist undir strangar réttmætisrannsóknir
• Óþekkt forspárréttmæti: Lítið hefur verið rannsakað hversu vel niðurstöður spá fyrir um raunverulegan árangur
• Sjálfvalin úrtök: Próftakar endurspegla ekki endilega almenning
• Óstýrðar aðstæður: Aðstæður til próftöku heima fyrir eru afar mismunandi
• Hætta á svindli: Engin yfirseta tryggir heiðarlega próftöku

Efasemdir um áreiðanleika

• Lítil gögn um endurprófun: Fá próf á netinu birta áreiðanleikarannsóknir
• Gæði spurninga: Spurningarnar eru ekki endilega jafn vandlega samdar og í faglegum prófum
• Reiknirit fyrir stigagjöf: Lokaðar stigagjafaraðferðir eru ekki endilega réttmætisprófaðar
• Umhverfisþættir: Truflanir og hlé geta haft áhrif á stöðugleika niðurstaðna

Hvernig prófin okkar taka á réttmæti og áreiðanleika

Þótt próf á netinu hafi innbyggðar takmarkanir höfum við hannað prófin okkar til að hámarka réttmæti og áreiðanleika:

Ráðstafanir til að tryggja réttmæti

• Próffræðilegar meginreglur: Prófin byggja á viðurkenndum greindarkenningum
• Margar gerðir spurninga: Meta ólík vitræn svið
• Viðmiðsbundin stigagjöf: Frammistaða borin saman við aðra próftaka
• Stækkandi úrtak: Viðmiðin verða dæmigerðari eftir því sem fleiri taka prófin

Ráðstafanir til að tryggja áreiðanleika

• Samræmd fyrirlögn: Staðlaðar leiðbeiningar og tímamörk
• Hlutlæg stigagjöf: Sjálfvirk og óhlutdræg reiknirit
• Tölfræðileg kvörðun: Spurningar vegnar eftir erfiðleikastigi
• Tímamæling: Fylgst er með tímanum sem fer í hverja spurningu og tekið tillit til hans

Mikilvægi úrtaksstærðar

Einn helsti kostur prófa á netinu er möguleikinn á mjög stórum úrtökum. Þegar gagnagrunnurinn okkar stækkar hefur það þessi áhrif:

• Nákvæmari viðmið: Betri mynd af dreifingunni í þýðinu
• Betri hundraðsröðun: Nákvæmari samanburður
• Minni úrtaksskekkja: Stærri úrtök gefa stöðugra mat
• Aukið réttmæti: Betri skilningur á tengslum niðurstaðna við raunverulega frammistöðu

Þetta er verulegur kostur umfram hefðbundna stöðlun, sem byggir yfirleitt á úrtökum 1,000-2,000 einstaklinga. Stækkandi gagnagrunnur okkar gerir kleift að meta þýðið af meiri nákvæmni.

Próf á netinu og fagleg próf borin saman

Mikilvægt er að skilja hvernig próf á netinu standa sig í samanburði við faglegt mat:

Túlkun niðurstaðna úr prófum á netinu

Hafðu eftirfarandi í huga þegar þú túlkar niðurstöður úr greindarprófum á netinu:

• Niðurstöður eru mat: Próf á netinu gefa nálgun en ekki klíníska greiningu
• Notaðu þau í fræðsluskyni: Henta best til að fræðast um vitræna getu, ekki sem opinbert mat
• Taktu mið af samhenginu: Niðurstöður geta verið ólíkar milli prófa á netinu
• Horfðu á mynstur: Stöðug frammistaða í mörgum prófum segir meira en ein stök niðurstaða
• Faglegt mat fyrir mikilvægar ákvarðanir: Notaðu fagleg próf vegna námsúrræða, klínískrar greiningar eða lagalegra mála

Leiðir til að auka réttmæti og áreiðanleika

Til að fá sem nákvæmastar niðurstöður úr prófum á netinu:

• Taktu prófin alvarlega: Komdu fram við þau eins og faglegt mat
• Lágmarkaðu truflanir: Finndu rólegt og þægilegt umhverfi
• Fylgdu leiðbeiningum vandlega: Lestu allar leiðbeiningar áður en þú byrjar
• Taktu fleiri en eitt próf: Berðu saman niðurstöður úr ólíkum prófum
• Hugaðu að ástandi þínu: Taktu prófin þegar þú hefur hvílst vel og ert vel vakandi

Lokaorð

Réttmæti og áreiðanleiki eru undirstaða þess að skilja gæði greindarprófa. Þótt próf á netinu hafi takmarkanir í samanburði við faglegt mat geta vel hönnuð próf á netinu veitt dýrmæta innsýn í fræðsluskyni þegar þau eru túlkuð rétt. Lykilatriðið er að þekkja bæði styrkleika og takmarkanir hverrar matsaðferðar.

Nánari upplýsingar finnur þú í greinum okkar Hvernig greindarpróf eru metin og Tegundir greindarprófa.

Heimildir

• Schmidt, F. L., & Hunter, J. E. (2004). General Mental Ability in the World of Work: Occupational Attainment and Job Performance. Journal of Personality and Social Psychology, 86(1), 162-173.
• Anastasi, A., & Urbina, S. (1997). Psychological Testing (7. útg.). Upper Saddle River, NJ: Prentice Hall.
• Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric Theory (3. útg.). New York: McGraw-Hill.
• Wechsler, D. (2008). Wechsler Adult Intelligence Scale-Fourth Edition (WAIS-IV). San Antonio, TX: NCS Pearson.