Hogyan térnek el a papír-ceruza és számítógépes teszteredmények? - Szisztematikus szakirodalom áttekintés a PISA, TIMSS és PIRLS mérésekkel kapcsolatos tapasztalatokról

Absztrakt

Az Országos kompetenciamérés (OKM) a Magyarországon működő legnagyobb volumenű tanulói teljesítménymérés. A mérés húsz éve méri a közoktatásban tanulókat matematikai eszköztudás és szövegértési képesség területen korábban két (6. és 8.), később három (6., 8. és 10.) évfolyamon. Az OKM első alkalommal 2022-ben – követve a nemzetközi tanulói teljesítménymérések trendjét – valósult meg elektronikus adatfelvételi móddal. A PISA, TIMSS és PIRLS mérések, melyekben Magyarország jellemzően indulás óta részt vesz, a legutóbbi mérési ciklusok során a papír-ceruza teszteket elektronikusra váltották. A fenti négy mérés mindegyikének célja országok vagy évfolyamok összehasonlítása, trendek bemutatása, melyek folytonosságának biztosítása szükségessé teszi a papír-ceruza és a számítógép-alapú mérési módok lehetséges különbségének, azaz a médiahatásnak (mode effect) a vizsgálatát. Mivel az OKM jellemzően a nemzetközi tanulói teljesítménymérések módszertanát követi, feltételeztük, hogy a nemzetközi mérésekhez kapcsolódó médiahatás-vizsgálatok – akár a mérések saját dokumentumai, akár független elemzések – jó információforrások lehetnek a hazai mérés esetében. Kutatásunkban arra kerestük a választ, hogy a PISA, TIMSS és PIRLS mérésekhez kapcsolódóan a hazai térben, a nemzetközi adatbázisokban és a mérések saját dokumentumaiban milyen tudományosan megalapozott eredmények érhetőek el a papír-ceruza és a számítógép-alapú tesztelés közötti különbségekről. Vizsgálatunkat szisztematikus szakirodalomelemzés segítségével végeztük el. A mérések dokumentációja jellemzően 10–20 pontos médiahatást mutatott ki, amit a trendek folytonossága érdekében – néhány ország kivételével – egységes módon vettek figyelembe a trendek kialakításakor. A kritikai vizsgálatok ugyanakkor rámutatnak, hogy a médiahatás eltérő lehet az egyes országokban, ami a trendből levont hamis következtetéshez vezethet.