Pokud chce CERMAT ověřit korektnost hodnocení, ať udělá slepou zkoušku

Věcnosti debaty by velmi pomohlo ověření míry chybovosti současného způsobu externího hodnocení písemných prací.

Praha 8. června 2012 – Mediální výměnu názorů o vhodnosti či nevhodnosti současného způsobu hodnocení písemných prací by mohl ukončit pokus, v němž by CERMAT nechal znovu ohodnotit tisíc studentských slohových prací. Srovnáním s předešlým hodnocením by se ukázala míra shody a tedy i míra chybovosti současného systému. Stejný způsob ověřování se používá při testech PISA.

Ve včerejším rozhovoru pro server iDnes.cz hájil ředitel CERMATu Pavel Zelený korektnost externího hodnocení písemných prací tímto tvrzením:„Nechal jsem si v pondělí předložit necelou stovku opravených prací jako vzorek a neidentifikovali jsme jediné selhání hodnotitele.

Je třeba doufat, že citát nedokládá způsob, jakým se v CERMATu ověřují fakta. Pohled na sto prací, v nichž Pavel Zelený neidentifikoval selhání, opravdu nic neříká o spolehlivosti hodnocení. Samozřejmě ale existuje způsob, jak ji zjistit. Je jím slepá zkouška. Vychází z předpokladu, že při spolehlivém hodnocení by opakované použití stejných pravidel certifikovanými hodnotiteli mělo vést k přibližně stejnému výsledku.

Zkouška by mohla vypadat například tak, že reprezentativní náhodný vzorek hodnotitelů by znovu zhodnotil tisíc náhodně vybraných studentských písemných prací tak, aby žádný z nich nehodnotil znovu práci, kterou už jednou četl. Výsledek by se srovnal s předešlým hodnocením, které by hodnotitelé neznali. Chybovost může vyjadřovat například podíl prací, jejichž rozdílná hodnocení vedou k rozdílné známce.

Tento způsob se používá například při hodnocení spolehlivosti testů PISA, kde se množství rozdílných hodnocení při takovém pokusu, ovšem u jednodušších úloh, pohybuje okolo 5 %.

Tomáš Feřtek, tiskový mluvčí EDUin, řekl: „Je zřejmé, že prostou debatou mezi zastánci a kritiky nového systému hodnocení nelze dojít k jasnému závěru o míře jeho spolehlivosti. Vzhledem k nákladnosti celé státní maturity a školení externích hodnotitelů by navržený pokus stál pouhé drobné. Pokud by bylo zajištěno, že pokus neproběhne v režii CERMATu,šlo by o zkoušku, která by posunula emotivní debatu do věcné roviny podložené čísly.“

Kontakty:

· Tomáš Feřtek, tiskový mluvčí EDUin
e-mail: tomas.fertek@eduin.cz, mobil: 602 687 016

Poznámky pro editory:

  • Starší tiskové zprávy na toto téma najdete ZDE.

  • Navštivte stránky středoškolských učitelů češtiny www.maturita2012sloh.cz.

  • Otevřené dopisy a reakce zastánců i kritiků CERMATu najdete ZDE, ZDE a ZDE.

  • EDUin je obecně prospěšná společnost, která se věnuje problematice vzdělávání a jejíž snahou je informovat veřejnost o všem důležitém, co se děje ve školství a vzdělávání. EDUin, o. p. s. byla založena v květnu 2010 a realizuje a připravuje několik informačních a osvětových projektů. Více se dozvíte na www.eduin.cz.

  • Populární verzi vzdělávacích témat najdete na http://fertek.blog.respekt.ihned.cz.

 

 

 

Google+Tweet about this on TwitterShare on Facebook

Přidat komentář

6 komentářů k "Pokud chce CERMAT ověřit korektnost hodnocení, ať udělá slepou zkoušku"

Upozorňovat mě na
avatar

Seřadit dle:   nejnovějších | nejstarších | nejoblíbenějších
Oldřich Botlík
4 years 3 months ago
Domnívám se dokonce, že jistá mez chybovosti – ať už vyjádřená ve smyslu návrhu EDUinu, nebo jinak – měla být součástí zadání, které Cermat z ministerstva dostal. Je třeba se ptát, zda byla. Pokud nebyla, jde samozřejmě o další velký problém. Pokud ano, jak byla vysoká? A byla dodržena? Chybovost je jedním z ukazatelů, podle něhož se posuzuje tzv. reliabilita testu. U testů, u nichž je tzv. „hodně v sázce“ (říká se jim též high-stakes), musí být odhady chyby provázející měření přiměřeně nízké a musí být mj. součástí číselných výsledků, které mají být interpretovány (například klasifikačním stupněm a navazujícími důsledky… Více »
ver.valikova
ver.valikova
4 years 3 months ago

Jo, já budu raději ten praktik a budu zkoumat jednotlivé slohy. Ať jsem kritik CERMATU nebo nekritik, ty, které jsem viděla, opravoval někdo polenem.

Protože když se ublíží jednomu nevinnému, je systém šejdrem. Jste psal před týdnem…

A znovu! Já tu blbou maturirtu musela ty děti naučit, projít s nimi těmi ismy a styly (prošli/y hezky) a dělat už to nikdy nechci!

Nemyslete na projekty, myslete na češtináře/řky. Nešel byste na kafe? Já Vám to vysvětlím.

Ester Petrilak
Ester Petrilak
4 years 3 months ago
Dobrý den, mám už dlouho po maturitě a dítě ve věku maturanta nemám, přesto nemohu nereagovat – jsem filoložka a lingvistka a už 12 let působím jako akreditovaná zkoušející pro Cambridge Examination Syndicate. Komisařku dělám u zkoušek ústních i písemných. Všichni komisaři se musejí akreditovat každoročně, všechny písemné práce jsou hodnoceny dvěma komisaři (stejně tak i zkoušky ústní hodnotí nezávisle dva komisaři). Všechny hodnotící kritéria jsou jasně a pevně daná, všech pět kritérií včetně dodržení tématu se hodnotí na základě přísně stanovených diskursních kvalifikátorů a subjektivní terminologii jako „banální“ mezi těmito kvalifikátory opravdu nenaleznete. Každoročně musíme absolvovat tzv. standardizační školení,… Více »
Dagmar
4 years 3 months ago
Velmi děkuji paní Petrilak za zajímavý příspěvek. Můj postřeh angličtinářky: Je opravdu nutné, aby byla práce, v níž se student „odchýlí od tématu“, hodnocena skutečně samými nulami? Splnění bodů zadání je samozřejmě důležité, ale ani ve velmi přísně standardizovaných cambridgeských zkouškách se nestává, aby byla celá práce takhle úplně „odstřelena“ kvůli nesplnění jednoho parametru – i taková práce se dále hodnotí (gramatická správnost, rozsah slovní zásoby, jazykový rejstřík atd.). Zdá se mi paradoxní, když naše studentka uspěje v didaktickém testu vyšší úrovně obtížnosti z angličtiny na více než 80 %, stejně tak v ústní části, v písemné práci je pak… Více »
Ester Petrilak
Ester Petrilak
4 years 3 months ago
Odezva na příspěvek paní Daňkové: Máte úplnou pravdu. Nula je úplné odchýlení od tématu za absence snahy zadání pochopit, jakkoli uchopit či smysluplně zpracovat- bez žádných styčných bodů (nebo také například plagiátorství či podvádění – – aby nikdo nemohl říct, že zkouška z cizího jazyka se musí řídit jinými hodnotícími kritérii než zkouška z jazyka rodného, přikládám link na stránku pro lektory, učitele a asistenty na Univerzitě Berkeley v Kalifornii (mezi úspěšné absolventy patřili: Jack London, Timothy Leary a celá řada slavných osobností včetně asi 12 nositelů Nobelovy ceny), takže z hlediska kvality vzdělání se dá, řekněme, předpokládat jistá úroveň.… Více »
Oldřich Botlík
4 years 3 months ago
Paní Petrilak, jsem velmi rád, že jste návrh EDUinu označila za jedinou možnost, jak se dobrat informace o tom, zda jsou případná pochybení při přípravě hodnocení a jeho realizaci opravdu závažná i statisticky. Někteří diskutující označují stránky EDUinu za místo, které „nejvíc rozdmýchávalo atmosféru mediálního lynče…“ (…Cermatu a jeho pracovníků a spolupracovníků). Já jsem naopak uvítal výzvu k provedení slepého testu jako velmi racionální projev snahy získat informace, které jediné mohou celou diskusi o tom, co se vlastně stalo, posunout do věcné roviny. Myslím, že podobně to vnímá také ministr školství prof. Fiala – udělal alespoň na mě takový dojem… Více »
wpDiscuz