Polemika: Ředitel Cermatu nás vodí za nos

Publikujeme polemiku Oldřicha Botlíka s tvrzeními ředitele Cermat Jiřího Zíky týkající se změn v hodnocení maturitních testů. Na článek reagoval Jiří Zíka ZDE, reakci Oldřicha Botlíka na odpověď Jiřího Zíky si můžete přečíst ZDE.

Říkat jen kus pravdy nebo dokonce lhát je mnohem náročnější než říkat celou pravdu. Tedy aspoň pro toho, kdo nechce být přistižen – musí si totiž pamatovat, co kde řekl nebo napsal, aby nemohl být konfrontován s tím, co uvedl dříve. Do průšvihu se tentokrát dostal Jiří Zíka, ředitel Cermatu. Tedy vysoce postavený úředník, kterého si všichni platíme za to, aby nám pomohl získat pravdivé informace o znalostech a dovednostech maturantů.

Na jaře 2015 došlo ke chvályhodné změně v maturitním testu z češtiny. Bylo do něj zařazeno pět úloh, jimž budu s jistou nadsázkou říkat otevřené, neboť maturanti v nich svou odpověď nevybírají z nabídky jako třeba v uzavřených úlohách typu „jedna správná ze čtyř“. Za otevřené úlohy mohli žáci celkem získat až 12 bodů z 50. Nejhorší výsledek, při kterém „ještě projdou“, je 22 bodů – význam i dopad zařazení otevřených úloh je tedy značný.

Ředitel Cermatu ho v tiskové zprávě vydané 26. května 2017 správně charakterizoval těmito slovy: Vřazení otevřených úloh výrazně přispělo k nárůstu reliability (přesnosti měření) testů. Došlo totiž ke snížení náhodného skóru testu, tj. možnosti odpověď tipovat. Test doznal významného nárůstu kvality. Je pochopitelné, že zmíněná opatření posílila zejména diskriminaci testu. Jejich dopad je tak patrný na podílu neúspěšných žáků. Naproti tomu má změna relativ­ně velmi malý vliv na průměrnou úspěšnost, myšleno průměrný procentní skór. Nemyslím si, že by J. Zíka něco namítal proti drobnému upřesnění: došlo tak ke snížení možnosti úspěšně tipovat odpověď. Tipovat lze totiž samozřejmě i v otevřených úlohách, ale šance na úspěch je velmi nízká.

Ve stejném textu Jiří Zíka dále popírá, že by mezi lety 2016 a 2017 došlo k nárůstu obtížnosti testu. Uvádí jednak, že pro oba testy platily stejné katalogy požadavků, jednak dokládá na grafu, že až na 32 % testu (úlohy za celkem 16 bodů) řešili maturanti v roce 2017 testové úlohy stejně úspěšně nebo úspěšněji než maturanti v roce 2016.

Začnu jeho druhým tvrzením. Naprosto zásadní problém Zíkova argumentu spočívá v tom, že využívá pravidla hodnocení úloh, která předtím sám změnil – z roku na rok a nenápadně. V úlohách 4, 10, 13, 19 a 20, které měly identický formát s úlohami 4, 13, 19, 19 a 9 z roku 2016, mohli žáci získat za stejný výsledek jako v roce 2016 až o 5 bodů víc. Jiří Zíka nám tedy zcela nepokrytě lže. My přece nezaměstnáváme jeho ani ministryni školství kvůli tomu, aby na tiskové konferenci k výsledkům maturitních testů prezentovali hausnumera. O provedené změně pravidel hodnocení na ní nepadlo ani slovo. Jaký význam má za takových okolností hlavní zpráva dne, že „maturanti se v češtině mírně zhoršili – propadlo jich o 1,3 procenta víc než loni“? Bylo to přece úplně jinak: test byl výrazně náročnější (odhaduji, že jeho úspěšnost klesla meziročně o 5 až 7 procent, možná i o víc), a proto jsme se nedozvěděli vůbec nic o tom, jestli byli maturanti letos připraveni lépe. Kdyby loni atleti vrhali koulemi o hmotnosti 7,26 kg, ale letos by jim organizátoři připravili koule o hmotnosti 8 kg, také by z výsledků závodu nešlo vyvodit téměř nic. Dokonce ani tehdy, kdyby závodili titíž koulaři.

Nyní ke tvrzení prvnímu. Z konfrontace s prvním Zíkovým tvrzením (a opakuji: vyjádřil je v téže dvoustránkové tiskové zprávě) jednoznačně vyplývá, že cílem změny pravidel hodnocení byla manipulace s výsledky maturantů. Manipulace totiž zpochybnila správný krok, který Cermat zařazením otevřených úloh učinil, neboť provedené změny pravidel významně zvýšily možnost úspěšně tipovat odpověď. Například v každé ze čtyř úloh typu ANO/NE je nyní pravděpodobnost zisku alespoň jednoho bodu náhodným tipováním 93,75 %. Cermat ovšem před dvěma lety zavedl otevřené úlohy, aby úspěšné tipování znesnadnil. „Ruční“ vyhodnocování otevřených úloh je pracné, zdlouhavé a velmi drahé. Letos zase provedl velké změny v pravid­lech bodování uzavřených úloh, které úspěšné tipování naopak výrazně usnadnily. „Strojové“ vyhodnocování uzavřených úloh je bezpracné, rychlé a velmi levné.

K čemu došlo v roce 2015? Jak jsem již uvedl, na jaře 2015 se v testu ČJL poprvé objevily ote­vřené úlohy. Jejich počet v testu (5) ani celková bodová dotace (12 bodů) se od té doby nezmě­nily. Jednorázový „náraz“, který změna způsobila v roce 2015, byl nejspíš rovněž dodatečně  kompenzován. Naznačuje to klíč správných odpovědí, který – jako jediný v časové řadě – neuvádí pravidla bodování „kritických“ úloh vůbec. Jde o úlohy 3, 12, 23, 28 a 24 (tedy o čtyři úlohy ANO/NE a o jednu přiřazovací typu 4 ze 6). Tam se nejspíš děly neuvěřitelné věci! Dokážu si dokonce představit, že některé úlohy typu ANO/NE byly bodovány podle jiných pravidel než zbývající úlohy téhož typu.

Otázka první. Cermat provedl změny pravidel, jimiž kompenzoval vcelku předvídatelný nárůst meziroční obtížnosti testu 2014 → 2015 dodatečně, místo toho, aby kvůli meziroční srovnatel­nosti předem zlehčil některé úlohy uzavřené. Zamlčením pravidel ovšem také umožnil mani­pulaci s výsledky v roce 2016. Bez datových souborů sice nelze prokázat, že k ní došlo, vzhledem k letošním manipulacím ji však ani nelze vyloučit. K jakým zásahům do bodování testo­vých úloh tedy došlo v roce 2015?

Otázka druhá. Propadovost maturantů z testu ČJL minimálně letos a možná v posledních třech letech závisela na tom, jak se Jiří Zíka vyspal. Kdo o tom chce přemýšlet, může hledat třeba odpověď na otázku, proč se letos nespokojil se změnou pravidel hodnocení u čtyř úloh typu ANO/NE (4, 10, 13, 19) a přidal k nim rovněž změnu pravidel hodnocení v přiřazovací úloze 20. Letos to možná zachránilo 1 000 maturantů, příště jich kvůli něčemu podobnému může na­opak propadnout třeba o 2 000 víc. A téměř v utajení! Je přijatelné, aby o takových zásazích do životů tisíců občanů rozhodoval jediný úředník?

Otázka třetí. Ministryně školství v demisi Kateřina Valachová byla ve funkci po celé období přípravy maturitních testů na léta 2016 a 2017. Věděla o tom, co se děje? Anebo jsou Cermat a jeho ředitel kontrolováni tak ledabyle, že si Jiří Zíka mohl dovolit provádět takové kousky za jejími zády?

Ať tak, či onak, měli bychom si nyní vzpomenout, kvůli čemu byla státní maturita zavedena. Měla vrátit zkoušce ukončující střední vzdělávání kolem sedmdesáti procent populačního roč­níku skvělé vlastnosti: srovnatelnost, spravedlnost a objektivitu.

Otázka čtvrtá a poslední. Myslí si vůbec ještě někdo, že se to povedlo? Že máme státní maturitu, která nám přináší podstatné a kvalitní informace o tom, co maturanti umějí a neumějí? Že je srovnatelná, spravedlivá a objektivní?