Publikujeme dopis Oldřicha Botlíka redaktorům Lidových novin Tomáši Němečkovi a Petrovi Kamberskému, kterým reaguje na maturitní data zveřejněná v Lidových novinách. Považujeme ho za velmi přehledný a srozumitelně vysvětlující, proč je třeba brát zveřejněná čísla s rezervou. Důležitý je i závěrečný výčet úkolů, které musí zohlednit ministerstvo školství i při přípravě opravené státní maturity.
Vážení pánové,
nejprve bych rád panu Němečkovi složil poklonu za to, že data z Cermatu vyrazil. V roce 2001 jsem podle stejného zákona požádal ministerstvo školství o údaje o do té doby vynaložených prostředcích na státní maturitu a také jsem je dostal — nejspíš dokonce s menšími obtížemi. Proto mě také údaj o ceně 1,45 mld. Kč nijak nepřekvapil. Co jsme za ty peníze zatím získali?
A.
Nejspolehlivější informací je, že Zelený s Dobešem vodili veřejnost za nos. A že ta jim na to, za přispění většiny médií, skočila. Prostě proto, že členové naší společnost, která se tak pyšní svým kladným vztahem ke vzdělání, nejsou zpravidla zvyklí ani trochu kriticky přemýšlet o tom, co jim kdo servíruje. A možná to ani neumějí.
B.
Lidovky nyní mají spoustu čísel. Vzhledem ke kvalitě práce Cermatu není vůbec zřejmé, že agregovaná data o školách byla správně spočítána z individuálních výsledků jednotlivých maturantů. O vydání anonymizovaných záznamů o jednotlivých maturantech usiluje SCIO (myslím, že také musí uspět) a já bych se vůbec nedivil, kdyby tam data přepočítali a vyšlo jim něco jiného, než LN právě zveřejňují.
Navíc, i když budeme předpokládat, že Cermat spočítal výsledky škol správně, jsou špatně individuální výsledky jednotlivých maturantů v obou ročnících. Navzdory tomu, že například podobu testů a „správných“ odpovědí pro výpočet posvětila nějaká tajemná validační komise. Letos zůstaly neopraveny chyby například v testech ČJL nižší úroveň, Ma vyšší úroveň a F. Pokud jde o loňský test ČJL nižší úroveň, dosáhli maturanti žalující ministerstvo soudního rozhodnutí (zatím nepravomocného), že se ministerstvo musí věcně vypořádat s námitkami proti devíti (!) úlohám testu. A že názor Cermatu na správnost těchto úloh je irelevantní. Test ČJL nižší úroveň psalo v každém z obou ročníků cca 90 tisíc maturantů.
C.
Nevíme nic o statistických ukazatelích charakterizujících kvalitu provedených měření — ať jde o testy nebo o hodnocení písemných prací. Jak každý fyzik ví, naměřená hodnota je bez údajů o chybovosti použité metody bezcenná. U měření fyzikálních veličin (například hmotnosti zboží v supermarketu či rychlosti motorových vozidel) předepisuje zákon o metrologii pravidelnou kalibraci používaných měřidel (zde tedy vah a radarů). Používá-li například obchodník či policie takové měřidlo bez dokladu o platné kalibraci, vystavuje se mj. hrozbě vysoké pokuty.
U pedagogických a psychometrických měření se ze stejného důvodu zjišťuje tzv. reliabilita (a validita) použitých nástrojů. U hodnocení písemných prací odmítl Cermat provést tzv. slepou zkoušku, tj. druhé nezávislé hodnocení reprezentativního vzorku slohových prací. Na základě podrobného rozboru se domnívám, že chybovost hodnocení byla kolem 20 % (více ZDE). Podobně jsem přesvědčen, že tzv. reliabilita testů ČJL nižší obtížnosti se pohybovala na samé hranici použitelnosti těchto testů k danému účelu, případně pod ní.
D.
Nevíme vůbec nic o tom, kdo vlastně rozhodl o obtížnosti jednotlivých testů. Tvz. katalogy požadavků jsou z tohoto hlediska bezcenné — ty jen stanoví rozsah požadovaných znalostí a dovedností, nikoli jejich hloubku. A Cermat navíc nedodržel katalogy ani v tomhle. Víme také, že obtížnost jednotlivých testů nejspíš nebyla stanovena stejně (například lehčí čeština vs. lehčí matika). Kdo ale rozhodl například o tom, že v lehčí matice propadne tolik a tolik procent maturantů? Zelený? Dobeš? A kde k tomu dostal mandát? Vždyť jde o plošné rozhodnutí, které má přímý dopad na životní osudy tisíců mladých lidí!
Závěr
Pokud se ukáže, že výsledky zveřejněné v Lidovkách nejsou správné, pak zřejmě poškodily řadu škol. Jsem opravdu zvědav, zda budete stejné úsilí věnovat také jejich opravení. Zdá se mi, že i nastávající dvouletá přechodná fáze státní maturity staví před uvažující lidi důležité otázky:
1.
Jak bude nastavena jednotná náročnost jediného testu v každém předmětu? A kdo o tom rozhodne a ponese za své rozhodnutí politickou i lidskou odpovědnost?
Odpověď netuším, ale jsem přesvědčen, že současný stav je neúnosný.
2.
Jak budou řešeny příští odborné spory o správnost jednotlivých testových úloh a jejich „správného“ řešení v pojetí Cermatu?
Je zjevné, že je třeba narušit uzavřený kruh „Cermat test připravil, administroval a schválil jeho správnost“. I když se správní soud odbornými spory nezabýval, otevřel podle mého názoru cestu k tomu, aby se nakonec řešily ve správním řízení (pokud ministerstvo nedá maturantům za pravdu).
3.
Jak zajistit, aby se kdokoli mohl přesvědčit o tom, že kvalita měření prováděných Cermatem vyhovuje alespoň elementárním nárokům?
Zde je podle mého názoru odpověď snadná. Zákon by měl Cermatu uložit povinnost vypočítat z pořízených dat přesně specifikované ukazatele včetně statistických charakteristik použitých testů a výsledků hodnocení písemných prací. A poté je zveřejnit. Současně s tím by měl Cermat zveřejnit úplnou anonymizovanou verzi prvotních záznamů o jednotlivých žácích. Aby si každý, kdo o to stojí, mohl zveřejněné hodnoty ukazatelů zkontrolovat a případně spočítat cokoli dalšího.
Zabývám se hodnocením výsledků vzdělávání a klimatu školy už 18 let. Díky tomu vím, že průměrný výsledek v testu, i maturitním, vypovídá o škole jen velmi málo. A ta výpověď navíc může být velmi zavádějící, i kdyby se podařilo odstranit všechny nedostatky uvedené výše. I z toho důvodu vůbec nemám zájem podívat se na detaily výsledků v tabulkách, které Lidovky dnes začaly zveřejňovat. Ani v případě škol, které docela dobře znám.
S přáním klidného víkendu
Oldřich Botlík
Můžete mi, prosím, vysvětlit větu z bodu D: „Kdo ale rozhodl například o tom, že v lehčí matice propadne tolik a tolik procent maturantů?“. Tzn. lze dopředu rozhodnout, kolik % žáků propadne?
A jak se to vlastně dělá?
Děkuji