Stanovisko EDUin k otevírání dat CERMAT ze společné části maturitní zkoušky a jednotných přijímacích zkoušek

Přečtěte si rozbor aktuálního stavu a hlavních argumentů k otevírání dat ze státních zkoušek. EDUin se zvyšování transparentnosti společné části maturitní zkoušky a jednotných přijímacích zkoušek věnuje dlouhodobě. Tiskovou zprávu k tématu najdete ZDE, starší články a tiskové zprávy si můžete přečíst ZDE. Analýza je dostupná ke stažení ve formátu PDF.

1. Pojmy a termíny

(A) Agregovaná data (podle Cermatu anonymizovaná data) – de facto informace o úspěšnosti jednotlivých úloh (resp. podúloh), obvykle tvořené informací o tom, kolik žáků vybralo jednotlivé nabízené položky, případně získalo 0, 1, 2, 3, 4 body v úlohách s tvorbou odpovědí.

(B) Částečně anonymizovaná prvotní data (podle Cermatu položková data) – každému žákovi odpovídá jeden záznam, žák má obvykle anonymní identifikátor (číslo), doplněný v některých případech o znak skupiny škol (gymnázium, SOŠ, SOU s maturitou, nástavby); záznam je tvořen částí kódovou a částí bodovou; v části kódové je u uzavřených úloh informace o vybrané položce (například A, B, C, …, nebo ANO či NE apod.), u úloh s tvorbou odpovědi je pouze kód odpovídající v zásadě uděleným bodům; v části bodové je „překlad“ kódů do bodového zisku.

Podle publikačního kalendáře se agregovaná, resp. částečně anonymizovaná prvotní data zveřejňují vždy k 31. 7.

Tento text se nezabývá tzv. výsledkovým portálem s celkovými výsledky celých škol, krajů, skupin oborů a jen částečně se dotýká analytických zpráv, které začal Cermat publikovat po změně vedení. Jde v něm primárně nikoli o výsledky celých testů (a třeba jednotlivých škol či jejich různých skupin), nýbrž o výsledky jednotlivých úloh a podúloh a jejich souvislosti.

2. K argumentu „nemůžeme více zveřejňovat z důvodu ochrany osobních údajů“

Analogie s volebními daty

Český statistický úřad zveřejňuje na svých stránkách volební výsledky ve dvou verzích. Pro běž­ného uživatele jde o rozklikávací zdroj informací, ve kterém se uživatelsky vstřícným a pochopitel­ným způsobem může dostat třeba až k tomu, jak příslušné volby dopadly v jeho volebním okrsku. Pro odborně zdatnějšího uživatele má formu tzv. otevřených dat, která snadno umožňují strojové zpracování. Rozklikávací verze nemá v nástrojích Cermatu přímou analogii, neboť ani jeho agrego­vaná data (A) nejsou v uživatelsky vstřícné podobě – chybí v nich nejen uživatelský komfort, ale například také informace o tom, která nabízená položka v multiple-choice úlohách je správná. Jistou analogií volebních otevřených dat jsou částečně anonymizovaná prvotní data (B).

Analogie s volebními daty je užitečná také při uvažování o míře rizika, že zachování určitého údaje (například pohlaví) může v některých případech umožnit identifikaci žáka. Je třeba si uvědomit, že riziko je extrémně nízké a jde o střet základního práva na ochranu osobnosti s dalšími základními právy (právo na vzdělání a právo na informace, včetně práva na přiměřené informace o činnosti státních orgánů). Ústavní soud rozhoduje v případě střetu více základních práv důsledně tak, že je třeba pečlivě zvážit důležitost ochrany každého z nich. Právo na tajné hlasování u voleb zaručuje Listina základních práv a svobod. Když ale v malé vesničce dají všichni oprávnění voliči hlas stejné straně, z dat ČSÚ lze zjistit, jak volil Jan Novák, který tam žije. V posledních volbách do Sněmovny málem došlo k tomu, že se poslancem stal někdo, koho občané nezvolili. To by byl průšvih dotýka­jící se samotné podstaty demokratického státu. Příčinou bylo nezapočítávání přednostních hlasů udělených kandidátům, jejichž jména byla na druhé straně hlasovacího lístku. Veřejně dostupná a přiměřeně anonymizovaná volební data tomu pomohla zabránit – ovšem za cenu velmi malého rizika pro pana Nováka. Podobně je tomu například s uváděním informace o pohlaví žáků v anonymi­zovaných prvotních datech. Zatím tam není, ale být by tam měla, protože její přínos vyváží extrém­ně malé riziko, že kvůli tomu dojde k identifikaci výsledků Jana Nováka.

Závěr: Vymlouvat se, že data nelze zveřejňovat z důvodu, že by na nějaké malé škole nebo oboru mohl někdo identifikovat výsledky konkrétního žáka je přehnané a zavání účelovým alibismem. Jednak je to málo pravděpodobné, za druhé existuje analogie se zveřejňováním volebních výsledků, kde to nijak nevadí.

Data mají sloužit k vyšší transparentnosti, demokratické kontrole, zkvalitňování celého procesu a konkrétního znění úloh a tím i k vyšší důvěře společnosti v celý proces státního testování. Tento vyšší zájem převažuje nad zcela marginálním rizikem identifikace výsledků nějakého konkrétního žáka a tímto prizmatem by se k tomu, dle našeho názoru, mělo MŠMT postavit a využít tak mj. externí expertní analýzu (viz též následující právní rozbor).

3. Právní stav

Východiskem je odstavec 4 článku 17 Listiny základních práv a svobod, který říká: Svobodu projevu a právo vyhledávat a šířit informace lze omezit zákonem, jde-li o opatření v demokratické společnosti nezbytná pro ochranu práv a svobod druhých, bezpečnost státu, veřejnou bezpečnost, ochranu veřejného zdraví a mravnosti.

Dává vlastně návod, jak posuzovat ustanovení zdánlivě silného § 183c školského zákona, které říká: Údaje získané při přípravě nebo zjišťování výsledků vzdělávání podle § 74, 78, § 171 odst. 2 a § 174 odst. 2 písm. a) a údaje vytvořené kombinací nebo vzájemným srovnáním těchto údajů právnická osoba nebo organizační složka státu, která s těmito údaji nakládá, neposkytuje žadatelům o informace podle zákona o svobodném přístupu k informacím, pokud údaje vypovídají o:

1. a) výsledcích jednotlivých dětí, žáků a studentů,
2. b) průměrných nebo souhrnných výsledcích za školu nebo více škol nebo za jinak vymezenou skupinu dětí, žáků nebo studentů,
3. c) srovnání výsledků mezi školami nebo jinak vymezenými skupinami dětí, žáků nebo studentů,
4. d) obsahu a formě zadání, která dosud nebyla využita v ukončeném zjišťování,
5. e) připravovaných nebo používaných nástrojích pro zjišťování a zpracování výsledků vzdělávání.

Je vcelku zjevné, že bezpečnost státu, veřejnou bezpečnost, ochranu veřejného zdraví a mravnosti nemůže ohrozit poskytnutí žádného údaje spadajícího pod § 183c. Ochranu práv a svobod druhých může ohrozit poskytnutí údajů spadajících pod a), pokud by vypovídaly o výsledcích konkrétních (identifikovatelných) osob, a dále poskytnutí údajů spadajících pod d) a snad též e), neboť by to mohlo ohrozit spravedlivost zkoušek (například prozrazením obsahu jen někomu). Poskytnutí agregova­ných dat (A) a částečně anonymizovaných prvotních dat (B) pod § 183c zjevně nespadá, a to ani v případě, že částečně anonymizovaná prvotní data obsahují znak skupiny škol (gymná­zium, SOŠ, SOU s maturitou, nástavby) nebo údaj o pohlaví žáků (viz bod 2).

Proto také MŠMT již několikrát poskytlo částečně anonymizovaná prvotní data z přijímacích zkou­šek nebo z maturitní zkoušky na základě žádosti podle zákona o svobodném přístupu k informacím (dále jen Infozákon), a to včetně znaku skupiny škol (gymnázium, SOŠ, SOU s maturitou, nástavby).

Poznámka: K údaji o pohlaví viz dále.

Důležité je rovněž ustanovení § 2 odst. 4 správního řádu: Správní orgán dbá, aby přijaté řešení bylo v souladu s veřejným zájmem a aby odpovídalo okolnostem daného případu, jakož i na to, aby při rozhodování skutkově shodných nebo podobných případů nevznikaly nedůvodné rozdíly.

Závěr: Je zřejmé, že nechce-li se MŠMT dopustit porušení tohoto ustanovení správního řádu, resp. lhůty pro poskytnutí informace v Infozákoně, mohou být termíny zveřejnění dat uvedené v publikačním kalendáři (což je dokument bez jakékoli právní závaznosti vůči veřejnosti) výrazně překonány žádostí o poskytnutí příslušných dat podanou dostatečně včas podle Infozákona. Proto je zveřejňování dat vhodné automaticky rozšířit i o znak skupiny škol a pohlaví žáka.

4. Zbytečné utajování ničí důvěru

Práce Cermatu je od spuštění státní maturity v roce 2011 provázena neochotou poskytovat veřejno­sti relevantní informace. V prvním ročníku bylo dokonce podáno trestní oznámení na statutární zástupce EDUinu za zveřejnění znění zadání právě použitých maturitních testů. Zprávy o výsled­cích státní maturity měly téměř pokaždé jinou strukturu a pracovaly dokonce s datovými soubory získanými v různých letech podle různých kritérií – nemožnost sestavit věrohodné datové řady byla očividná. V některých letech nedošlo ani ke zveřejnění klíčů správných řešení, jindy se Cermat snažil utajit manipulaci s hodnocením uzavřených úloh. Například na jaře 2017 došlo tímto způso­bem k umělému snížení obtížnosti testu o 4,6 %, což vedlo k tomu, že prvomaturantů propadlo namísto 10 275 jen 5 896. J. Zíka napsal, že „s ohledem na zkušenosti z minulých období maturitní zkoušky lze vždy očekávat záměrnou nebo nevědomou dezinterpretaci zveřejněných dat“. Byl to však on, kdo například ve dvou ročnících sdělil veřejnosti jen část pravdy: že v maturitním testu Matematika došlo k mírnému zlepšení průměrné úspěšnosti za všechny žáky. Neprozradil už ovšem, že se současně zhoršili jak gymnazisté, tak negymnazisté a ke zlepšení průměru za všechny žáky došlo jen díky tomu, že mezi nimi přibylo gymnazistů.

K pohlaví žáků

Jedním ze základních požadavků na jednotné testy (přijímací i maturitní) je, že nesmějí zvýhodňo­vat některé pohlaví. Podle oficiálních Cermatu dosáhly na jaře 2018 v přijímacích testech na osmi­letá gymnázia dívky o 2,1 procentního bodu lepšího výsledku v českém jazyce, ovšem v matematice byl naopak výrazně lepší průměrný výsledek chlapců. Rozdíl tam činil 5,8 procentního bodu. Je samozřejmě důležité vědět, v jakých typech úloh byly rozdíly mezi oběma pohlavími nejmenší a největší – například kvůli tomu, aby se na to mohli zaměřit učitelé. A také kvůli tomu, aby se podobný nedostatek v následujících přijímacích testech už nevyskytoval. MŠMT ovšem žádost o částečně anonymizovaná data s údajem o pohlaví odmítlo s odůvodněním, že taková data nejsou k dispozici, protože se tím nikdo nezabýval. Buď to není pravda, anebo k analýzám výsledků přistupuje Cermatu zcela diletantsky. Zatímco analytická zpráva Cermatu za první dva ročníky jednotných přijímacích zkoušek člení souhrnné výsledky testů i podle pohlaví, v letošních signálních výsledcích jednotných přijímaček už údaje o pohlaví chybějí. To budí podezření, že rozdíly výsledků mezi pohlavími jsou ještě větší než v minulém roce.

Podobně trapně se vyvíjela situace kolem letošní úlohy č. 11 maturitního testu z matematiky. Nejprve vyšlo najevo, že Cermat utajil jak před externími členy své vlastní validační komise, tak před členy Nezávislé odborné komise MŠMT pro posouzení maturitního testu z matematiky skutečnost, že uznával nejen odpověď (pouze) 248º uvedenou v klíči, ale také odpověď 248º a 112º. Počet žáků, kterým pro úspěšné složení zkoušky chyběl 1 bod v úloze 11 a současně uvedli odpo­věď (pouze) 112º, však prý kvůli způsobu zpracování není znám. Ačkoli je to velmi důležité a šlo o „ruční“ zkontrolování odhadem 300 naskenovaných záznamových archů. To vyvolává nejrůznější domněnky kvůli tomu, že podle některých odborníků měla být uznávána rovněž odpověď (pouze) 112º. Opravdu nebyli tito žáci identifikováni? A pokud skutečně nebyli, neměl by být změněn způsob vyhodnocování otevřených úloh, aby pracnost opravy nebránila průchodu spravedlnosti?

Závěr: Popisované problémy zbytečně oslabují důvěru odborné i laické veřejnosti. U mnohých učitelů vyvolávají dokonce frustraci (viz například diskuze pod články na webu eduin.cz nebo ceskaskola.cz nad spornou otázkou č.11 z letošní matematiky). Jsme přesvědčeni, že otevírání dat by tento problém řešilo, a je to tudíž v zájmu společnosti i MŠMT. Dle argumentů výše je nezbytné do zveřejňovaných kategorií anonymizovaných dat zařadit i pohlaví žáka.

5. Současný stav

Přehled zveřejňovaných dat a termínů – porovnání jednotných přijímacích zkoušek a společné části maturitní zkoušky

druh informace – termín zveřejnění	přijímačky	maturita
znění testů (zadání) – v den použití	ano	ano
pracovní verze klíče správných řešení – v den použití	ne	ne
prac. verze odůvodnění správných odpovědí – v den použití	ne	ne
prac. verze vysvětlení, co úlohy ověřují – v den použití	ne	ne
defin. verze klíče správných řešení – v den odeslání výsledků	ano	ano
defin. verze odůvod. správ. odpovědí – v den odeslání výsledků	ne	jen matematika
defin. verze vysvětlení, co úl. ověřují – v den odeslání výsledků	ne	ne
agregovaná data – v den odeslání výsledků	ne	ne
část. anonymiz. prvotní data – v den odeslání výsledků	ne	ne
agregovaná data – 31. 7.	ano	ano
část. anonymiz. prvotní data – 31. 7.	ano	ne

Závěr:

Odůvodnění správných odpovědí bylo letos na jaře zveřejněno poprvé, kvitujeme alespoň nějaký posun.

Není zřejmé, proč existuje rozdíl mezi přijímačkami a maturitou u částečně anonymizovaných prvotních dat zveřejňovaných k 31. 7. Agregovaná data by měla být zveřejňována v uživatelsky vstřícné podobě – podobně jako rozklikávací volební data. Položky s šedým pozadím buď nejsou zveřejňovány vůbec, nebo zveřejňovány jsou, ale pozdě – měly by být zveřejňovány v uvedeném termínu.

Žlutě označená pole – přijímačková (na 4leté obory) ani maturitní data neobsahují znak skupiny škol (gymnázium, SOŠ, SOU s maturitou, nástavby) a neobsahují ani údaj o pohlaví. Z hlediska ochrany osobních údajů to nemůže být problém u dat přijímačkových, u dat maturitních přinejmenším u prvomatu­rantů (jde o veliké soubory).

6. Ukázka odůvodnění správných odpovědí a vysvětlení, co úloha ověřuje

Co se stane, když dítě usne?  (zapiš čísla všeho, co se opravdu stane)

Přestane:

1. dýchat.
2.   slyšet.
3.   růst.
4.   vytvářet sliny.
5.   vytvářet moč.
6.   trávit potravu.
7.   mu pracovat mozek.
8.   odpovídat na otázky.
9.   mu obíhat krev v těle.

Poznámka: Žák tedy mohl odpovědět třeba 2,3,7,8 – věděl, že nabídka úlohy může mít víc správných položek, ale jejich počet předem neznal.

Odůvodnění (správné položky tučně):

1. Člověk dýchá i ve spánku, můžeme slyšet oddechování a pozorovat pohyby hrudníku.
2. Člověk slyší i ve spánku – větší hluk ho probudí.
3. Lidské buňky se dělí i ve spánku. Novorozenec většinu času prospí, přesto velmi rychle roste.
4. Sliny se vytvářejí i ve spánku, což můžeme u dětí pozorovat (poslintaný polštář).
5. Moč se vytváří i během spánku – ráno obvykle potřebujeme na záchod. Malé děti se někdy v noci počurávají.
6. Potravu trávíme i ve spánku – ráno máme opět prázdný žaludek a hlad.
7. Mozek pracuje i ve spánku, zpracovává nabyté informace a řídí základní tělesné procesy.
8. Člověk ve spánku nereaguje vědomě na vnější podněty. Může sice třeba pohnout nohou,
   když ho polechtáme na chodidle, ale neví o tom.
9. Krev v těle obíhá i ve spánku, můžeme pozorovat pulsování cév. Bez přísunu kyslíku do mozku, což obstarává právě okysličená krev, bychom během několika minut zemřeli.

Vysvětlení, co úloha ověřuje

Cílem úlohy bylo odhalit chybné představy žáků o funkcích těla ve spánku. Například dýchání bude nejspíš jednoznačně posuzováno jako funkce, která ve spánku trvá, zatímco u sluchu, práce mozku, vytváření slin a trávení mohou být výsledky horší. Žáci nejspíš zamění tyto funkce za jejich vědomé, aktivní použití: naslouchání, uvažování či jezení. Úloha zjistí, do jaké míry si žáci uvědomují, že velká část tělesných procesů je řízena zcela nezávisle na našem vědomém úsilí o ně, a probíhá tedy i ve spánku.

Je třeba upozornit, že vysvětlení, co úloha ověřuje, je něco jiného než příslušnost úlohy k určitému tématu v RVP nebo v katalogu požadavků, kterou zachycuje tzv. specifikační tabulka. Jako příklad lze uvést úlohu č. 9 z letošního přijímacího testu pro deváťáky, v níž měli žáci najít v odstavci o 883 znacích tři podstatná jména, která se skloňují podle vzoru „růže“. Velmi podstat­nou součástí úlohy je přečtení relativně dlouhého textu, který ovšem žák musí kvůli dalším úlohám číst nejméně ještě jednou, protože v nich jde o porozumění obsahu. Úloha č. 9 tedy ověřuje znalost vzorů pro skloňování podstatných jmen jen u těch žáků, kteří se nenechají otrávit její nesmyslností.

Zmiňovaný text:

Zásadní poznatky geniální vědec získal díky studiu pěnkav. Všiml si rozdílů v jednotlivých populacích těchto ptáků, které žily na různých galapážských ostrovech. Vypozoroval, že tvar a velikost jejich zobáku jsou přizpůsobeny dostupným zdrojům potravy. Některé pěnkavy pomocí svého drobného zobáku snáze zkoumaly květy, jiné pěnkavy měly silný zahnutý zobák jako papoušek a drtily jím oříšky. Na každém ostrově se u pěnkav vyvinuly znaky nejlépe zajišťující přežití druhu. Po návratu z výpravy Darwinovi trvalo více než dvacet let, než plně pochopil, že právě pobyt na Galapágách je klíčem k porozumění evoluci. Svou evoluční teorii představil v roce 1859. V díle O vzniku druhů přírodním výběrem vysvětlil, že organismy se postupně přizpůsobují měnícím se podmínkám prostředí a že přežijí jen ty, které se na změny nejlépe adaptují. Jeho myšlenky posunuly vědecké poznání o značný krok vpřed.

7. Proč jsou navrhované změny užitečné

Prvním univerzálním odůvodněním výše uvedených návrhů je veřejná kontrola práce Cermatu a předcházení chybám, kterým opakovaně nedokázal zabránit – v případě státní maturity je letos (viz Matematika, úloha č. 11) i dříve často buď maskoval, nebo prostě ignoroval. Pokud bude zřejmé, že v případě klíče správných odpovědí, odůvodnění správných odpovědí i vysvětlení, co úlohy ověřují, jde při zveřejnění v den testování o pracovní verze, nebudou případné nedostatky většině lidí vadit. Bude však zřejmé, co autor každé jednotlivé úlohy sledoval a jak si představoval správné řešení. Pokud někdo objeví chybu (byť jen domnělou), upozorní na ni a Cermat bude mít dost času se upozorněním zabývat tak, aby – pokud se podezření prokáže – nedostatky nepronikly do oficiálních výsledků žáků. Například matematická úloha č. 11 byla podezřelá již v den zveřejnění testu. Až do zveřejnění klíče správných řešení však nebylo zřejmé, zda jde o nedostatek zadání, nebo naopak o záměr (odvést pozornost od druhého správného řešení 112º).

Druhým univerzálním odůvodněním výše uvedených návrhů je užitečnost pro výuku. Za pro­středky státního rozpočtu vzniká, vlastně jako vedlejší produkt, veliké množství informací pro učitele a didaktiky odpovídajících předmětů, často poměrně překvapivých. Cermat mj. disponuje velmi bohatou (a před veřejností skrytou) databází odpovědí žáků na úlohy s tvorbou odpovědí. Tzv. agregovaná data (A) obsahují vlastně jen informaci o úspěšnosti úloh, resp. o četnosti nabízených odpovědí. Kolik učitelů matematiky ovšem tušilo, že následující triviální úlohu z maturitního testu Matematika správně vyřeší pouze 15,7 % maturantů (z necelých 17 tis. žáků)?

Čerpadla

Nádrž se plní několika stejně výkonnými čerpadly. Dvě čerpadla by prázdnou nádrž naplnila za x hodin (x > 0). Vyjádřete v hodinách, za jak dlouho by prázdnou nádrž naplnilo n čerpadel (n Є N).

Tzv. částečně anonymizovaná prvotní data (B) umožňují hlubší analýzy. Lze například zkoumat, jak si žáci úspěšní v úloze o čerpadlech počínali v jiných úlohách testu. Jaká část z nich byla nadprů­měrně úspěšná? Byli úspěšnější chlapci, nebo dívky? Atd.

8. Další návrh

Z písemného vyjádření MŠMT i Cermatu vyplývá, že vyhodnocování úloh testu Matematika s tvorbou odpovědi probíhá způsobem, při kterém se ztrácí řada informací, které jsou cenné jak pro vlastní vyhodnocení, tak pro školy při práci s výsledky. Výsledkem vyhodnocování (například úlohy č. 11) je pouze informace, zda žák uvedl hodnotu pokládanou za správnou, uvedl hodnotu pokládanou za nesprávnou, případně neuvedl hodnotu žádnou. Jenomže cennou informací je především to, které hodnoty žáci uváděli a kolik takových žáků u každé hodnoty bylo. Často se z nich totiž dají zpětně rekonstruovat postupy, kterými k nim žáci dospěli. Zvláště úlohy směřující pouze k číselnému výsledku by vlastně vůbec neměly být předmětem „ručního“ hodnocení, neboť je pomalé, nákladné a navíc v případě chyby v pokynech pro hodnotitele musí být opakováno od samého počátku. Algoritmy pro rozpoznávání obrazců jsou už mnohem dokonalejší než v roce 2011 a vzhledem k tomu, že záznamové archy jsou skenovány, vlastně nic nebrání tomu, aby číselné hodnoty v odpovědích žáků byly rozpoznávány strojově a zaznamenávány v prvotním datovém souboru. Kontrolu rozpoznání svých odpovědí může provést každý žák prostřednictvím internetu.

5. září 2019 Za EDUin

Miroslav Hřebecký, programový ředitel