Vše, co chcete vědět o letošních maturitních písemných pracích
Publikujeme obsáhlý rozhovor s Gabrielou Baumgartnerovou z Cermatu, která letos působila v rámci maturitní zkoušky jako vedoucí hodnocení písemných prací z českého jazyka (VHP). V rozhovoru vysvětluje celý proces, od záměru přes trénink hodnotitelů až k nejasnostem kolem vyřizování žádostí o přezkum hodnocení písemné práce.
Co bylo důvodem pro změnu hodnocení písemných prací proti loňskému ročníku státních maturit?
Zásadní změnou v hodnocení písemných prací bylo přenesení zodpovědnosti za hodnocení ze škol na CERMAT. Změna měla oporu ve Vyhlášce č.177/2009 Sb. Hlavním cílem projektu bylo zvýšení nezávislosti hodnotitele, s tím pak souviselo zpřesnění kritérií hodnocení a metodiky. Mám zkušenosti, že někteří češtináři loni odmítali hodnotit písemné práce, já sama jsem se také setkávala s kolegy, kteří potvrzovali, že je na ně vyvíjen určitý tlak zvnějšku, aby práce hodnotili lépe, než si zasluhují. Analýza hodnocení z loňského roku prokázala nezdravou míru subjektivity, práce byly často nadhodnocovány. Zmenšení počtu hodnotitelů (ze zhruba 4000 na 400) vždy znamená větší pravděpodobnost shodného přístupu k hodnocení.
Podle čeho jste poznali v loňském ročníku „nezdravou míru subjektivity“?
Lze to poznat podle analýz, které byly na základě výsledků provedeny. Loňská křivka hodnocení u písemných prací byla nezdravá, ani vzdáleně se nepřibližovala Gaussově křivce (zatímco u didaktického testu ano), vykazovala značný skok mezi 5 a 6 body, tedy mezi body, které v minulém roce rozhodovaly o úspěšnosti, resp. neúspěšnosti žáka. Silné nadhodnocení se také projevovalo v pásmu prací, které byly hodnoceny loni jako nadprůměrné, aby měly být hodnoceny spíše průměrně. Na to ostatně také poukazovali i někteří kolegové.
A na základě čeho lze konstatovat, že letos byla míra subjektivity menší?
Jak už bylo řečeno, u desetkrát menšího počtu hodnotitelů se logicky zvyšuje míra shody v hodnocení. Křivka hodnocení v podstatě kopíruje Gaussovu křivku, je z ní vidět dobře zvolená náročnost testování. Srovnala bych to s výsledky ve třídě – pokud jsou všichni žáci hodnoceni jen jedničkami a dvojkami, pak tu často není něco v pořádku, většinou je na vině chybně zvolená náročnost na předmět (i když samozřejmě takové excelentní třídy existují, není to ovšem pravidlo). Stejně tak v případě, kdy žáci ve třídě mají pouze čtyřky a pětky. Mnoho z nás si uvědomuje, že jednička z určitého předmětu na jedné škole může odpovídat trojce na škole jiné, náročnější. Tyto rozdíly se stírají centralizovaným hodnocením.
Zmiňujete tlak ve školách na nadhodnocování výkonu studentů. Letos zase někteří hodnotitelé zmiňovali tlak z Cermatu na snížení bodového hodnocení u některých písemných prací. Nejde prakticky o totéž, jen v opačném gardu?
Proti tomu bych se ráda ohradila. Pokyn k přehodnocení prací byl dán pouze v případě, že se objevilo nerespektování metodiky hodnocení. U naprosté většiny hodnotitelů šlo přitom o to, aby nebyli tak přísní a posuzovali komplexní vyznění textu. Už první analýzy v průběhu hodnocení ukázaly, že většina hodnotitelů metodiku dodržuje a že křivka hodnocení je zdravá bez jakéhokoli zásahu zvenčí. Já sama jsem zadala přehodnotit cca 700 prací, z toho u 50 prací jsem dala snížit bodové hodnocení (cca 7%) a u 650 jsem naopak body zvýšila (cca 93%). Musela jsem si vést přesnou statistiku prací, které byly přehodnoceny, takže toto tvrzení mohu dokázat. Problematické práce se konzultovaly, v případě neshody se hodnotily ve prospěch žáka, byl tedy uplatňován stejný princip jako u jiných částí maturitní zkoušky.
Ale ve vaší e-mailové korespondenci, která byla publikována v médiích, se píše, že hodnotitelé „nemají hledat zbytečný bod navíc“. Tedy jistý tlak na větší přísnost existoval.
Ten e-mail jsem rozesílala, byl sice určen vedoucím hodnotitelských týmů (VHT), oni měli tato slova tlumočit. Mnoho lidí na tom e-mailu nevidí nic špatného, ani v tomto znění, byť je vytržený z kontextu. Všude jsem zdůrazňovala, aby se hodnotitelé opírali o bodovou škálu, tedy aby nedocházelo k negativnímu jevu z loňska, kdy je nám žáka líto, a hledáme bod navíc navzdory pravidlům a metodice. Obraceli se na mě VHT s tím, že někteří hodnotitelé jsou zhrozeni, mají například celý soubor tak slabý, že polovině dali nuly nebo 2-8 bodů, a pak jim vychází pár prací kolem 13/14 a zbytek 10/11 a bojí se, že taková situace je i jinde a neprospěje např. 70% žáků. Proto jsem také zpřístupnila dosavadní analýzy. Čísla, která uvádím, jsou reálná, týkají se prací, které jsem odebrala a přehodnotila – to je také ta citace z e-mailu, který se dostal ven: “Protože je zadávání přehodnocení komplikované – já zadám, napíšu Vám, Vy napíšete CeHOPP, já čekám na přehodnocení a kontroluji, zda je vše OK – i v tomto směru změna, kterou, jak pevně věřím, uvítáte Vy i CeHOPP. PP, které musí být přehodnoceny, odeberu a přiřadím je sobě.” Tyto práce tedy byly přehodnoceny v tom směru, jak jsem psala, přes 90% šlo výš.
Přehodnocování se dělo v zájmu konzistence hodnocení. Vedla jsem také telefonické rozhovory s hodnotiteli na téma přehodnocení, všechny se týkaly zmírnění přísnosti. Znovu citace: “Vkládáme do hodnocení více subjektivity, zejména u PP, které jsou hraniční – 11/12, tam se více přikláníme k 12. Rozhodně nechci říkat, abychom kosili bez rozmyslu vše, co nám padne do ruky. ALE – opírejme se skutečně o škálu, jestli je PP skutečně slabá a hodnocení máme opřené o škálu, nehledejme mermomocí bod navíc! Tyto hraniční PP raději konzultujme – mezi sebou, s námi.” Zde je důraz na škálu, návod ke konzultaci problematických prací, k nimž mnoho PP kolem 10/11 patří.
Další citace z dalšího e-mailu: “Vím, že je velmi problematické rozhodovat, zda dám 10/11/12. Nechci říkat, že máme ze všech 12 udělat 11. Pokud práce je skutečně na 12 bodů – s opřením o bodovou škálu – pak je to samozřejmě dobré. Někdy ale mám pocit, že si obodujeme, zjistíme, že jsme dali 11, a hledáme, zda někde nelze najít ještě ten 1 bod – a to je samozřejmě postup, který bychom neměli aplikovat. Takže resumé – nebojme se dávat 10 a 11, pokud si to práce skutečně zaslouží.”
Říkám zcela jasně, že pokud je práce skutečně na 12 bodů, je to v pořádku, ale abychom neaplikovali opačný postoj, tedy vyjde nám 11 a pak hledáme bod navíc.
Další citace:”… jednoznačně se mi potvrzuje, že někteří CeHOPP hledají bod za každou cenu. Markantní je to zejména u vypravování – je velmi nápadné, když PP na 12 bodů má v 1. kritériu 3-3, toto byly nejčastější případy – popis děje a příhoda a la někam jsem jel a NÁHODOU jsem potkal kamaráda!”
Podle stanovené metodiky dáváme 1 bod za popis děje (loni mnoho lidí dávalo za to nulu, i letos na školení by někteří dávali nulu, stanovili jsme toto pravidlo ve prospěch žáka), pokud někdo za popis děje u hraniční práce dal 2 nebo 3 body, a v jiných oblastech byla PP slabá, pak dotyčné zvýhodňoval a ostatní žáky, kteří byli bodováni dle pravidel, naopak poškozoval. V hodnocení musí být uplatněn jeden metr na všechny, zajištěna konzistence hodnocení. Všechny e-maily směřovaly právě k tomuto cíli a byly poslány před pamfletem paní Hochmanové (čtěte ZDE). Mimochodem ten, kdo poskytnul tento e-mail, hrubým způsobem porušil pracovní smlouvu!
Měnila se škála, podle níž byly písemné práce hodnoceny?
Bodová škála se nezměnila. Rozložení kritérií hodnocení zůstalo stejné, stejně jako vnitřní podmínka hodnocení (pokud žák získá v 1. kritériu nula bodů – vytvoří jiný text, než je požadován, nebo nesplní požadavky na stanovený minimální rozsah, práce se dál nehodnotí). Bodová škála se pouze zpřesňovala – zřetelnější odlišení podprůměrné, průměrné a nadprůměrné práce např. za pomoci hodnotících adjektiv (banální práce, vyzrálý text), jednotlivá podkritéria byla popsána samostatně (např. lexikum x pravopis) na rozdíl od loňské škály, která popisovala pouze 3 hlavní kritéria. V tomto směru je bodová škála přijatelnější pro většinu učitelů, moji žáci ji přijali také dobře a domnívám se, že je srozumitelná i pro laickou veřejnost. Zvýšil se také celkový možný počet bodů, z 15 na 30. Tím se vyřešily dvě zásadní věci. Hodnotitel nemusel jako loni dělat určitý kompromis z jednotlivých podkritérií (např. žák dostal 3 body za pravopis, ale 1 bod za slovní zásobu, hodnotitel mohl dát buď průměrem 2 body, ale mohl se také přiklonit ke 3 bodům, nebo k 1 bodu, podle toho, co považoval pro samotný text za důležitější). Více bodů také poskytuje možnost lépe od sebe odlišit kvalitu jednotlivých prací.
Čím si vysvětlujete, že ono „nulové“ hodnocení měli velmi často právě vynikající studenti, kteří ve všech ostatních položkách maturity byli hodnoceni za jedna či za dvě?
To je další nepravdivé tvrzení, které se nezakládá na žádných dostupných datech, ale vychází pouze z toho, že právě tyto případy byly medializovány. Ráda bych tento problém uvedla na pravou míru. Počet žáků, kteří byli hodnoceni nulou, je 1570, tedy 1,8 % z celkového počtu žáků. Většina těchto žáků je průměrných. Budu nyní vycházet z dostupných analýz. Vyhodnotili jsme žáky s nejlepšími výsledky v didaktickém testu – u základní úrovně ty, kteří dosáhli alespoň 65 bodů z 69 možných, u vyšší úrovně ty, kteří získali alespoň 90 bodů z celkového počtu 100. Zde se skutečně bavíme o vynikajících studentech, celkem jich je 4491. NIKDO z těchto žáků nebyl v písemné práci hodnocen nulou. Myslím, že tato fakta jsou natolik vypovídající, že zamezí podobných nepravdám.
Ale já mám kontakty minimálně na deset studentů a studentek, kteří měli ve všech ostatních položkách maturity jedničky a dvojky, jen v písemné práci nulu. Vy tvrdíte, že nikdo takový neexistuje. Jak si ten rozpor vysvětlujete?
My jsme ale porovnávali výsledky DT a PP, jedničky z ústních jsou méně vypovídající, kvůli tomu přece je státní maturita, aby zajistila srovnatelnost. Jednička z ústního nemusí nic znamenat, jednička na jedné škole může odpovídat trojce na jiné škole. Není to tedy rozpor. Premianti – podle výsledků didaktických testů – žádné nuly nedostali.
Jakým způsobem jste se snažili dosáhnout shody hodnotitelů v pohledu na písemné práce?
Hodnotitelé během přípravy ohodnotili cca 160 písemných prací, ať už na prezenčních setkáních, či formou e-learningu. O těchto pracích diskutovali, stanovovalo se minimum, které by měla maturitní práce naplňovat. Hodnotitelé byli vedeni k tomu, aby penalizovali chyby, ale naopak bonifikovali např. invenční přístup ke zpracování tématu v 1. kritériu či jinde výběr jazykových prostředků. Důraz byl kladen na komplexní vyznění textu, stanovovaly se jednotné zásady, jak přistupovat k určitým problémům.
Bylo rozumné ve chvíli, kdy studenti nemohou dostat své „opravené práce“, systém externího hodnocení spustit?
Domnívali jsme se, že bodové hodnocení společně s bodovou škálou a případným komentářem u neúspěšných prací poskytne žákovi dostatečně informací o tom, proč byl hodnocen právě tímto počtem bodů. Zkušenosti z tohoto roku vypovídají o nutnosti změny v tomto směru.
Jaká byla struktura týmu, který písemné práce hodnotil?
Každý tým měl zhruba 20 členů – vysokoškolsky vzdělaných učitelů češtiny, naprostá většina z nich jsou aktivní učitelé z různých typů středních škol. Tento tým vedl VHT (vedoucí hodnotitelského týmu). Týmů bylo celkem 20. Protože nehodnotili všichni učitelé, kteří se školili, ale pouze ti, kteří prošli certifikační zkouškou, zůstalo 7 VHT bez týmu. Ti ale drželi pohotovost a byli k dispozici ke konzultaci problémových prací, čehož aktivní VHT hojně využívali. Na práci všech VHT dohlížel v každém předmětu jeden VHP (vedoucí hodnocení předmětu). Systém, do něhož se hodnocení zadávalo, měl na starosti analytický tým CERMATu.
Je reálné, aby hodnotitel kvalitně vyhodnotil zhruba sto padesát až dvě stě písemných prací?
Myslím si, že rozhodně ano. Na každý den vycházelo průměrně 10 prací, což každý učitel musí být schopen opravit i v běžném provozu. Vycházím nejen z vlastní zkušenosti, ale i z poznatků získaných během školení. Zkušenosti ze zahraničí dokazují, že je možné centralizovaně opravit i větší množství prací.
Kolik prací musel zkontrolovat Vedoucí hodnotitelského týmu a Vedoucí hodnocení předmětu?
Každý VHT musel zkontrolovat od každého hodnotitele minimálně 20 PP, tedy každou desátou práci, což je statisticky odpovídající vzorek. Při kontrole se VHT drželi určených pravidel kontroly, kontrolovali nejvíce práce s hodnocením nula bodů a pod cut off score (hranice úspěšnosti), poté namátkou práce podprůměrné, průměrné a nadprůměrné. Všichni VHT však nakonec viděli daleko více prací, byli velmi pracovití a zodpovědní. Jako VHP jsem zkontrolovala 2000 prací se zaměřením na práce hodnocené nulou a pod cut off score.
Jaké byly pravomoci VHT a VHP?
VHT i VHP dohlíželi na to, aby při hodnocení byla uplatňována stanovená metodika, a kontrolovali konzistenci hodnocení. Problematické práce mezi sebou konzultovali. V případě, že se hodnotitel od metodiky odchýlil, mohli dát pokyn k přehodnocení práce, většinou ale v případě, kdy konkrétní práce byla dalšími konzultanty z řad VHT hodnocena jinak. Pokud by hodnotitel neplnil termíny a bylo by ohroženo vydání vysvědčení, pak dotyčnému mohly být práce odebrány. To se ale stalo pouze v jednom případě. Stejný postup by byl uplatněn i v případě, kdy se hodnotitel stále odkláněl od stanovené metodiky.
Není problém v tom, že spektrum slohových útvarů, které studenti mají zpracovávat, je příliš široké?
Je jasné, že čím menší bude nabídka zadání, tím se bude zvyšovat i konzistentnost hodnocení. Já sama bych uvítala redukci počtu zadání např. na pět, ovšem s tím, že základní slohové útvary budou muset žáci zvládnout, do výuky slohu bych zcela jistě nezasahovala. Žáci by tak věděli předem (stejně jako dosud), na které slohové útvary se musí připravit, zadání při maturitní zkoušce by bylo výběrem z tohoto seznamu.
Proč jsou mezi „maturitní“ slohové útvary zařazeny i publicistické žánry, které pro kvalitní zpracování vyžadují přímý kontakt s realitou, což podmínky maturitní písemky neumožňují?
To bychom se stejně tak mohli ptát, proč se publicistika vyučuje na školách. Žák by měl zvládnout orientovat se v různých komunikačních situacích, u maturitní zkoušky pak tuto dovednost prokázat. Mnoho žáků se v běžném životě setká s tím, že se bude vyjadřovat i do médií, měli by tedy vědět, jakým způsobem svůj text koncipovat, jaké např. zvolit jazykové prostředky aj. Navíc řada publicistických útvarů umožňuje kreativní přístup a žáky často baví.
Jedna věc je, že to studenty baví a učí se to na školách. Ale nerozumím zařazení do maturitní písemky. V zavřené místnosti prostě nemohu napsat plnohodnotnou zprávu ani reportáž, protože realitu si musím vymyslet. Píšu tedy cosi, co jen předstírá, že je tím žánrem. Nerozumím smyslu takového „ověřování“. A to nekomentuji fakt, že školní představy o zprávě, fejetonu či reportáži se zcela zásadně liší od žurnalistické praxe.
Publicistické útvary se běžně zadávaly i v době „starých“ maturit. Tehdy byla na výběr 4 témata, většinou šlo o vypravování, úvahu, popis a některý publicistický útvar. V tomto směru tedy nevidím žádný problém, nejedná se o změnu. Vím, že Vy jste odpůrcem tohoto přístupu, ale věřím, že mnoho učitelů i žáků má na věc stejný pohled jako já. Stejně tak bychom mohli polemizovat o tom, zda žák je schopen napsat bez sekundární literatury výklad nebo odborný popis. Kdybychom byli skutečně striktní, pak bychom museli redukovat zadávané útvary pouze na úvahu (a to prostou, nikoli odbornou), popis prostý, charakteristiku, některé útvary administrativního stylu, líčení či polemiku. A to by jistě nebylo ku prospěchu věci. Cílem maturitní zkoušky není vychovat budoucí novináře či spisovatele, ale ověřit určité dovednosti, k nimž orientace v komunikační situaci jistě patří.
Existují fyzicky „opravené písemky“ – tedy list papíru s napsanou prací a zanesenými opravami hodnotitele?
Ano, každý hodnotitel měl práce zpřístupněné nejen v elektronické podobě, ale dostal je i v podobě tištěné. Do nich měl zapisovat své opravy pomocí značek náležících každému kritériu. Po skončení hodnocení tyto opravené práce zasílal zpět na CERMAT.
Proč opravenou písemku nemůže dostat student ani krajský úřad, který vyřizuje žádost o přezkum?
Práce jsou uloženy na CERMATu, bodové ohodnocení spolu s tabulkou popisující kritéria by mělo stačit k tomu, aby žák získal informace o důvodech bodového hodnocení své písemné práce. U prací, které nesplnily požadavky na maturitní zkoušku, měl žák navíc k dispozici komentář. Reakce veřejnosti však ukazují, že toto řešení se neukázalo příliš šťastné, pro další rok se proto budeme snažit upravit počítačový program tak, aby se opravy mohly dělat elektronicky přímo do scanu práce. Tu by si pak žák mohl vytisknout společně s hodnocením.
Prakticky ve všech hodnoceních, které jsem viděl, komentář buď chyběl, nebo byl velmi stručný a nesrozumitelný. Případně to byla jedna obecná věta. Existoval nějaký pokyn, jak mají tyto komentáře vypadat?
Na školení všichni hodnotitelé dostali pětistránkový manuál, jak mají komentáře vypadat. Pokyn byl následující: a/ v případě hodnocení práce nula body píšeme komentář vztahující se k 1. kritériu, které nebylo splněno (např. Práce neodpovídá požadavkům na 1. kritérium. 1A – text nereflektuje zadané téma, autor se zaměřil na své dětství, nikoliv na popis místa, které má rád. 1B – výsledný text není popisem, ale vypravováním zážitků z dětství.), b/ v případě hodnocení práce pod cut off score píšeme komentář vztahující se ke všem třem kritériím (např. Práce vykazuje pouze slabé prvky vypravování, jedná se spíše o popis událostí, velmi diskutabilní je naplnění tématu. Pravopisné chyby se objevují zřídka, slovní zásoba je velmi jednoduchá, ve větší míře se objevují výrazy s jiným významem. Odchylky od pravidelné větné stavby se objevují v takové míře, že znesnadňují vnímání textu, kompozice textu je nevyvážená, argumentace je nepřesná, povrchní nebo nepodložená.) Oba příklady komentářů jsou ze zmiňovaného manuálu. K pracím, které byly úspěšné, se komentář psal v podobě písmene N, tzn. „není třeba“. V těchto případech jsme se domnívali, že žák má dostatečné množství informací z bodového hodnocení a výroků ze škály. Do budoucna by jistě bylo vhodné doplnit komentář ke všem pracím. Během samotného hodnocení jsme naráželi na to, že některé komentáře nebyly vhodně a přesně formulované, hodnotitelé byli v informačních e-mailech pravidelně upozorňováni na to, jak má správný komentář vypadat.
Jakým způsobem Cermat vyřizuje žádosti krajů o přehodnocení písemné práce?
Žák zasílá odvolání na krajský úřad, ten rozhoduje o tom, zda je odvolání oprávněné, či nikoli. K tomu si může v CERMATu vyžádat posudek oponenta, který posoudí, zda se původní hodnotitel neodchýlil od stanovené metodiky. Práce, proti jejichž hodnocení se žák odvolává, dostane oponent, který není z týmu původního hodnotitele. Jeho oponentský posudek se pak posílá na příslušný orgán, který učiní konečné rozhodnutí.
Fakticky se tedy nehodnotí znova práce, ale hodnotí se hodnocení. Proč se to nedělá tak, že někdo naslepo zhodnotí tu práci znova, pak se porovná staré a nové hodnocení? Pro veřejnost by byl takový postup srozumitelnější a nevzbuzoval by obavy z manipulace ze strany Cermatu.
Práce se samozřejmě znovu hodnotí, mám-li posoudit, zda práce byla hodnocena správně, pak si musím nejdřív tuto práci opravit sám. Každý oponent měl k dispozici odvolání žáka, aby na něj konkrétně mohl reagovat, příslušnou práci tedy obodoval a původní hodnocení poté srovnal s tím svým. V případě, že se s původním hodnocením neshodl, navrhnul odvolání vyhovět.
Proč je méně problémů v hodnocení písemných prací z cizích jazyků?
Na jednu příčinu už jsme narazili – cizí jazyky mají pouze dvě zadání na každé úrovni, čeština deset. Cizí jazyky také mají zadání jinak – podrobněji – strukturované, tradičně důsledněji uplatňují analytický přístup k hodnocení, mají tedy například detailnější popis chyb. Důsledně analytický přístup je u hodnocení písemného projevu v mateřském jazyce těžko uplatnitelný, byl by na úkor komplexního pohledu na text, na jeho vyznění, působení, invenčnost. Neznamená to ale, že by nebylo možné některá kritéria či podkritéria hodnocení ještě zpřesnit, popsat. Je to věc další diskuze.
Jaké změny v hodnocení prací by bylo možné realizovat do příštího ročníku maturit?
Nejsme proti diskuzi o časové dotaci pro písemnou práci a o jejím rozsahu, pokud změny budou technicky a legislativně schůdné. Prospět by také mohlo zúžení témat, popsání prázdných deskriptorů v bodové škále a zpřesnění kritéria, v němž se hodnotí pravopis. Velkým posunem by byla i výše avizovaná možnost elektronicky zaznamenat chyby přímo do záznamového archu a standardizovaný, konkrétní a delší komentář u všech prací bez rozdílu. Na základě letošních zkušeností logicky také udělat „síto“ mezi hodnotiteli, měli by zůstat pouze ti, kteří hodnotili bez odchylek, udělat menší hodnotitelské týmy a posílit pozici VHP (přidat další lidi podle počtu písemných prací, v češtině tedy např. 4 VHP), tak by došlo ještě k důkladnější kontrole hodnocení. Dva hodnotitelé se supervizí třetího, který bude posuzovat všechny neshody u nuly, cut-off a větší než dva body, by byla ideální situace. Takto to spolehlivě funguje u posuzování otevřených úloh didaktického testu.
Změny maturit ale směřují spíš k tomu, že se příští rok už nebudou hodnotit centrálně. Co může Cermat udělat pro metodickou podporu hodnotitelů na školách.
Já osobně se domnívám, že odklon od centrálního hodnocení není šťastné řešení, je třeba spíše reagovat na příčiny nespokojenosti v letošním roce a ty odstranit, což je možné. Myslím si, že pokud se nyní vyhoví tlaku veřejnosti a hodnocení se vrátí zpět do škol, je to zásadní krok zpět, který zřejmě za několik let opět budeme zvažovat. V každém případě ale budou i v dalším roce opět probíhat konzultační semináře se zaměřením na společnou část maturitní zkoušky, připravujeme také další metodické materiály, rozšíříme informační servis pro školy i žáky, zkrátka budeme dělat maximum pro to, aby příprava na maturitní zkoušku byla úspěšná.
Gabriela Baumgartnerová je středoškolská učitelka, v CERMATu pracuje třináct měsíců. V rámci letošních státních maturit měla na starosti ústní zkoušku, působila jako vedoucí hodnocení prací. Učí na gymnáziu, dříve učila na základní škole, učilišti a Waldorfské škole v Příbrami.


801 Komentáře
Tady je zae legrace. Hned ráno. Asi napíšu druhý dopis panu ministrovi (kvůl propadlým slohům) a začnu se znovu věnovat své detektivce – stárnoucí psychiatr, ztracená češtinářka, totalitní STAMAT. Dobrý plán na prázdniny.
Slíbený blog:
http://valikova.blog.idnes.cz/c/279922/Maturita-se-vraci-zpet-do-skol-snad-nam-narod-nezblbne.html
Já nejsem pro podvody u maturity a ani vůbec. Nechci pro studenty maturitu zadarmo! Už jsem to taky tady někde psala- at se kontroluje i průběžně a provalení nějakého podvodu bych školy a učitele vážně trestala! Ale určitě bych neházela všechny školy do jednoho pytle- je to urážka! Já se za studia nesetkala s nějakým nadržováním, opisováním, tak jako mají lékaři své povinnosti, mají i učitelé- co takhle udělat komisi, která by operovala slepé střevo? Doktoři to dělají špatně a moc jednoduše. Fakt nechápu tu nedůvěru k učitelům! Kde se bere to, že se dává maturita zadarmo? Pokud se něco takového provalí, tresty, velké tresty, a tak se těm podvodům zabrání. Ono se to netýká jen maturity. Úplatky jsou všude- i v Cermatu, nevěřím že ne. Všude je nějaký známý a známý známého a to, že ti vyvolení hodnotitelé neměli učit-mít své maturitní ročníky, už v tom vidím ,,protekci” a tu nespravedlnost vůči ostatním studentům. Oni věděli přesně na co je připravit , na co upozornit své studenty – s čím a na co si mají dát jejich studenti pozor.
oprava: první věta měla končit “…kteří debatu sledují.” Omlouvám se.
Děkuji za vysvětlení, třeba sem ještě ve věci komise přibudou další názory, případně reakce některých členů, kteří komisi sledují.
Pane Perune, vy napadnete pana Feřteka a pana Chládka (nejsem příznivcem jeho strany, ale jeho přítomnost v komisi mi připadá politicky zcela logická), a vyčítáte mi údajný rýpanec do pana doktora Kostečky. Nechápu. A ano, jak už to tady někdo konstatoval, každá ministerská komise bude politická.
Já se opravdu divím hysterii některých zastánců státní maturity – co jiného měl ministr udělat než zjednodušit systém, který evidentně nefungoval (viz úplně zbytečné vyšší úrovně)? Navíc přece vůbec nevíme, jak bude maturita konkrétně vypadat, a tady i jinde už se hořekuje, jaká to bude hrůza. Větší hrůza než loni a letos to myslím nebude.
Pro pana Doležela
Kdybych chtěl ve svém příspěvku psát o validitě písemných prací z českého jazyka použitých jako nástroj pedagogického měření, nazval bych svůj příspěvek jinak. Třeba KTERÉ ZNALOSTI A DOVEDNOSTI MATURANTŮ SLOHY MĚŘILY?
Samozřejmě, že uvažovat o reliabilitě bez úvahy o validitě nemá smysl (u slohů i u didaktických testů). O validitě už se (trochu neuměle) diskutuje a jistě se o ní bude diskutovat ještě dlouho. Zastánci loňských i letošních didaktických testů z českého jazyka a literatury se zatím shodli především na tom, že i u velmi nepovedených úloh mohli i velmi slabí žáci rozpoznat, jakou odpověď od nich autoři testu očekávali. Pro diskusi o validitě testů z ČJaL to pokládám za vynikající východisko.
O reliabilitě slohů jsem psal hlavně proto, že mě znepokojuje lhostejnost, s níž veřejnost obecně přijímá převod “krátký písemný projev žáka” –> “známka 1 až 5″. Předpoklad, že například budoucí zaměstnavatel uvítá raději známku než kopii slohové práce, platil až do letošních maturit. Je-li ale zaměstnavatel trochu soudný, měl by si uchazeče raději posoudit sám. Pro skvělý příklad si každý může vygooglovat “Martin Macháček konkurs”.
Dokud nebudeme znát reliabilitu letošních maturitních slohů jako hodnotícího nástroje, nemá moc smysl operovat s dosaženými známkami, průměry, počty propadlých či naopak velmi úspěšných jako s rozumným obrazem reality.
Akademika Eduarda Čecha prý kdysi štvaly nevydařené předpovědi počasí. Na základě analýz poradil meteorologům, aby předpovídali, že “zítra bude stejně jako dnes”. Jejich předpovědi by byly statisticky úspěšnější.
Možná lze něco podobného poradit u státní maturity. Kdyby Cermat přiřadil maturantům známky podle nejvyššího dosaženého vzdělání rodičů, byl by třeba výsledek (statisticky) mnohem spolehlivější.
Pane Foldyno,
čekal bych, že v takovéto komisi bude v první řadě někdo, kdo je zodpovědný za současnou podobu maturit, aby vysvětloval, obhajoval, vyvracel případná neporozumění, dezinterpretace atd. Čekal bych, že pokud dojde ke změně v oblasti hodnocení PP z ČJaL, bude výsledkem diskuse metodiků češtiny z vysokých a učitelů ze středních škol (a nečekal bych tam politcké šíbry typu M. Chládek či “novináře” bez etiky p. Feřteka – pokud to měla být ODBORNÁ komise – takhle je to komise politická). Nestalo se tak a již sám tento fakt je jasným ukazatelem, že komisi nešlo o objektivní posouzení a hledání optimální varianty. Hlavní je ušetřit, vsadím se, že i proto se nebude v nejbližších dvou letech povinně maturovat z druhého jazyka, znamenalo by to podstatné navýšení nákladů na hodnocení.
Kdo z četinářů v komisi byl? Ministr? Jistě, bohemistiku vystudoval, ale učil někdy češtinu na SŠ? Ne. Pan Hausenblas? Stejný dotaz, stejná odpověď -ale je alespoň v oboru, byť mě irituje, když někdo učí na VŠ metodiku a před katedrou v podstatě nikdy nestál, nebo to bylo velmi dávno. O Jiřího Kostečku tady nešlo, tenhle rýpanec jste si mohl ušetřit.
Na hybrid, který z jednání vzešel, je škoda slov. To už raději měli NM jako celek odpískat a nechat jen nějakou centralizovanou zkoušku, jak se zde v diskusi již mnohokrát objevilo. Ale to by přineslo další problémy, další práci, peníze…
Pane Sárközi,
víte, že mě Váš poslední příspěvek ani trochu nepřekvapil? Nečekal jsem, že byste zrovna Vy byl schopen nějaké noblesy, která by slušela “vítězům (jakkoliv jde o vítězství Pyrrhovo, jak trefně konstatuje dr. Kostečka). Ono už to tak bývá u těch, kdo ze sebe dělají zásadové lidi a křičí do světa, že na anonymní příspěvky neodpovídají, a když jsou usvědčeni z toho, že nepíší pravdu a odpovídají (avšak jen na ty, s nimiž názorově konvenují), “charakterně” mlčí…
Dobré ráno,
tak přemýšlím nad faktem, proč si mnozí pisatelé myslí, že se na školách hromadně podvádí a že se problém vždycky nějak “ošéfuje”. A také přemýšlím nad tím, proč si myslí, že stát tohle všechno změní. Když se dívám kolem sebe a vnímám tu bídu české politiky, mám pramálo důvodů státu a věřit. Chtěla bych připomenout, že těch “cermatích” zklamání bylo více než dost.
Maturovala jsem loni, kdy byl projekt státní maturity spuštěn, vzpomínám si, jak jsme byli rozrušení a zklamaní faktem, ře CERMAT naprosto nezvládl vytvoření databanky pracovních listů k ústní maturitě, přestože na to měl patrně roky. Vypracovaných listů bylo málo, naprosto nepokrývaly potřebné spektrum autorů. A pak jim ještě unikly, k čemuž vydávali lživá a matoucí provolání.Chápu, že mnozí kantoři si své pracovní listy chtějí udělat stejně sami, já jsem však byla postavena před fakt, že musím ve velmi krátkém časovém období zvládnout vytvořit 180 pracovních listů, protože jsem měla čtenářsky velmi disponovanou třídu a chtěla jsem jim umožnit maximální volnost ve výběru kvalitní literatury. Připomínám, že CERMAT vyráběl své pracovní listy za peníze, já zadarmo. Je pravda, že maturita (téměř všichni si vybrali vyšší úroveň) pak byla zábavná, neboť se neopakovaly stále dokola tytéž tituly. Pak přišlo zklamání z didaktických testů, když jsme se v kabinetech dohadovali, jestli je otázka jednoznačná a kolik má vlastně odpovědí. A zuřili jsme nad testovými úlohami, které se týkaly interpretace uměleckého textu.To jsme ale ještě vůbec netušili, že největším problémem se stanou slohovky…Vím, že to, co je nové, se těžko prosazuje a že na počátku projektu je nutno počítat s problémy. Musím však říct, že mě CERMAT o své schopnosti projekt státní maturity vyřešit opravdu nepřesvědčil. Spíše za ním vidím spoustu neprofesionální práce a slyším cinkot zlaťáků…nehledě na fakt, jak dokonalou úřednickou mašinérii vymyslel – rozvážení testů v papírové podobě v době PC, nesmyslné množství protokolů na každého žáka (ó ty naše lesy). Tak nevím…
Lenka Dohnalová
Mně osobně nepřítomnost češtinářů v ministerské komisi nevadí: doby, kdy v každé komisi musely být zastoupeny všechny “složky”, už jsou snad za námi.
Vadí mi ale, že v komisi chybí dr. Jana Straková, která se dlouhodobě zabývá jak vzdělávací politikou, tak testováním. Věnovala se mj. řadu let organizaci mezinárodních průzkumů výsledků vzdělávání v Česku (TIMSS, PISA, čtenářská gramotnost ap.) a zastupovala nás také v řídicích grémiích těchto projektů.
Kombinace velkých znalostí ze vzdělávací politiky (včetně přehledu o tom, co se děje v zahraničí) a z testování je poměrně unikátní. Ze zkušeností dr. Strakové bychom mohli mít užitek všichni. Nezapomínejme totiž, že projekt státní maturity je především velmi nedomyšlený, jak se po pouhých dvou letech provozu jednoznačně ukázalo. Příprava její podoby pro léta 2015+ nemůže probíhat stejně diletantsky, protože výsledek by byl stejným průšvihem jako dnes.
Dr. Straková je dostatečně schopná a odolná vůči různým případným tlakům. Může být pro práci komise velkým přínosem. Je ovšem možné, že jí to bylo nabídnuto a odmítla.
Vlastně bych se jí – po jejích dlouhodobých zkušenostech s činností MŠMT – ani moc nedivil.
Prosím, mohl by někdo velmi jednoduše vysvětlit, co je špatného na složení ministerské komise? Jenom to, že tam ministr nejmenoval pana doktora Kostečku a že tam (údajně) nesedí žádný češtinář? (To alespoň vyplývá z dosavadní diskuze.) Díky za odpověď, opravdu by mě to zajímalo.
Pardon. A stejně ta maturita není objektivní, tedy ta státní, protože se ve třídách mohutně opisuje… Jako to bylo ostatně vždycky. A to je dobře. Patří to ke školnímu humoru. A stejně tady nikdo nebude věčně, tak proč stále něco hrotit a hrotit. Jo vlastně aha, někdo si chtěl zase nahrabat. Škoda, že to musím platit i já, jakožto daňový poplatník. Cermate kliď se!!!
Je mi 40. Maturovala jsem před 25ti lety. Ve slohu jsem nikdy dobrá nebyla a maturitu mám. Nikdy v životě se mě nikdo neptal zda jsem nepodkročila a já sama si na ,,slohovku” vůbec nepamatuji. Není to pro život vůbec důležité. Mám se dobře a fakt to není tou maturitou. Ke startu do života je lehkou výhodou. Některé příspěvky zastávající se hodnocení slohových prací Cermatem jsou směšné a připomínají mi výkřiky do tmy nějaké sekty.
Tisková zpráva: V pátek 20. 7. od 22 hodin se koná na pražském Slavíně tanec na hrobech funkční stylistiky. Následuje rytířské klaní, ve kterém se s konečnou platností a na věky věků rozhodne, zda je tento text oznámením nebo zprávou…
Pane Kostečko, já samozřejmě chápu, že ” argumentaci IB maturitou jste užil jedině pro podpoření názoru, že objektivní hodnocení slohů mimo školy a podle jednotných kritérií je možné a že ve světě už také dávno normálně funguje. ”
Co jsem chtěl naznačit je to, že tam centrální objektivní hodnocení možná úspěšně funguje proto, že hodnotící kritéria jsou nastavena o maličko jinak a jsou také o maličko jinak uplatňována.
S trochou zkreslení a jako příklad přístupu – tam kde jinde hledají “naplnění literárních konvencí” (alespoň trochu), máme my zvyk hledat “odchylku od pravidel funkční stylistiky” ( i malou).
)
(Mimochodem, krásným příkladem rozdílu v uvažování zvířat v zoo a na svobodě jsou příspěvky pana Podhajského, který zřejmě – a jak ho, doufám, správně podezřívám – uprchl za vyšším vzděláním do nějaké vzdálené anglosaské země a dobře mu tak. Řekl bych, že se vám povedl.
Pokud jde o ministerskou komisi, máte naprostou pravdu. (Ale viděl kdy svět dobrou ministerskou komisi?)
Ohledně hrobů funkční stylistiky – nemám ve zvyku tančit na hrobech, avšak – ač, spolu s V+W, nejsem ve vašem obdoru školán ani vzdělán – laickým pohledem zvenčí mi funkční stylistika nápadně připomíná funkcionalistickou architekturu – na první pohled krása, ale bydlet v tom bývá za trest.
Pro pana Šteffla:
Jo, ideální by bylo, kdyby to studenti rovnou psali na počítači (bez korektoru..hihi). Předloni jsem do sborníku studentských prací své oktávy opisovala asi šest klauzurních a deset maturitních slohů – uff.
Dopsala jsem blog, zítra vám ho sem plácnu. Dobrou.
Dokončení – nikdo se také nezabýval tím, že dobří učitelé mohou mít velmi špatné žáky, kteří mají velmi slabý projev, ale kvůli komplexnímu charakteru předmětu k maturitě vždycky nějak dodou, a také tím, že na část učitelů škola vyvíjí nátlak směřující k nadhodnocování prací, zejména těch hraničních. Tuším, že právě tohoto bodu se dotkla i G. Baumgartnerová.
To je naivní domněnka, pane Šteffle. Na mnohých školách se to vždycky nějak “ošéfuje”. Vysvětlete prosím, jak byste ony špatné učitele definoval, našel a jak byste je naučil učit dobře. Kdo by měl pravomoc to takto stanovit? Nezapomeňme, že několik let probíhaly semináře určené učitelům a jak učitelé, tak i žáci věděli, že je bude hodnotit někdo jiný. To, že byla schválena státní maturita, mělo být pro učitele zanedbávající stylistiku nebo pro ty, kteří nechávají projít i nesrozumitelné práce, posledním varováním. Na školách by navíc také měly fungovat předmětové komise a ředitelé se měli zvýšeně zajímat o to, zda jsou jejich žáci adekvátně připravováni na maturitní zkoušku. Pokud u stejného hodnotitele na jedné škole, kde je sto žáků, uspějí všichni, a na jiné pouze polovina, tak kde je problém?
Myslím, že dnešní výrok ministra Fialy byl předčasný – měl počkat na detailní analýzy a zejména na srovnání s loňským rokem.
Ondřej Šteffl píše
ad: tanec na hrobě české stylistiky
Navrhuji znovu, aby se (ve školách) opravené písemné práce povinně vyvěšovaly na web, a to včetně hodnocení. Pak je možné pracovat s učiteli, kteří špatně učí nebo nesprávně hodnotí. Ale případný postih dopadne na učitele, ne na žáky, kteří za nic nemohou
….
a to by snad neměl být problém
Tady je to vážně samý češtinář.
pro paní Valíkovou
vyvěšovaly
ad: tanec na hrobě české stylistiky
Navrhuji znovu, aby se (ve školách) opravené písemné práce povinně vyvěšovali na web, a to včetně hodnocení. Pak je možné pracovat s učiteli, kteří špatně učí nebo nesprávně hodnotí. Ale případný postih dopadne na učitele, ne na žáky, kteří za nic nemohou.
Ano !
Ono se vůbec nic nedalo najít na stránkách Cermatu
( děkuji za Eduin )- tam se nediskutuje, tam se pouze dává na vědomí a konec!
Pro pana Šteffla:
…maturantů kteří…. dosáhli….
Ale jinak v pohodě. Nemohli bychom se my, češtináři, soudit kvůli ušlému času? Tak 500 – 1000 hodin práce bych napočítala. Byla by to legrace.
Kdyby tak MŠMT chtělo celý CERMAT zrušit a na pořádání státních maturit vyhlásit tendr, který by vyhrálo konsorcium firem SCIO a Kalibro, to bychom jistě měli všechny hodnoty hned,pokud by tedy někoho zajímaly.
A já mám radost, že jsem poznala pana Foldynu, paní Dohnalovou, paní Daňkovou, že jsem se zase po letech potkala s Šárkouz Šandovou a Ivanou Kimlovou, že znám pana Lippmanna, paní Bickovou a paní Novákovou z Ostravy a další češtináře, kteří se už několik let perou a dávají hlasitě najevo svůj názor.
Jak říká Sam Křepelka, důležité je dokončit příběh, neutéct, nenechat prsten Odule či Sarumanovi.
Krásné léto, dobrou noc.
O reliability jsme CERMAT požádali podle zákona 106/1999 Sb. o svobodném přístupu k informacím. Kupodivu jsme je dostali (jedna z mála řádně vyřízených žádostí). Dám je na web a dám zde odkaz.
Zatím:
Cronbachovo alfa
Český jazyk základní vezre 2011 0,74; 2012 0,69
Matematika, základní verze 2011 0,87; 2012 0,86
Matematika, vyšší verze 2011 0,82; 2012 0,79
Což mj. znamená, že skoro tři ze čtyř propadlíků v ČJ základní verzi pravděpodobně propadnout neměli. Na druhou stranu neoprávněně prolezla asi stovka žáků, ale to už není tak bolestivé.
Dnes jsme odeslali další žádost:
.
o anonymizované kopie všech písemných prací s hodnocením 0, 11, 12 a 16 bodů všech maturantů, kteří v didaktickém testu z českého jazyka dosáhly alepoň hranice 87% bodů. Ke každé práci žádáme dále uvést všechny další výsledky u společné části maturitní zkoušky, kraj, pohlavi a kompletní hodnocení písemné práce hodnotitelem a údaj, zda maturant podal žádost o přezkum a zda šlo o maturanta v kategorii PUP.
Zde ovšem pochybuji, že bez soudu uspějeme. Ale my to nakonec vysoudíme
Nic nebrání nikomu, aby CERMAT požádal o to, co ho zajímá.
Jak na to viz http://www.otevrete.cz/zadosti-o-informace/zadatel/
A kdyby Vám napsali, že nejsou povinnou osobou, tak my už máme v ruce pravomocný rozsudek, že CERMAT je povinnou osobou.
Zdeněk Sítař
Unavuje to všechny. Většina z nás asi nemá o prázdninách chuť hádat se po nocích kvůli školním záležitostem. Ale týká se to jak nás, tak studentů. Jen doufejme, že se to opravdu stihne legislativně…
A ještě jedna věc: jestli má celý tenhle cirkus nějaký smysl, tak je to tahle debata. Dozvěděl jsem se tady spoustu zajímavých a důležitých věcí a mám o čem přemýšlet. Jen mi vrtá hlavou, proč něco takového není možné na stránkách Cematu…
Děkuji všem, kteří mají zásluhu na přesunutí slohu zpět na školy a děkuji i panu děkanovi z VUT FSI, že počká přijatým studentům s doložením maturitního vysvědčení do 27.9. – snad to Cermat stihne a nebude to bojkotovat.
Chystám se opět napsat poslanci Chládkovi a dalším – nemohou přece nechat děti a jejich rodiče jít znovu do soukolí Cermatu. Všichni ví, že je to špatně a přitom tomu budou přihlížet? Jak říká manžel:,, Až stát a lidi bude živit znalost slohu a stylu, je tabulka hodnocení Cermatu vpořádku. Zatím na teoretiky českého jazyka vydělávají technici, tak ať se teoretici přizpůsobí.´´Podstatné je psát česky bez hrubek. A vůbec mi nevadí, že se jim to nebude líbit – mně se také jejich příspěvky nelíbí. Také se mi nelíbí, že někteří nazývají propadlé studenty ,,lemply a flákači´´ a přitom je neznají, neví jací jsou studenti, soudí jen z hodnocení dle pochybné stupnice.
Je tedy ještě nějaká možnost jak změnit hodnotitele podzimních maturit?
Lukáš Foldyna:
Možná máte pravdu, je to jen první nástřel, a stejně si myslím, že se to do září nestihne. Jen mě to už unavuje. Něco se zavede, pak se řekne, že je to blbě, tak se to změní, pak se ta změna zase někomu nelíbí a změní se to znovu, a my pak budeme stát v září před dětmi jako blbci.
Ministr školství se zjevně rozhodl dát přednost veřejnému mínění před argumenty. Přinesl někdy takovýto postup všeobecný užitek?
Veronika Valíková:
Cit a pokora se může u slohu projevit tím, že se řekne: no jo, chudák Martička, má to sice samou hrubku, téma pokulhává, ale je hodná a chodila sem, tak za 12 bodů a je to. O tohle se mi jedná.
to Botlík: Cituji: “Předpokládejme, že sloh je hodnocen chybně, když oba výsledky hodnocení nevedou na stejnou známku.”
Pokud to myslíte jen jako implikaci, pak chybný je každý sloh, který byl hodnocen nejednoznačně, ale co ten zbytek? Každý sloh, který byl dvěma nezávislými hodnotiteli nezávisle hodnocen stejnou známkou chybně hodnocen není? To přece závisí na konkrétních hodnotitelích. Když seženete třetího, pravděpodobnost shody všech tří hodnocení klesne. Pokud bude každý slouh hodnotit 100 hodnotitelů nezávisle, je neshoda v hodnocení prakticky jistá. To ale stále hovoříme pouze o reliabilitě, nikoliv validitě. Reliabilita je ve své podstatě nějaký odhad konzistentnosti získávaných výsledků, který lze provádět různě. Pokud ale test není validní, pak je jeho reliabilita celkem irelevantní.
Pane Sítaři, nikdo přece neví jak konkrétně bude maturita vypadat. Viděl jste dnešní tiskovou konferenci? Vidím to tak, že se prostě stanovil model pro následující dva roky, u kterého ale nikdo neřekl, jak konkrétně bude maturita probíhat – nikde není řečeno (zatím), že metodika hodnocení nezůstane stejná a práce hodnotitelů na školách se nebude nějakým způsobem kontrolovat. Máme dva roky na to, abychom se dopracovali nějakého dalšího vývoje v této oblasti. Ministr přece jasně řekl, a odborná skupina ho v tom podpořila, že chce mít státní maturitu. Ale když zjistíte, že výrobní linka vyrábí zmetky (omlouvám se, kradu tento příměr komusi z této již poměrně nepřehledné diskuze), nenecháte ji přece dál chrlit vadné výrobky. Třeba se ukáže, že je za určitých okolností možné za tři roky spustit maturitu více méně v takové podobě, v jaké se s tím počítalo pro příští rok, jen v lépe propracovaném provedení. To není přece tanec na hrobě české stylistiky ani snaha zlikvidovat české vzdělávání – vždyť maturita se připravuje od devadesátých let, a my tady budeme naříkat kvůli dvěma rokům zdržení? (A pokud za daný stav chcete někomu poděkovat, myslím, že bychom měli se slzou v oku vzpomenout bývalého ministra Dobeše a ovšem pana Zeleného.)
Pro pana Sítaře:
Co máte proti “citu a pokoře”? To jsou úžasné hodnoty.
Pro pana Kostečku:
Mně vadí, že v komisi není jediný praktikující češtinář. Říkala jsem to i v televizi. Konečně se na něčem shodneme.
Pro pana Botlíka:
Jedna moje velmi nadaná studentka dostala ze slohu 20 bodů. Téměř nejnižší počet ze třídy (nejméně bylo 17 ve VÚ O). Byla smutná, otrávená, bezrdaná, dostala z ČJL dvojku. Ona mě vlastně ponoukla k založení stránek a iniciativě VrMaŠ. A pak ji přijali na žurnalistiku. Pěkná satisfakce. Děkuji, Marie.
Tady je vysvětlení, proč se nezabýváme slohy studentů, kteří prošli. Nejsou podstatné. VŠ známky z letošních maturit nezajímají – zajímá je pouze, zda student má či nemá maturitní vysvědčení.
Lukáš Foldyna: Rozumím, co člověk, to jiný názor.
Odpůrci centrálního hodnocení:
Dle mého názoru však centrální hodnocení o objektivitu neusilovalo-to snad ani nelze. Šlo mu jen o to, aby se kritéria vykládala jednotně. Objektivitou se spíš myslelo to, aby nebyl hodnotitel zatížen osobní vazbou, aby se do hodnocení nepromítalo ono známé: no tohle je ale pěknej vejlupek, dáme mu za tři….
Nejsem schopen posoudit, zda se za IA či IB má či nemá dávat nula, to je úzce odborný problém. Kvůli tomu snad ale přece nebylo nutné křičet, že je celé hodnocení špatné a nadávat na hodnotitele a požadovat zrušení centrálního hodnocení.
Teď když se vrátí hodnocení do škol, zase si ta kritéria bude každý vykládat po svém, ale to už pak vůbec nemusí být kritéria žádná a bude se hodnotit postaru” s citem a pokorou.” Hodnocení se tak stane ještě subjektivnějším než doposud.
to Kostečka: Myslím, že je to důvod k oslavě i pro nás, podporovatele centrální a obtížné maturity. Na dlouhá léta dopředu máme díky matkám synů a jejich synům i dcerám zajištěnu velmi dobře placenou práci a minimální konkurenci na trhu práce. Bude pokračovat devalvace vzdělání, zavádění školného a lezení do zadku stupidním médiím, samozvaným “odborníkům” a ukřičené veřejnosti. Doufám, že alespoň ta matematika bude povinná a bude na úrovni blížící se té letošní vyšší verzi-alespoň trochu. A příští rok budeme místo slohů řešit kterak je nelidské chtít po maturantech znalost matematické indukce a trojčlenky.
JAK MOC CHYBOVALI HODNOTITELÉ SLOHŮ?
Zjistil jsem po návratu z hor, že diskuse o míře chybovosti hodnocení písemných prací z českého jazyka se od června posunula jen pramálo. Nedá se sice říct s dr. Přidalem a panem Kaplanem, že se neposunula „ani o píďu“, ovšem jenom díky tomu, že stále více diskutujících dává najevo, jak tento údaj pokládají za důležitý. V porozumění obsahu pojmu „chybovost“ se podle mého názoru i nadále vyskytuje plno nedorozumění a dezinterpretací.
„Standardy pro pedagogické a psychologické testování“ přijaté třemi americkými profesními asociacemi (český překlad Testcentrum, Praha 2001) mj. požadují, aby odhady míry chybovosti byly uvedeny pro všechny výsledky pedagogických měření, které mají být interpretovány (například výrokem prospěl/neprospěl nebo převedením na známku). Cermat sice není povinen se americkými standardy řídit – denně však narážíme na následky toho, že je ignoruje.
Míru chybovosti hodnocení slohů totiž stále neznáme. Co když má výsledek ve slohu špatně třeba 40 % žáků? Neztratí pak výsledek žáka ve slohu interpretovatelnost, protože bychom s vysokou pravděpodobností nevěděli, zda jeho sloh patří mezi 2/5 chybně hodnocených, anebo mezi 3/5 správně hodnocených prací? Teprve poté, až bude míra chybovosti známa, může mít smysl diskutovat o tom, jak skvělá či mizerná jsou kritéria hodnocení a zda je hodnotitelé dodržovali důsledně, anebo naopak postupovali velmi často svévolně. Do té doby jsou ty diskuse postavené z velké části na vodě. A také jalové. Dovolím si proto zopakovat některá vysvětlení.
Míra chybovosti
Kdyby každý sloh hodnotili nezávisle na sobě dva různí hodnotitelé, mohl by Cermat nakonec porovnat výsledky hodnocení u každého slohu. Kdyby byly pokaždé stejné, což je samozřejmě jen teoretická ideální možnost, byla by míra chybovosti nulová. Například mezinárodní průzkum PISA dosahuje při hodnocení otevřených úloh (takových, kde žáci sami tvoří odpověď) chybovosti kolem 5 %. Každá dvacátá odpověď je tedy hodnocena chybně. Proškolení hodnotitelé PISA však obvykle hodnotí odpovědi, které jsou poměrně krátké, očekávaná správná odpověď má jen několik málo požadovaných znaků a ve skutečné odpovědi lze vcelku snadno rozpoznat, zda je obsahuje. V Česku píše testy PISA jen několik tisíc náhodně vybraných žáků. Lze tedy očekávat, že při hodnocení cca 90 tisíc výrazně složitějších slohových prací cca 400 hodnotiteli bude chybovost výrazně vyšší.
Pro potřeby maturity můžeme být poměrně benevolentní: Předpokládejme, že sloh je hodnocen chybně, když oba výsledky hodnocení nevedou na stejnou známku. (Vím přitom, že každý sloh byl původně hodnocen jen jednou – zatím jen vysvětluji.)
Nesprávné představy
Všiml jsem si, že některé diskutující zajímají v této souvislosti jen slohy hodnocené HŮŘE, než by hodnoceny být měly. Nejzřetelnějším příkladem jsou slohy žáků, kteří kvůli nim neodmaturovali, ačkoli odmaturovat měli. Tito diskutující (často třeba rodiče) se silně ztotožňují s pocity takového žáka (samozřejmě – jde o jejich syna či dceru). Mám pro ně velké pochopení, ale vnímají jen část celku.
Stejným problémem jsou totiž slohy hodnocené LÉPE, než by měly být hodnoceny. Přijímačky na VŠ nebo konkurence na pracovním trhu jsou něco jako závod v běhu. HORŠÍ hodnocení slohu si můžeme představit tak, že postižený žák běžel s těžkým batohem. Poškozen je on sám, ostatní jsou zvýhodněni. LEPŠÍ hodnocení si můžeme představit tak, že zvýhodněný žák směl použít doping. On sám je zvýhodněn, ostatní jsou poškozeni. Nespravedlivé je samozřejmě obojí.
Nesprávné by samozřejmě také bylo, kdyby se diskuse o správnosti hodnocení týkala jen žáků, jejichž práce byly hodnoceny počtem bodů v určitém omezeném rozsahu. Má-li systém hodnocení slohů obstát, musí fungovat správně v celém rozsahu hodnotící škály. Nefunguje-li, je třeba zkoumat proč: kvůli nejasným pravidlům, kvůli nekvalitním hodnotitelům, kvůli jejich chybné motivaci či kvůli nedostatečné kontrole? Anebo nemůže fungovat správně takříkajíc z podstaty věci?
Jak zjistit míru chybovosti
Přesně bychom ji zjistili, kdybychom nechali každou práci ohodnotit znovu. A to stejnými, případně stejně proškolenými hodnotiteli, za stejných či podobných podmínek (finančních, časových, pod stejnými kontrolními mechanismy). Žádný hodnotitel by nesměl hodnotit stejnou práci podruhé a nesměl by znát první hodnocení. To by samozřejmě bylo finančně i časově velmi náročné. Míru chybovosti bychom ovšem znát měli – například kvůli tomu, abychom věděli, zda má vůbec smysl snažit se hodnotitele na školách (pokud tak příští dva ročníky proběhnou) proškolit v podobném systému hodnocení, anebo nechat hodnocení pouze na nich.
Chápu sice, že autoři hodnotících kritérií si svou práci nemůžou vynachválit, ale možná není vůbec použitelná pro funkce, které má státní maturita plnit (ty navíc i nadále zůstávají nevyjasněné).
MŠMT by tedy mělo zjistit míru chybovosti aspoň přibližně. To znamená, že získá hodnotu, o které bude možné s vysokou pravděpodobností prohlásit, že se od skutečné míry chybovosti liší jen velmi málo. Takový postup vyžaduje minimálně to, aby byl znovu „naslepo“ ohodnocen náhodně vybraný reprezentativní vzorek prací. „Reprezentativní“ v tom smyslu, že v něm budou zhruba ve stejném poměru jako v celém souboru zastoupeny práce s určitým výsledkem hodnocení, práce z různých typů škol, práce chlapců i dívek apod. Ten vzorek nemusí být příliš velký – řekněme 1 000 až 2 000 prací. Připomínám, že EDUin navrhl zjistit míru chybovosti při hodnocení slohů už více než před měsícem – 8. června. Bez odezvy.
Reliabilita didaktického testu
Míra chybovosti při hodnocení slohů je speciálním případem vlastnosti hodnotícího (měřicího) nástroje, které se říká reliabilita. Ta vyjadřuje, velmi zhruba řečeno, jak velkou chybou je měření zatíženo. Zatímco u slohů bychom museli chybu měření zjišťovat druhým, „slepým“ hodnocením alespoň na vzorku prací, u didaktického testu (jako byly ty z českého jazyka a literatury, z cizích jazyků, z matematiky nebo z dalších předmětů) ji lze spočítat z odpovědí žáků (pokud test psalo dost žáků).
Je třeba říct, že údaje o realiabilitě letošních didaktických testů Cermat dosud nezveřejnil. Nejsem si vědom ani toho, že by je zveřejnil u testů loňských (nemůžu za to ale dát ruku do ohně). VEŠKERÉ výsledky didaktických testů i hodnocení slohů je tedy zatím třeba brát s rezervou. Jejich interpretace totiž může být zatížena nepřijatelně velkou chybou (tj. jejich realiabilita může být příliš nízká).
Přinejmenším u didaktických testů z českého jazyka a literatury, loňských i letošních, se toho obávám.
Pane Guste, dnes už je to asi jedno, ale pokud jste četl mé předešlé příspěvky, snad jste si všiml, že argumentaci IB maturitou jsem užil jedině pro podpoření názoru, že objektivní hodnocení slohů mimo školy a podle jednotných kritérií (chcete-li: tabulek) je možné a že ve světě už také dávno normálně funguje. Prvky funkční stylistiky (byť nesystémově) se ostatně objevují i v dalších kritériích hodnocení IB slohů.
Pokud jde o naše české nuly v 1A, 1B, opět se budu opakovat (a zároveň použiji argumentaci J. Soukala): Samozřejmě že existují útvary smíšeného rázu, v nichž se prolínají různé slohové postupy. Ujišťuji Vás však, že hodnotitelé byli velmi důrazně instruováni, aby u takových útvarů byli na nuly v 1B neobyčejně opatrní – to by byl třeba případ líčení x vyprávění. Jak už třikrát psal Perun, pouštěli jsme i záměnu zprávy za oznámení a dodám, že se tak stalo na mou přímou intervenci (doličný mail mám v poště). Rovněž jsem velmi hlídal – ve staré maturitě přitom často sankcionované – nesprávné nulování částečné záměny úvahy za výklad (už roky učím a ve své učebnici pro G explicitně upozorňuji, že většina odborných textů tohoto rázu má právě smíšený charakter, a uvádím i hojné příklady úvah s výkladovými prvky).
Ovšem opravdu se nezlobte: jestliže někdo zamění nabytí pověrčivosti za její ztrátu nebo zamění fejeton za jasnou reportáž, pak nesplnil zadání. Napadá mne, jak by reagovala zahraniční univerzita, pro niž bych psal doporučení svého maturanta kpřijetí, a napsal ho namísto požadovaným administrativním stylem jako povídku, v níž kandidát překonává alegorické nástrahy v cestě za vzděláním, a tím dokazuje svoje akademické předpoklady. A hájil bych se po valíkovsko-hausenblasovsku originalitou, kreativitou, neotřelostí. Možná bych byl opravdu originální, ale dotyční maturanti by mne následně asi příliš nepochválili.
Ano, možná trochu přeháním, ale opravdu jen trochu. A ujišťuji Vás, že pokud některý z hodnotitelů skutečně přes všechna upozornění dával nulu JEN za budoucí čas u zprávy nebo JEN za to, že maturantův pokus o fejeton nebyl á la Čapek či Vaculík, nejraději bych mu osobně řekl pár nepublikovatelných slov od plic.
Tím ovšem ani o milimetr neustupuji od přesvědčení, že zrušení centrálního hodnocení oprav maturitních slohů je velkou chybou, která se nám v příštích dvaceti letech šeredně vymstí.
Poslední věc, nejen pro Vás, a zase se budu opakovat: Opravdu nikomu ani z odpůrců nové maturity nevadí složení komise navržené panu ministrovi? Komise, která vznikla – nic si nezastírejme – právě kvůli českým maturitním slohům, ne kvůli matematice? Komise, v níž ale přitom nebyl jediný praktikující středoškolský češtinář?
Zajímavé je, že když tohle uvádím, nikdo nereaguje. Asi je jasné proč. Na tohle se prostě nic říct nedá.
Vítězové, slavte. A nezapomeňte si přitom zatančit na hrobech zakladatelů funkční stylistiky, jednoho z mála skutečně velkých počinů českého ducha ve 20. století.
Jiří Kostečka
Souhlasím s kolegou Foldynou. Mnoho jsme o tom diskutovali.
Samozřejmě jsme dříve brali v úvahu odchýlení od tématu/útvaru. Ale mírněji. Strhli jsme stupeň – dva. Pětka ze slohu byla za naprostý blábol a jazykovou negramotnost. Pokud by student místo o lásce psal o lachtanech, asi bych mu tu kuli dala. Ale kdyby psal o lachtaní lásce…
Pravidla a zákony mají sloužit lidem, ne jim škodit. Někteří hodnotitelé CERMATU opravovali některé slohy skutečně rigidně. Měli k dispozici pětibofdovou škálu u každého kritéria – a když usoudili, že se student odchýlil od tématu či útvaru (1A, 1B), dali nulu a nepodívali se, jestli tam někde mezi těmi lachtany není velké L a rým láska-páska. A to my kritizujeme. Proto tvrdím, že systém vede dílem k subjektivnímu hodnocení a dílem je ovlivněn ideologií.
Mně tabulka až tolik nevyhovuje, neboť mám jiný systém. Ale pokud panu Foldynovi nevadí (a budou jiní kolegové, kterým usnadní rozhodování), nikdo jim ji jistě brát nebude.
V didaktickém testu může být otevřená úloha – krátký text- který prokáže, zda student umí napsat třeba žádost nebo úřední dopis. Tam je funkční styl na místě.
Paní Dohnalová, děkuji, slohy přepošlu.
A proč hnát podzimní maturanty do nějakých spádových škol?
Proč nemohou svou písemnou práci napsat ve své škole a být hodnoceni jiným učitelem ČJ?
Bylo by to určitě levnější a pro vystresované maturanty i lidštější.
Teď má pan ministr příležitost ukázat, jak to myslí doopravdy s “lidštějšímí ” maturitami.
Pane Sítaři, například já si nemyslím, že by samotné tabulky byly až tak problematické. Jen je prostě není tak jednoduché centrálně a tzv. “objektivně” aplikovat.
Stále mi tu chybí jasné vyjádření odpůrců centrálního hodnocení slohů. Pokud nesouhlasí se současnou tabulkou kritérií, JAK by se tedy mělo hodnotit?
Dobrý večer,
také nám přišlo zamítnutí odvolání a dcera v září napíše novou slohovou práci ( do úvahy se už raději nebude pouštět a teď studuje recepty v kuchařce – je to jistota ).
Připojujeme se k dotazu p. Dohnalové. Opravdu není možné nějaké zákonné řešení pro hodnocení podzimních písemných prací? Mnoho maturantů tam jde s pocitem marnosti, vždyť se to bude opět hodnotit podle problematických tabulek!!!!!! Všichni vědí , že je to špatně, přesto si na letošních maturantech dodělají svůj pokus , ať to stojí co to stojí……
Paní Valíková, vím, že jste to slyšela už mockrát, ale moc děkujeme Vám i ostatním, kterým není lhostejný osud dnešních maturantů. Vím, že se zřejmě už nic nezmění, ale ten pocit, že je tu někdo, kdo vám rozumí hodně pomáhá. Pomáhá nejen studentům, ale i mnoha rodičům, kteří musí být silní, podporovat své děti, dodávat jim sebevědomí a vůli se nevzdávat.
Děkuji za všechny a věřím, že v září bude líp
Doporučuji všem, kdo jsou dnešními událostmi rozrušeni podobně jako pan Hajný, nejprve zhlédnout http://www.ceskatelevize.cz/porady/10101491767-studio-ct24/212411058280717/
Trochu mě zaráží, že p. Valíkové nevadí úlety od zadání/útvaru a že je dokonce v minulosti tolerovali. Jak bylo uvedeno jinde, od 2013 opět NEJDE NEUDĚLAT maturitu. Slova chvály na p. ministra se jen pohrnou, ale od koho? Slohy lze pochopit (zčásti!), ale jen 2 maturitní předměty a 1 úroveň nikoli!
Paní Valíková,
zdravím z Olomouce, slohy klidně pošlete, pomůžeme.
Ještě k předchozímu příspěvku: není právně napadnutelné alespoň to, že při odvolání máte nárok na posouzení práce nezávislou instancí – tedy ne CERMATEM? Lenka Dohnalová
Paní Valíková a spol , jste zlatíčka
Omluva – maturit.
Po pravdě, opravuji slohy hrozně nerada. Mám v mailu další tři “propadlé”a váhám mezi blogem a tvrdou prací. Mnohem raději píšu. Ale děkuji za důvěru.
Dobrý večer,
prosím pány Feřtka a Hausenblase, kteří zasedali v ministerské komisi, o odpověď na tento dotaz:
Je ještě možné v současné době nějak pomoci propadnuvším maturantům? Jinými slovy, lze najít nějaký mechanismus v rámci současné zákonné normy, která by jim pomohla alespoň v hodnocení opravné slohovky? Například v tom, že by jejich práce neopravovali hodnotitelé CERMATU podle systému, který se ukázal jako problematický?
Děkuji za odpověď, Lenka Dohnalová
Prosím, nenechávejte opravné slohové práce hodnotit v září stejně jako teď !
Je mi jedno, jaký učitel čj bude práci syna hodnotit, nemusí to být učitel z jeho školy, ale ať je to PROFÍK, který žije češtinou, ne tabulkama ( třeba ,,parta” paní Valíkové )