Brzy budou vazby k chatbotům standard, respektive už často jsou, říká zakladatelka AI dětem Eva Nečasová

Čerstvý průzkum k využití AI ve vzdělávání od americké společnosti Brookings, která se věnuje analýzám v oblasti veřejných politik, konstatuje, že v této chvíli rizika a hrozby převažují nad benefity. Autoři studie s názvem A New Direction for Students in an AI World: Prosper, Prepare, Protect upozorňují na to, že zapojení AI zhoršilo u žáků schopnosti čtení s porozuměním, písemného vyjadřování, ale i dalších dovedností, jako je metakognice, kreativita, analytické a kritické myšlení. Negativní vliv se projevil i na self-efficacy žáků neboli oslabila se jejich víra, že něco samostatně zvládnou, a tím pádem i schopnost vynaložit úsilí. U nás se debata vede v duchu „AI je dobrý sluha, ale špatný pán“. Co když je to ale i špatný sluha, zejména pro děti a dospívající?

Pohybuju se v kruzích, kde se o rizicích mluví hodně, a spousta našich materiálů z nich vychází, je zaměřená na jejich minimalizaci. Můj břichabol je spíš povrchnost, se kterou se o AI ve vzdělávání u nás mluví. Na Seznamu nedávno udělali anketu, ze které vyšlo, že většina respondentů by AI ve škole zakázala. Vést debatu o tom, zda AI povolit, nebo zakázat, je podle mě úplný nesmysl. Je to nepochopení toho, o čem se tady bavíme. Diskutovat by se mělo o tom jak, ne jestli ano, nebo ne.

A o tom kdy, jak a proč. A s kým. Vrtá mi hlavou, jestli má stát pod kontrolou, kdo a jak školám v oblasti AI radí. Všimla jsem si, že Česká asociace umělé inteligence, která sdružuje mnoho tech firem, spustila svůj projekt základka.ai, a to s podporou MŠMT, NPI a Hospodářské komory. Asociace nabízí v jeho rámci sborovnám poměrně nákladné kurzy. Kladu si otázku, zda tito lidé rozumí vzdělávání. 

Já vnímám celý projekt základka.ai tak, že vznikl na základě politické poptávky, velmi narychlo a nesystémově. Jsou tu subjekty, které se vzdělávání v oblasti AI věnují dlouhodobě a systematicky. Kromě nás to je samozřejmě NPI, Google, Microsoft nebo například Aignos. Česká asociace umělé inteligence neměla ani know-how, ani infrastrukturu, ani ukotvené evaluační rámce pro kvalitu svých školení na to, aby jí byla tahle zakázka svěřená. Původně jsme k projektu chtěli přispět alespoň obsahově, ale nakonec jsme od toho ustoupili, protože jsme neměli kontrolu nad tím, jak školení probíhají. Z celého projektu jsem dost demotivovaná; nechápu, kdo jim to přiklepl.

A pak je tu ještě komerční aspekt celé věci. Kdo a jak kontroluje, jaké aplikace se budou školám nabízet. Čelíme už náporu tech firem, které prostřednictvím svých sdružení a asociací budou školám nabízet své produkty? A bude ponecháno na školách, jaké si vyberou? To nedopadne dobře.

Jak jsem to stihla navnímat, tak naše státní správa je proti, aby se doporučovala konkrétní řešení, protože se spálila v minulosti. Spíš plánují, že vydají parametry toho, jak kvalitní vzdělávací aplikace vypadá. Podle těchto parametrů pak bude stát některé aplikace školám doporučovat. Nepůjde ale formou veřejné zakázky. Například Slovensko k tomu přistupuje jinak, jde víc centralizovanou cestou. Co vím, teď nakoupili aplikaci Sciobot, která je podle mého kvalitní, pro všechny slovenské školy.

Myslím si, že cesta, jak děti opravdu dobře připravit na dospělý život, včetně života v technologicky vyspělé společnosti, je „analogové“ vzdělávání. Učit číst s porozuměním, naučit se dobře vyjadřovat, a to i písemně, naučit se přemýšlet bez pomoci chatbota. Co si myslíte vy?

Já si to taky myslím, ale forma analogové výuky je u nás diskutabilní. Sedmdesát procent výuky probíhá frontálkou. Učitel má dvacet pět dětí ve třídě a nestíhá se jim věnovat, natož výuku individualizovat. Nestíhá formativně hodnotit. Na druhém stupni mají učitelé často dětí tolik, že je výzva zapamatovat si všechna jména. Počítali jsme to a průměrný učitel informatiky má na druhém stupni osmdesát žáků a vidí je na hodinu až dvě týdně. A tyhle limity může technologie částečně kompenzovat. Pomoci zavést do škol skutečně aktivizační výuku. My teď pro tenhle účel vyvíjíme Tiny, což je asistent pedagoga pro formativní hodnocení. 

Je to nějak spojené se známými aplikacemi?

V tuhle chvíli běží na velkých jazykových modelech jako GPT nebo Gemini, časem asi půjdeme cestou lokálního modelu.

Využití AI učiteli mi přijde přijatelné – i když byla již zformulována rizika, že to školy a učitele postupně připraví o expertizu. Velmi opatrně bych se stavěla k zapojení chatbotů do výuky.

Mně se hranice mezi přípravou a výukou stírá. AI se dá například dobře využít pro hodnocení, přímo se to nabízí. Potřebujeme digitalizovat důkazy o učení. Aplikaci určenou pro hodnocení testujeme už tři čtvrtě roku a funguje dobře. Ale není to izolovaný proces, hodnocení souvisí i s vedením hodiny. 

Princip koncipování hodiny s využitím AI je poměrně jednoduchý. Mám téma, v jakémkoli předmětu, dám evokaci, zjistím si prerekvizity a tak dále. Můžu to udělat i v nějaké aplikaci, protože pak se mi to automaticky ukládá a následně dokážu výuku personalizovat. Ve fázi uvědomění pak může probíhat téměř cokoli a jedna z aktivit může být s chatbotem, maximálně na deset minut. Chatbot žákům nebude dávat hotové odpovědi, funguje jako průvodce, opora pro přemýšlení, a je personalizovaný. Je to, jako by se učitel rozdělil na třicet lidí, sedl si ke každému žákovi a bavil se s ním. Získá velmi přirozeně důkazy o učení, tím, že sleduje a vyhodnotí interakce žáka s chatbotem, což je i přirozenější způsob hodnocení než test. Zároveň i chatbot dává žákovi zpětnou vazbu.

Hodnocení s pomocí umělé inteligence je celkem delikátní věc. Jako oblast „high risk“ to vyhodnocuje i AI Act EU. Chápu argument, že spousta učitelů nehodnotí lépe než chatbot, nebylo by ale dobré spadnout z bláta do louže. 

Ano, v AI Act je to v „rizikáči“, my jsme k tomu také dávali připomínky, a myslím si, že by bylo dobré vyjednat výjimku, aby chatbot mohl dávat zpětnou vazbu. Jak jsem říkala, formativně hodnotit při větším počtu žáků je pro pedagoga „overkill“. Moje osobní zkušenost – syn chodí do školy, kde formativně hodnotí a pak dostává slovní sumativní zpětnou vazbu. A i když se učitelé opravdu snaží, stalo se mi kolikrát, že jsem dostala copypaste hodnocení, kde zůstal ženský rod, takže bylo jasné, že to učitel použil pro víc žáků. Je to šílená práce, ale formativně hodnotit je v procesu učení potřeba. Neříkám, že známky jsou blbě, ale je to asi tak procento toho, co má dítě dostat. Devadesát devět procent je kontinuální zpětná vazba. Chatboti jsou pro to ideální nástroj, ale velmi záleží na tom, jak je systém postavený. A zároveň to v žádném případě nemá nahrazovat pedagoga, to je další velká miskoncepce kolem AI. Může mu pomoci s formulací zpětné vazby, ale je to učitel, kdo ví, co má říct. AI mu pomůže například se správným popisným a nehodnoticím jazykem. Když mám nějaký cíl, popíšu ho a nechám si vytvořit zformulovaný text, nemusím to dvě hodiny potit.

Foto: TEDx Prague

Pokud se místo skupinové nebo celotřídní diskuze bude každý žák bavit se svým chatbotem, jak jste to popisovala, jak se to pak zase spojí dohromady? Budou se ještě žáci učit jeden od druhého, nenaruší to školní komunitu? Vybavilo se mi, co nedávno v Hyde Parku ČT říkal o fragmentaci společnosti a rozpadu sdílené reality v důsledku personalizované komunikace rektor ČVUT Michal Pěchouček. Je to samozřejmě jiná úroveň, ale i tak lze určitou analogii najít.

Na společenské úrovni už se to děje roky. Doporučovací systémy nabízejí lidem na sociálních sítích obsahy na základě toho, že sledují uživatelské interakce. Za tím je také umělá inteligence. A teď je personalizace v extrémním „hypu“, algoritmus vám doporučuje trendující věci od lidí, které ani nesledujete. Takže AI už společnost rozděluje dlouho. Ve vzdělávání je ale jiná situace. Téma hodiny je dané a řeč je o tom, že daný žák potřebuje třeba věc vysvětlit jinak, pomaleji… 

Děti jsou zranitelná skupina s nedostatečně vyvinutou seberegulací. AI systémy, stejně jako sociální sítě, jsou navrženy tak, aby maximalizovaly zapojení, nebo ne? 

Přijde mi nesmyslné poukazovat na rizika spojená s využíváním AI ve škole, kde je daleko víc kontroly, než když jsou děti zavřené doma ve svém pokojíčku a tam sjíždějí cokoli. Edukovat děti ve škole je jediný způsob, jak mít vliv na jejich návyky i mimo školu. Jen na rodiče se dle mého nedá spoléhat. Ve vzdělávání je daný jasný rámec, jak AI systémy použít, a tím se riziko návykovosti snižuje. 

Ano, škola by měla budovat zdravé návyky. Jde jen o to, co si pod tím každý představuje. Narazila jste na velmi důležité téma „social divide“ – hrozí prohloubení sociální propasti v souvislosti s AI. Děti z „dobrých“ rodin a „dobrých“ škol budou hrozbám vystavovány méně než děti z rodin s nízkým sociokulturním zázemím. 

Ale ta rizika nenastala s nástupem generativní inteligence. Algoritmy stojící v základu fungování sociálních sítí tu máme už dlouho, nejsme na začátku nějakého problému, jsme v něm až po uši. A to se týče i „social divide“.

Chcete tím říct, že masové využití AI jednotlivci situaci nezhorší?

Ano, protože situace už špatná je. Všichni jsme na sociálních sítích, kde systémy strojového učení fungují už více než deset let, a to je to hlavní, co společnost rozděluje. Není to generativní umělá inteligence. To je podle mě další příznak plochosti debaty – teď přijde hype ohledně generativní AI, ale společnost už je v důsledku AI na sítích – těch takzvaných doporučovacích systémů – obrovsky ovlivněná.

Michal Pěchouček v Hyde Parku také řekl, že kdybychom bývali dopředu věděli, kam nás sítě dovedou, asi bychom měli menší problém je na začátku regulovat. Přišli jsme na to pozdě. Neměli bychom se poučit a být teď v případě AI ostražitější? Kdyby se dala nějaká omezení zavést mávnutím kouzelného proutku, byla byste pro a v jakém rozsahu?

I když mě tak lidi můžou vnímat, nejsem přílišný technooptimista a jsem pro regulace. Regulovat by se měly na prvním místě sociální sítě, které už nás v mnohém poškodily. Jediné, co můžeme udělat, je se s tím nějak zpětně vyrovnat, a podchytit škody, které se staly. Druhá věc jsou vztahy s chatboty, s takzvanými AI Companions, v češtině AI společníci. I u nás roste obliba aplikací jako Character.ai nebo Replica.com. Celosvětově je tam obrovský traffic, chodí tam spousta lidí. Převažuje sexuálně laděný obsah, přitom donedávna tam měly přístup děti od třinácti let, což je úplný nesmysl. ChatGPT má v USA nabízet možnost takzvaných sexual role play konverzací, tedy konverzací se sexuálním obsahem. V přímém přenosu tedy sledujeme proměnu toho, jak a s kým lidé navazují vztahy. 

Dopady nejsou ještě prozkoumané, dostupných studií je asi deset, všechny jsem četla, závěry jsou nejednoznačné. Zatím nevíme, co to způsobí. I v téhle oblasti jsem pro regulaci. V rámci připomínkování AI Act jsme se o regulaci AI Companions zasazovali, prostřednictvím ministerstva školství, ale jak to dopadlo, nevím. Určitě jsem pro regulaci, ale ne pro zákaz, jak k tomu přistoupila třeba Austrálie. Pokud zakážeme velké platformy, děti se přesunou k menším, komunitním řešením, která nepůjde uhlídat. Jinak by zákaz musel zahrnovat i třeba YouTube, ze kterého se spousta dětí dozvídá spousty věcí.

Jaká je tedy podle vás optimální podoba regulace?

Optimální by bylo donutit nadnárodní firmy, aby se orientovaly na pro člověka hodnotné obsahy. Což je samozřejmě utopie. U AI Companions by měla být jasná věková hranice 18+, a to nekompromisně.

Foto: Johana Kratochvíla

V Lucembursku posunuli výuku s přímým zapojením AI až na střední školu. Vaše metodiky jsou pro základní školu. V jaké formě? Od kdy děti přímo pracují s AI?

V našem kompetenčním modelu AI Kurikula dbáme na to, aby šly ruku v ruce znalosti, dovednosti a postoje. Znalosti se týkají prvního stupně. I když samozřejmě aktivizačně a formou her, ale na prvním stupni je cílem seznámit děti s tím, co jsou to data, porozumět strojovému učení… Chatboty lze používat až od třinácti let, s výjimkou Gemini, pokud mají děti školní účty. Na druhém stupni přichází na řadu dovednostní část kompetenčního modelu. Optimální věk pro zapojení chatbota je podle mě tehdy, když je dítě schopné zreflektovat, zda mu využití v něčem pomůže, stejně jako to reflektujeme my dospělí. Ale čekat až na střední školu mi přijde pozdě. Podle mě bychom děti měli v těchto dovednostech rozvíjet zhruba od třinácti let. A od stejného věku zapojovat i práci s chatboty. A někdy v osmém devátém ročníku přijdou postojové věci. To jsou ta těžká témata jako vztahy s chatboty, doporučovací systémy na sociálních sítích, propaganda. 

Neměl by být etický aspekt součástí edukace odmalička? Pokud bude naše rozhodování určovat míra uživatelského komfortu či pragmatická úvaha, je jasné, že čím dál víc lidí bude preferovat roboty před živými lidmi. Mezilidská komunikace je náročnější, než si povídat se strojem. Nechceme-li, aby děti podléhaly kouzlu AI Companions, nemělo by vzdělávání být důrazně antropocentristické? Neměli bychom si vědomě určit, že člověk je na prvním místě, a učit to i děti?

Špatně jsem se vyjádřila, etika je samozřejmě součástí i lekcí pro menší děti. Třeba v lekci o ambientní inteligenci, což je propojení internetu věcí a umělé inteligence, to je vysloveně o etice, o možném zneužití dat. Jedna z lekcí je přímo na etiku zaměřená, týká se závislostí, je v ní vedená paralela k přejídání se sladkostmi.

Jde mi spíš o fundamentální vzdělávání v tom smyslu, že stroj je neživý a necitlivý. Vaše metodické materiály pro edukaci ale zvolily příběhy, ve kterých jsou hlavními postavami roboti, a to roboti s lidskými charakteristikami. Mají dobrou vůli a chtějí dětem pomáhat. To se mi zdá kontroverzní. Proč nejsou hlavními postavami spíš děti?

Malí roboti Ju a Pí v našich metodikách, o kterých mluvíte, jsou z příběhu knihy Podivuhodná robotí expedice, kterou vydal Labyrint a ilustroval Jindřich Janíček. Ta knížka je skvělá. Antropomorfizaci, o které mluvíte, jsme zvažovali, a nakonec jsme usoudili, že to je v pořádku. Připravujeme teď z metodik knihu a pozorně ladíme každé slovo. Formulace jsou vždy „robot má v programu být zvídavý“ a tak dále. Idea byla taková, že pro menší děti se příběh bude točit kolem malých robotů, pro větší děti kolem větších. Chápu, co námitkou myslíte, ale v rámci dětské literatury to není myslím nic nestandardního.

Teď jsme vůči tomu ale citlivější víc než třeba před deseti lety. Ze žánru sci-fi jsme se posunuli do reality. Abychom se brzy nestali druhým nejinteligentnějším druhem na planetě, v různých směrech druhořadým.

To se myslím stane a já osobně to tak vyhroceně nevnímám. Nemám tak ostrou pozici proti jako vy. Brzy budou vazby k chatbotům standard, respektive často už jsou – myslím ve smyslu pocitu propojení. Chatboti z principu svého fungování ovlivňují v konverzacích, které s nimi vedeme, naše vnímání světa, interpretace našich zkušeností. Vzniká pocit jakéhosi napojení, vztahu. Já sama mám vztah s chatbotem. Ale pouze ve smyslu pracovním, i když jsem si měsíc zkoušela intenzivně povídat s AI společníkem, abych tomu přišla na kloub. Ale není to nic pro mě. Problém každopádně nastává ve chvíli, kdy to naruší naši psychiku, vztahy, naše základní potřeby. 

Já se vždy musím držet, abych chatbotovi nepoděkovala, tak dobře totiž simuluje mezilidskou komunikaci. K tomu smajlíky, šibalské pomrkávání… Myslím, že bychom si ve vzdělávání měli dát za úkol sugesci živého dialogu, kterou AI vytváří, nabourávat.

Mně smajlíky nevadí, je to součástí „user experience“, která je díky tomu příjemná. Podle mě se na technologický vývoj dá nahlížet i z opačné strany. Teď jsme ještě relativně v dřevní době. Máme mobily, počítače, ty nás zaměstnávají. AI může být jeden ze způsobů, jak se téhle technologické zátěže zbavit. Když bude stroj schopen zařídit interakce se mnou i jinak, než že budu muset pořád něco ťukat na klávesnici, bude to úleva. Místo toho budu moci komunikovat třeba jen hlasem.

A co když stroj bude umět přečíst myšlenky? Taky to vidíte jako úlevu?

Tam už v podstatě jsme. Stroj už umí vizualizovat některé činnosti mozku, například sny. Mě tyhle možnosti neděsí, děsí mě spíš, v jakém je společnost stavu a to, že je možná nebudeme vždy umět využít pro dobrou věc. 

To je ale právě ten důvod, proč by nás to mělo děsit. Překotný technologický vývoj se odehrává v kontextu, kdy rizika jeho zneužití jsou obrovská. Lidstvo – i kvůli partikulárním zájmům určitých skupin – není dost zralé na to, aby se zneužití vzdalo nebo mu zabránilo.

Já ale vidím i možnost optimistických scénářů. Pokud by systémy byly dobře navržené, může nás AI od technologií osvobodit a vytvořit prostor i pro lepší analogovou mezilidskou komunikaci. Pokud budou ale navržené blbě, povede to k větší závislosti lidí na technologiích, na větší připoutanosti k nim.

Ve vzdělávací komunitě postrádám širokou debatu o AI ve vzdělávání, debatu s vyváženým zastoupením názorů. Panelů by se měli účastnit lidé různé hodnotové orientace, příznivci i oponenti zapojení AI a technologií obecně do vzdělávání. U nás ale o digitalizaci a teď i zapojení AI rozhodují lidé s nadprůměrnou afinitou k technologiím. Expert na technologie nemusí ale být nositelem vyváženého řešení. Co si o tom myslíte?

Uznávám, že u nás je často debata vedená povrchně. Mnoho aktérů, třeba i na ministerstvu, problematice nerozumí. Je potřeba proškolit lidi ve státní správě, aby porozuměli komplexitě těch věcí. Já se dlouhodobě snažím nabízet jim kurz mediální gramotnosti. Šest lekcí o devadesáti minutách předá obrovské know-how, mám to otestované. Ale není o to zájem. Já vím, že jsou všichni přetížení, ale je třeba, aby lidé ve vedoucích pozicích víc rozuměli tomu, o čem pak rozhodují. Pak by minimálně dokázali debatu lépe moderovat a vést ji k přijetí rozumných řešení. Možná o to větší radost mám z lidí z NPI jako Ondřej Neumajer nebo Ivana Böhmová, to jsou odborníci na svém místě. Rizika, o kterých mluvíte, si uvědomují. NPI ve spolupráci s námi také připravil kvalitní materiály – Čtyři kroky ke smysluplnému učení s AI. Školy o to mají velký zájem. 

Jaká profesní cesta vás dovedla tam, kde jste dnes?

Jsem původně designérka, výtvarnice a vývojářka počítačových her. Svět technologií mě fascinoval odmalička, máme to v rodině, táta je ajťák. Technologie byly i v jádru mé umělecké tvorby. Věnovala jsem se například digitalizaci fontů, adaptovala známé komiksy do češtiny, dělám svítící objekty pod značkou Spacelights, též se zapojením technologií. Deset let jsem působila v Charles Games, což je herní vývojové studio, spin-off Univerzity Karlovy. Vytvářeli jsme hry s vážnou tematikou, často pro vzdělávací účely. Vždy jsem měla a mám blízko k hernímu designu, to byla určitá průprava k tomu, co dělám teď v oblasti AI. 

Foto: Nakopněte svoji školu

Kdy jste se poprvé začala angažovat ve vzdělávání?

Mám patnáctiletého syna a když začal chodit do školy, začala jsem ve škole pomáhat s projektovou výukou a technologiemi. Pak jsem začala organizovat příměstské tábory. Tam jsem se naučila nejvíc. Když máte děti na celý týden, uděláte s nimi spoustu práce. A zjistila jsem, že mě hrozně baví vidět, jak se děti učí, a třeba k tomu i nějak přispět. Můj první příměstský tábor nabízel dětem aktivity kolem strojového učení. S dětmi jsme zkoumali, jakým způsobem se stroj učí. Ukazovali jsme si, že se trénuje na datech nebo se učí ze zkušeností a s ohledem na zadání, které dostane od vývojáře. Když je cílem naučit se chodit, naučí se to metodou pokusu a omylu. Fascinovalo mě, že i prvostupňové děti nemají žádný problém pochopit, o co jde, a utvrdila jsem se v tom, že to do výuky patří. Začalo mě to hodně zajímat. A hledala jsem cesty, jak učení o AI a s AI dostat do škol. 

A pak jste založili AI dětem?

Ano, první úspěch byl, že se nám s kamarádkou a spoluzakladatelkou Jitkou Šimkovou podařilo sehnat grant od Pražského inovačního institutu. Ten měl podle našich plánů pokrýt náklady na vytvoření školicího modulu pro sborovny. Vytvořili jsme také interaktivní hru, na které se děti učily, co je strojové učení, a k tomu metodické materiály, aby to učitelé uměli zařadit do výuky. A testovali jsme to na dvaceti pilotních pražských školách. Většinou to převzaly do hodin informatiky. To bylo ještě před nástupem chatbotů a učitelé moc nechápali, proč jim něco říkáme o AI. Jakmile ale začaly být dostupné jazykové modely, situace se radikálně změnila. Najednou někteří začali rozumět, proč o tom mluvíme.

Analýza Brookings, kterou jsem zmiňovala na začátku, upozorňuje mimo jiné na to, že reálně hrozí suboptimální využití AI ve školách. Neboli některé školy budou jednat poučeně, jiné ale ne, byť vstup bude stejný. Pokud stát dá zelenou AI ve vzdělávání, měl by nějak ošetřit rizika špatné praxe, ale u nás řešení v tomto ohledu nijak „nekalibruje“ ani v jiných oblastech. Vy s tím nějak pracujete? Myslí se na to, jak bude AI používat běžná škola a běžný, průměrný učitel?

Máme projekt AI akcelerátor, kde jsme popsali strategie proměny škol. Usilujeme o transformaci českého vzdělávacího systému jako takového. Projekt jsme rozdělili na pět oblastí: rozvoj pedagogů, kulturu a komunikaci školy, metodologii hodnocení, o které jsme už mluvily, dále je tam implementace RVP a administrativa. Ráda bych ještě přidala inkluzi a potírání segregace v českém vzdělávacím systému. Doufám, že na to seženeme peníze.

Přečtěte si další rozhovory na eduin.cz o využití umělé inteligence ve vzdělávání: