Hodnocení vědy na českých univerzitách (zase jednou o včelách)

Z veřejně dostupných výsledků, tedy podkladů pro hodnocení a hodnotících zpráv, se toho veřejnost, tedy čeští daňoví poplatníci, zatím moc nedozví. Informace z britského hodnocení je zatím úplně jiná liga. Ale u nás jde o historicky první hodnocení, takže snad není všem dnům konec.

Prolog

V minulosti jsem zde [ 0 | 1 | 2 | 3 ] s odkazem na ulétlé včelstvo kriticky komentoval skutečnost, jak české Ministerstvo školství (MŠMT) dlouhodobě neplnilo úlohu zástupce veřejného zájmu v oblasti hodnocení výzkumu a vývoje na českých vysokých školách.

Schválení Metodiky 2017+ (dále M17+) zkraje roku 2017 znamenalo začátek pomalého konce pseudohodnocení podle tzv. kafemlejnku, který vládl zhruba od roku 2010 [1]. Z jeho výsledků se nic užitečného pro řízení vyčíst nedalo. Výsledky, automatem udělené body, sloužily téměř výhradně k mechanickému převodu na peníze veřejné podpory vědy. Podpory pro školy, fakulty, katedry a mnohde i pro jednotlivé vědce. Z kafemlejnkových výsledků tehdy o vědě na vysokých školách nic nevyčetla ani veřejnost, ani MŠMT, které mělo zastupovat veřejný záměr: určovat priority, usměrňovat, dohlížet na efektivitu, informovat. Relikty kafemlejnku ostatně přežívají dodnes.

Absurdní kafemlejnek přežil dlouhá léta i díky tomu, že byl pro MŠMT a management vysokých škol a jejich fakult pohodlný a legálně i reálně je osvobozoval od jinak náročných a nepříjemných manažerských zodpovědností. V podstatě stačilo v excelovské tabulce převést body za vědecké výsledky na peníze a velmi složitý manažerský problém byl vyřešen, často bez potřeby velkých diskusí. Dokonce byl tento princip vytesán do zákona. Že to nedávalo vědecký, ekonomický a společenský smysl, šlo dlouho stranou.

Metodika 2017+ předepsala povinnost pravidelného hodnocení nejen MŠMT, ale i školám samotným. Právě zřejmě proběhlo historicky první kolo.

Harmonogram národního hodnocení v Modulech 3-5 v režii samotných vysokých škol (převzato ve verzi aplikované MUNI z webu MUNI)

To, co lze dosud z veřejných zdrojů o průběhu, podkladech a výsledcích hodnocení VŠ zjistit, není až na vzácné výjimky velká sláva. MŠMT je na informace, decentně řečeno, skoupé. Centrálně a systematicky toho na jednom místě najdeme velmi málo. Musí se proto hledat ve spleti webů jednotlivých škol. A řada škol, které se pyšní statutem výzkumných organizací s nárokem na veřejnou institucionální podporu výzkumu, je na informace skoupá.

Rekapitulace zásad hodnocení na vysokých školách

Přehledné shrnutí hodnocení v segmentu vysokých škol poskytuje MŠMT zde. Hodnocení vědních oborů se realizuje celostátně v režii národních panelů v Modulech 1 a 2. Zatímco Modul 2 se dominantně týká výsledků základního výzkumu (bibliometricky založené hodnocení), Modul 1 zatím představuje nejasný mix hodnocení dopadů výsledků základního a aplikovaného výzkumu.

Pět modulů hodnocení dle M17+. Hodnocení v prvních dvou každoročně realizuje stát. Hodnocení v Modulech 3-5 si v rámci obecných zásad organizují školy samy jednou za pět let. Hodnocení na úrovni fakult se ale dělá pouze v Modulu 3, a navíc se týká pouze aplikovaného výzkumu. (převzato z webu MUNI)

Asi největším nedostatkem Modulů 1 a 2 je, že dosud nebraly ohled na personální (a finanční) velikost škol v oborech a tedy nevypověděly nic o vědecké produktivitě škol v oborech. Rozdíly v personální velikosti oborů škol jsou přitom diametrální. Navíc se hodnocení v Modulech 1 a 2 odehrává pouze na úrovni celých škol a neříká tedy nic o jednotlivých fakultách. Ty se tedy toho o sobě z výsledků hodnocení moc nedozví. Podklady lze v těžkopádných ZIP souborech najít zde.

Příklad kvalitativního profilu časopiseckých publikací Univerzity Karlovy (UK) v oboru. Z profilu člověk zjistí, že UK cílí na články v nejméně významných časopisech WoS méně než zbytek ČR. Naopak cílí více na články v nejvýznamnějších časopisech. Z profilu ale nezjistíme, zda publikační výkon UK odpovídá její personální velikosti v oboru Economics and Business. Také nezjistíme, zda UK třeba masově nepublikuje v ještě méně významných časopisech, které ani nejsou v databázi WoS. Tyto grafy pro všechny obory lze dohledat hluboko v ZIP souborech každé školy pro Modul 2 zde.

Klíčová zhodnocení za Modul 1 a 2 jsou potom až extrémně stručná a najdete je v ZIP souborech jako PDF soubory.

Příklad zhodnocení výzkumu na Jihočeské univerzitě v Českých Budějovicích. Stručné je to opravdu hodně.

Školy navíc musí dle M17+ jednou za pět let provést vlastní hodnocení v Modulech 3 až 5. Pouze Modul 3 se však týká fakult a navíc se týká pouze výzkumu aplikovaného. Hodnocení v Modulech 4 a 5 se pak týká pouze fungování školy a to jako celek, tedy ne podle fakult.

Syntézu zhodnocení škol ve všech pěti modulech zveřejnilo před časem MŠMT zde. Dozvíme se však pouze jednu jedinou známku bez ohledu na obor či dimenzi hodnocení. To je opravdu, ale opravdu hodně málo.

Toto je typ informace o celkovém zhodnocení škol, jak je zveřejnilo MŠMT. Kolorování je vlastní.

DŮLEŽITÉ: Hodnocení základního výzkumu v jednotlivých vědních oborech obhospodařuje velmi nedokonalé národní hodnocení v Modulech 1 a 2. Dle mého soudu jsou zatím výsledky z Modulů 1 a 2 málo vypovídající a pro školy, fakulty a informování veřejnosti a MŠMT moc užitečné nejsou. Navíc toto hodnocení nejde na úroveň fakult. Pokud si tedy hodnocení nezařídí samotná škola, žádné mít nebude. I proto je žádoucí, aby si oborová hodnocení, včetně hodnocení fakult, dělaly školy samy nad rámec M17+. Přinejmenším ty s ambicí zvyšovat svou mezinárodní vědeckou reputaci.

Stručný průvodce pro veřejných webech

V následujícím přehledu jsem shrnul to nejpodstatnější, co jsem byl schopen najít pro:

Britské hodnocení vysokých škol REF: Jako vzor či benchmark pro Česko se to dnes jeví jako nedostižný sen z jiného vesmíru.

Národní hodnocení vysokých škol ze strany MŠMT: Jde zatím spíše o zlomky s velmi malou informační hodnotou.

Tři velké české univerzity, tedy co jsem našel na jejich webech:

• Univerzita Karlova. Šla v hodnocení výrazně nad rámec minima předepsaného M17+. Informuje ohledně podkladů a výsledků hodnocení, včetně kvalitativních zpráv.
• Masarykova univerzita. Za rámec M17+ asi moc nešla. Zhodnocení mezinárodním panelem se týká pouze aplikovaného výzkumu na úrovni fakult (Modul 3) a řízení celé univerzity (Moduly 4 a 5).
• Univerzita Palackého v Olomouci. Za rámec M17+ asi moc nešla. Zhodnocení mezinárodním panelem se týká pouze aplikovaného výzkumu na úrovni fakult (Modul 3) a řízením celé univerzity (Moduly 4 a 5).

REF2014 - Britské hodnocení vědy na vysokých školách (poslední dokončené)

Je toho opravdu dost a dost -->

• Detailní popis procesu hodnocení [link1 | link2 | link3 | link4]
• Panely, jejich personální složení, nominační proces [link1 | link2]
• Veškeré podklady předložené školami pro hodnocení [link]
• Vyhodnocení škol formou známek v oborech a dimenzích [link]
• Celkové výsledky za všechny hodnocené školy [link1 | link 2]
• Analytické vhledy na základě dat a informací z hodnocení [link]

V následujícím přehledu se předem omlouvám, pokud mi něco uniklo. Ale systém je zatím dost nepřehledný. Některé informace se možná na webech MŠMT a škol objeví až později.

MŠMT - Ministerstvo školství

Moc toho není -->

• Přehled vysokých škol ke zhodnocení [link]
• Statut Grémia MŠMT pro hodnocení VŠ [link1]. Neobsahuje jména členů grémia.
• Formuláře pro hodnocení [link]
• Popis způsobu stanovení známky za celou školu, tedy napříč obory, součástmi a dimenzemi hodnocení [link1 | link2]
• Známky zhodnocených škol, ale bez rozlišení oborů a dimenzí hodnocení + stručný popis podstaty hodnocení [link1 | link2]. Ze známky se nevyčte o škole skoro nic.
• Nenašel jsem kvalitativní informace z hodnocení, doporučení, závěry apod...

MUNI - Masarykova univerzita

Hodnocení asi šlo za minimum předepsané M17+, ale není mi moc jasné jak moc -->

Hodnocení dle M17+ v Modulech 3-5 dle M17+:

• Neformální obecnější popis průběhu hodnocení dle M17+ [link]
• Poměrně detailní a přehledný popis hodnocení dle M17+ [link1 | link2 | link3]
• Výsledky hodnocení dle Modulu 3-5 dle M17+ nemohu najít [link]

Vlastní hodnocení:

• Popis vlastního hodnocení je poměrně stručný [link]
• Složení hodnoticího panelu - zřejmě jen tento malinký panel? [link]
• Podklady pro interní hodnocení:
  • bibliometrické zprávy - nejsou zdá se zatím k dispozici
  • sebe-evaluační zprávy součástí MUNI - nemohu najít
• Výsledky vlastního hodnocení - nemohu najít [link]

Můj vlastní stručný bibliometrický vhled

CUNI - Univerzita Karlova

Vlastní interní hodnocení šlo výrazně nad rámec požadovaný Metodikou17+ a informací je dostupných hodně -->

Hodnocení dle M17+ v Modulech 3-5 dle M17+:

• nemohu najít

Vlastní hodnocení

• Přehledný popis systému hodnocení [link1 | link2] a hlavně zde
• Složení hlavního panelu zde a oborových panelů zde
• Bibliometrické zprávy [link] s video průvodci [link] + můj vlastní vhled
• Sebe-evaluační zprávy součástí - nejsou zdá se k dispozici.
• Velmi dobré shrnutí kvalitativních výsledků hodnocení fakult [link]
• Oficiální shrnutí výsledků mezinárodní hodnoticí rady [link]

Můj vlastní stručný bibliometrický vhled

UPOL - Univerzita Palackého v Olomouci

Vlastní hodnocení možná šlo mírně nad rámec požadovaný Metodikou17+ -->

Hodnocení dle M17+ v Modulech 3-5 dle M17+

• Popis hodnocení [link]
• Výsledná obšírná hodnotící zpráva, ale pouze za Moduly 3-5 [link]

Vlastní hodnocení

• Statut a jednací řád hodnotícího panelu [link]
• Složení velmi malého mezinárodního panelu [link]
• Sebe-evaluační zprávy součástí - nejsou zdá se k dispozici
• Výsledky nemohu najít [link]

Pokud jsem něco důležitého minul, dejte vědět, a já to zde označené doplním / opravím. Stejně tak mi dejte vědět, pokud víte o nějaké další české vysoké škole, která toho ze svého vlastního mezinárodního hodnocení vědy veřejně sdílí více než málo.

Česká situace je stále nesrovnatelná s tím, co se o podkladech, průběhu a hlavně výsledcích hodnocení může dozvědět veřejnost, včetně akademické, ve Velké Británii z tamního hodnocení REF. Na omluvu Česka hovoří skutečnost, že v Británii mají s hodnocením zkušenosti již několik dekád, kdy se v Česku ještě chodilo po houbách. Lze jen doufat, že i český systém se bude učit z chyb a bude se rychle zdokonalovat.

 

Autor: Daniel Münich

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz