Po dlouhém čekání spatřila světlo světa metodika hodnocení výzkumu a vývoje na vysokých školách. Hodnocení by podle ní mělo proběhnout již v roce 2020. Na to, že metodika dosud nebyla komunikována s akademickou veřejností a nebyla pilotně vyzkoušena, je to plán spíše zbrklý než akční.
Metodika tvoří dlouhý seznam otázek a formulářů k vyplnění. Úředníci se při jejich vyplňování zapotí. Požadovaná stručnost odpovědí na náročné otázky pravděpodobně skončí frázemi, ze kterých se toho zahraniční panelisté o reálné praxi moc nedozví. Klíčovým aspektům hodnocení, jako je složení a skládání panelů, způsob jejich práce, koordinace a kalibrace, metodika moc pozornosti nevěnuje.
Historie
V zimě roku 2017 jsem napsal blog Jak ministerstvu školství uletěly včely. Byl o tehdejším podivu MŠMT, že po zrušení kafemlejnku nemá čím hodnotit výzkum na vysokých školách, podle čeho jim rozdělovat desítky miliard ročně (na vzdělávací a výzkumnou činnost), natož aby je mohlo informovaně usměrňovat v jejich rozvoji jako reprezentant veřejného zájmu.
Počátkem letošního léta jsem se k tématu vrátil rekapitulací drobných krůčků, které za dva a půl roku uběhly. Až konečně teď, po zveřejnění podkladů a výsledků jednání červnové Rady vlády pro VaV (Rada), mohu zahlásit, že se ledy hnuly. Rada totiž schválila metodiku hodnocení vědy v segmentu VŠ (Metodika VŠ). Čekalo se na ní přinejmenším od schválení nadřazené Metodiky 2017+ v únoru 2017.
Pro většinu vládních dokumentů platí, že jsou obtížně čitelné, upovídané a nepřehledné, často psané podivnou úřední hantýrkou. Musím říci, že tato Metodika VŠ z toho vyšla na poměry poměrně dobře. Do velké míry totiž vznikla na akademické půdě VŠ a role vládních úředníků zřejmě nebyla tak velká.
Zato o míře veřejné (ne)komunikace respektive veřejné (ne)konzultace Metodiky VŠ svědčí to, že ji zainteresovaní akademici najdou s touto nápovědou schovanou v ZIP souboru 347_A2_Implementace _Metodiky _2017+u.zip v hlubině webu z jednání Rady VaV. Po rychlém protažení vládou by měly bleskově proběhnout přípravy, aby hodnocení proběhlo podle plánu již v roce 2020.
Že se dlouhá léta nedělo skoro nic, bylo stejně špatně, jako že se teď má všechno velmi rychle sfouknout.
Fast - food shrnutí Metodiky VŠ
- Podle metodiky VŠ se hodnocení VaV bude dělat jednou za pět let a pro každou školu ho provede mezinárodně složený panel. Panel hodnocení provede primárně na základě obsáhlých sebe-evaluačních zpráv zpracovaných VŠ. Panelisté budou mít navíc k dispozici i výsledky každoročních hodnocení v Modulech 1 a 2.
- Hodnocení má organizovat MŠMT, ale může si ho zorganizovat i sama VŠ v rámci závazných pravidel, na což pak bude dohlížet Rada a MŠMT.
- V Modulu 3 se bude hodnotit společenská relevance VaV, v Modulu 4 výzkumné prostředí a v modulu 5 strategie a koncepce. Jednotlivé fakulty se však budou hodnotit pouze v Modulu 3. V Modulech 4 a 5 se bude hodnotit VŠ pouze jako celek.
K Modulu #3: Společenská relevance
Modul 3 má tedy hodnotit společenskou relevanci VaV. Pouze v něm se budou posuzovat jednotlivé součásti VŠ, tedy fakulty, zvlášť. Až na drobnosti má jít o hodnocení procesu a dopadů aplikovaného výzkumu realizovaného na fakultě. Zřejmě se čeká, že pokud jde o výsledky základního výzkumu, panelisté se informací doberou z výsledků hodnocení v Modulech 1 a 2, které se letos dělají již podruhé.
Mám ale vážné obavy, že z bibliometrických výsledků Modulu 2 v jejich současné podobě nikdo moc chytrý nebude. Podoba a obsah bibliometrických zpráv totiž stále trpí závažnými nedostatky, jak co do nevhodnosti ukazatelů tak nekompletnosti [1]. Myslím, že na celé věci nic nezmění ani poznámka v Metodice na str. 5: V modulu 3 jsou rovněž posuzovány výsledky základního výzkumu, které ovlivňují jednotlivce a společnost nepřímo (mají nepřímý dopad).
Příklad formulářů Modulu 3 z Metodiky hodnocení VaV pro VŠ: kliknutím zvětšíte
Modulu 3 se výrazně dotýká skutečnost, že Česko v mezinárodním srovnání vykazuje extrémně nízký podíl smluvního výzkumu poměřováno objemem prostředků vydaných podnikatelskými subjekty za nákup služeb VaV od VŠ. Na většině VŠ jde o částky v celkovém objemu jejich financí zanedbatelné. Na jedné straně tedy bude dobře, že se tato zaostávající oblast konečně dostane v Modulu 3 pod externí drobnohled.
Na druhé straně je namístě otázka, nakolik bude panel schopen z předloženého spisu identifikovat systémové příčiny neschopnosti či nezájmu fakult více se v oblasti aplikovaného výzkumu angažovat. Budou například panely schopny odhalit, že nezanedbatelná část aplikovaného výzkumu se na některých VŠ odehrává na osobní bázi akademiků, takže v institucionálních statistikách není vidět?
Metodika VŠ omezuje rozsah sebe-evaluační zprávy fakulty na 4 normostrany. To je rozumný prostor, kde může fakulta své úspěchy zdokumentovat, případně odůvodnit neúspěchy. Problém však vidím ve formulářových otázkách na příklady úspěšných výsledků, projektů, zahraničních ocenění, osobních úspěchů svých vědců. Limit maxima pěti příkladů se má na fakulty vztahovat bez ohledu na jejich velikost.
Zatímco pro malou fakultu bude 5 příkladů představovat většinu její agendy, pro velké fakulty může 5 příkladů být jen třešničkou na dortu. Problém bude, když pro panelisty neviditelný dort bude zkažený či nedopečený. Panelisté to na základě pěti vybraných výsledků nezjistí. Podle mého by měl rozsah povinných příkladů nejlepších výsledků dýchat třeba s personální velikostí fakult.
Příště si v dílu II. prosvištíme Modul 4...
Autor: Daniel Münich
Článek vyšel v autorově blogu na adrese metodikahodnoceni.blogspot.cz.
