Před dávnými lety jsem v blogu Slepecká hůl kafemlejnek shrnul, co všechno se z kafemlejnkového hodnocení výzkumných organizací nedozvíme. Nyní můj tehdejší seznam konfrontuji s dosavadními výsledky hodnocení dle novější Metodiky 2017+. Asi ve třetině ohledů došlo k pokroku (z nuly), ve třetině se ještě na pozitivní posun napjatě čeká a u poslední třetiny dnes čert ví.
Bylo nebylo, dávno to bylo
Bude to již osm let, kdy jsem napsal blog "Slepecká hůl kafemlejnek". Bylo to na jaře roku 2012, kdy Kafemlejnek naplno opanoval český systém VaV. Dal jsem tehdy dohromady desatero toho, co by měl solidní systém hodnocení umět. Kriticky jsem musel konstatovat, že kafemlejnek nedával odpověď ani na jedinou otázku z deseti. Tehdy jsem napsal:
Kafemlejnek je robot převádějící počty vědeckých výsledků na peníze pro instituce VaV. Svou světovou unikátností a rozporuplností se již nesmazatelně zapsal do historie vědy a výzkumu v Česku. I mnoha chytrým lidem již popletl hlavu natolik, že nejsou schopni a ochotni myšlenkově překročit kafemlejnkový stín. Proto je třeba připomínat, co vše kafemlejnek neumí a nikdy umět nebude a bez čeho se bude český VaV zmateně motat v temném koutě jako ztracený slepec s bílou holí.
Něco nového?
Kafemlejnkové bodování vědeckých výsledků je dnes již pár let na pravdě boží. Ale pozor, kafemlejnkové financování vysokých škol uvnitř většiny z nich běží vesele i nadále, byť na základě vědeckých výsledků z dávných let 2011-2016. Od roku 2018 se již hodnocení provádí podle nové Metodiky 2017+. A teď na podzim 2019 se podle ní spouští již třetí ročník, Hodnocení 2019. Není proto od věci se podívat, nakolik nový způsob hodnocení na mé původní desatero odpovídá. Takže:
1. Srovnání kvality a produktivity pracoviště v určitém oboru k aktuálnímu světovému standardu: Zde jsme se moc daleko neposunuli. O oborové produktivitě pracovišť (výzkumných organizací a součástí vysokých škol) ve srovnání se světem nám výsledky Hodnocení 2018 nic neříkají. Informace o oborových výsledcích totiž nedoprovází informace o oborové velikosti pracovišť. O pouhém oborovém publikačním výkonu pracovišť (tedy bez ohledu na jejich velikost), se sice dozvíme, ale samo o sobě to moc užitečné není. A pokud jde o kvalitu, dozvíme se sice velmi detailně o tvaru publikačního profilu pracoviště ve srovnání profilem zemí EU 15, ale rozdíly v profilech ovlivňuje především (ne)existence českých a slovenských časopisů v databázi Web of Science. To, že v oboru, kde nevychází místní WoS časopisy totiž vůbec neznamená, že v obdobně málo významných časopisech mimo databázi WoS čeští vědci nepublikují. Publikační profil omezený na databázi WoS nám prostě nic moc užitečného neříká.
2. Srovnání kvality a produktivity všech pracovišť v určitém oboru v dané zemi navzájem: Zde došlo k částečnému posunu. Na základě dosavadních výsledků lze totiž česká pracoviště srovnávat pouze co do publikačního výkonu, a ne publikační produktivity (proto není dostupná míra velikosti pracovišť). I takové srovnání je však pro běžného smrtelníka extrémně složité, protože výsledky za jednotlivé organizace jsou rozesety po téměř stovce souborů. Není jasné, proč není potřebná informace soustředěna v jedné tabulce za obor. Snad si někdo dá tu práci a takové oborové tabulky vyrobí.
3. Srovnat situaci oboru (kvalitu, produktivitu, rozsah) v ČR vůči světu: Opět částečný posun. Srovnání jednotlivých oborů vůči světu sice Hodnocení 2018 nabízí, ale pouze pokud jde o velikost publikačního výkonu, nikoliv o produktivitu oboru. Publikační výkon oboru v poměru ke standardu starých členských zemí EU15, reflektující populační velikost Česka (v lepším případě také míru veřejné podpory oboru) však ve zveřejněných výsledcích Hodnocení 2018 budete zatím hledat marně. Pokud to chcete vidět, musíte věnovat asi 2 hodiny času vyzobávání dat z desítek XLS souborů a udělat si srovnání vlastní, jako jsem to pro společenskovědní obory udělal já zde.
4. Identifikovat výsledky VaV, které měly zásadní společenské a veřejné ekonomické přínosy: Zde došlo k zásadnímu posunu. Hodnocení 2018, přes mnohé dětské nemoci, dokáže identifikovat výsledky, které měly zásadní společenské a veřejné ekonomické přínosy a to v tzv. Modulu 1 [1|2]. Mezi dětské nemoci nového hodnocení patří rozdílná přísnost známkování výsledků nejen mezi panely, ale i uvnitř panelů, nutnost dopady výsledků prognózovat, protože od vzniku výsledků uplynula jen krátká doba, a zdaleka ne všichni hodnotitelé pracují zodpovědně. Problém je i to, že kvóty počtu předkládaných výsledků do Modulu 1 byly dosud odvozovány od kafemlejnkové trojčlenky.
5. Odfiltrovat irelevantní, klamavé a manipulované informace bibliometrických ukazatelů: Více méně posun. Systém hodnocení v Modulu 2 do velké míry dokáže odfiltrovat irelevantní, klamavé a manipulované informace bibliometrických ukazatelů. Hlavně díky tomu, že již nepoužívá obyčejný Impact Factor, ale Article Influence Score (AIS). Na druhé straně je známo, že řada hodnocených výsledků v originále nenese afiliaci předkládající organizace a nebo jinak nesplňuje podmínky hodnocení. Ale na kontroly zatím nebylo dost času a poslední dobou ani lidé. Mimochodem, se zákonnými verifikacemi výsledků si MŠMT doposud moc hlavu nelámalo, na rozdíl třeba od AV ČR, která k věci přistupuje dlouhodobě mnohem zodpovědněji.
6. Posoudit vnitřní funkčnost pracovišť a jejich předpoklady případného růstu: Zatím ne, do budoucna možná. Posoudit vnitřní funkčnost pracovišť a jejich předpoklady případného růstu sice možná Metodika 2017+ dokáže, ale na vysokých školách se to teprve uvidí. Tedy pokud MŠMT konečně spustí (přesněji dokončí) hodnocení v Modulech 3 - 5.[0|1|2|3] To bylo na poslední chvíli naplánováno na rok 2020. AV ČR se formátem svého již dávno zavedeného hodnocení do pravidel Metodiky 2017+ snad vejde a hodnocení za období 2015-2019 plánuje provést v roce 2020. Hodnocení resortních ústavů je hodně heterogenní a nikdo ho zatím v detailu nemapuje.
7. Dát vnější a nezávislou (ze světa) kvalitativní zpětnou vazbu pro management výzkumného pracoviště: Platí to samé jako v bodu 6.
8. Dat vnější a nezávislou (ze světa) zpětnou vazbu pro nadřízeného poskytovatele veřejné podpory: Platí to samé jako v bodu 6.
9. Efektivita využívání velkých a nákladných infrastruktur VaV určených k sdílení různými pracovišti: Ne, ale to nevadí. Hodnocení efektivity využívání velkých a nákladných infrastruktur VaV určených k sdílení různými pracovišti Metodika 2017+ neřeší. Jejich hodnocení probíhá paralelně v jiném režimu navrženém před lety v rámci projektu IPN Metodika. Zda se plánuje nějaká interakce s hodnocením dle Metodiky 2017+, mi není známo, ale možné to je.
10. Potřebnost a vhodnost nových nákladných velkých infrastruktur VaV určených ke sdílení pracovišti: Platí to samé jako v bodu 9.
Suma sumárum
Hodnocení dle Metodiky 2017+ má určitě potenciál poskytovat odpovědi na prvních 8 z mých dávných 10 otázek. Na menší část z nich ostatně již odpovědi dává. Cesta k cíli však zřejmě ještě bude hodně, hodně dlouhá a strastiplná.
Autor: Daniel Münich
Text vyšel na webu Metodikahodnoceni.blogspot.cz
