Z letošní konference k Metodice M17+

V diskuzi k petici byl omezený prostor, a proto se nyní rozepisuji podrobněji. Některé agendy hodnocení má skutečně smysl dělat každoročně, jiné naopak jednou za cca 5 let. A řadu věcí v hodnocení je na základě zkušeností záhodno změnit.

Na každoroční zimní konferenci k hodnocení výzkumných organizací byla řada zajímavých prezentací (videozáznam). Já jsem se zaměřil na potřebu začít zohledňovat oborové personální velikosti organizací. A Tomáš Polívka představil kontury zamýšlených úprav v hodnocení dle Metodiky 2017+ (M17+). To vyvolalo velmi živou debatu, která běží doposud, včetně zmíněné petice.

Při posuzování změn zavedené praxe národního hodnocení dle Metodiky 2017+ (M17+) se vždy musí zvážit všechna pro a proti. Parciální kritika nikam nevede. Každá změna má svá pro a proti a je nutno vše dobře zvážit. Zde nabízím pár pohledů na poměrně složitou věc.

Jedna dvě, modul jde

Některé agendy národního hodnocení podle M17+ má skutečně smysl dělat průběžně každý rok. Např. zhodnocení vybraných vědeckých výsledků v tzv. Modulu 2. V něm se posuzují obory a výzkumné organizace na základě článků v časopisech na indexu WoS. Podkladem jsou kvantifikované bibliometrické zprávy a komentáře odborných panelů k ní. Jiné agendy je naopak lepší dělat jednou za pět let. Např. nemá smysl v Modulu 2 každoročně sepisovat komentáře k bibliometrickým zprávám. Tak rychle se výsledky ve vědě nemění. Bohatě by stačilo vše sepsat jednou za pět let.

Ale zmíněná petice se primárně týká periodicity hodnocení v Modulu 1. V něm se expertně hodnotí malé procento vědeckých výsledků jakéhokoliv typu, které organizace považují a vyberou jako nejlepší. Zde je opravdu velmi důležité, aby proces hodnocení vybraných výsledků probíhal i nadále průběžně každý rok. Prostě aby se výsledky k hodnocení za pět let příliš nenakupily. Už při dnešním každoročním hodnocení je těch výsledků pořádný kopec. A přitom jich vlastně stále není dost, aby byly na úrovni výzkumné organizace za jeden rok dostatečně vypovídajícím vzorkem. Problémy současné podoby Modulu 1 zralé na změny tedy vidím jinde.

Obrázek 1: Ukázka výsledků hodnocení v Modulu 1 podle kritéria společenské relevance: Přírodovědecká fakulta Univerzity Karlovy v období 2018–2022

(Zdroj: Interaktivní soubor XLS na webu Hodnocení)

Za prvé

Ke zhodnocení v Modulu 1 by se podle mě měly předkládat články hodnocené zároveň v Modulu 2 pouze v případech, kdy má organizace pocit, že jde o výrazně přínosnější výsledek, než se jeví z jeho bibliometrického umístění v Modulu 2. Např. když se článek v Modulu 2 umístil až ve třetí třetině časopisů dle jejich vlivu (Q3), ale podle názoru organizace odpovídá spíše nejvýznamnější čtvrtině (Q1) nebo dokonce desetině (D1) časopisů. Nebo že se článek v Modulu 2 umístil v Q2, ale podle organizace významem patří do D1. V Modulu 1 by totiž tato změna uvolnila prostor pro hodnocení většího počtu jiných typů výsledků než článků typu WoS. A hlavně výsledků hodnocených v dimenzi tzv. společenské relevance.

Obrázek 2: Typy společenských dopadů posuzovaných v britském hodnocení REF2021. Zřejmě jsou širší, než ty posuzované v českém hodnocení dle M17+.

Za druhé

Vědecké výstupy se společenskou relevancí (na rozdíl od přínosu poznání) by se do Modulu 1 měly předkládat až v momentě, kdy organizace tyto přínosy může věrohodně doložit. Dnes se totiž absolutní většina výsledků předkládá příliš zčerstva a doprovází je pouze vize, někdy spíše jen sen předkladatelů, jak se výsledek někdy v budoucnu společensky relevantním stane. Od hodnotitelů výsledků to dnes vyžaduje opravdu hodně vizionářství. A ty předpovědi jim samozřejmě asi moc nevychází, oběma směry. V britském hodnocení REF se dopady výzkumů hodnotí s mnohem delším odstupem už dlouho.

Obrázek 3: Náhled webu výsledků britského hodnocení REF2021 v případě dopadových studií. Konkrétní příklad popisu dopadu zde.

Za třetí

Podle mě je čas přestat předkládat k hodnocení v Modulu 1 jednotlivé dílčí vědecké výstupy (články, knihy, atp.), ale prezentovat komplexní vědecké výsledky dokumentované nejen výstupy, ale i jejich dopady. Například když nedávno Tomáš Jungwirth a spol. objevili, respektive potvrdili existenci altermagnetismu [1 | 2], tak by do Modulu 1 nepředkládali příští rok jeden článek v Nature, ale objev jako takový dokumentovaný plejádou publikací a dopadů až s odstupem 5 či 10 let. A ten jejich článek v Nature, případně další články na to téma, by se nadále průběžně bez zpoždění hodnotily bibliometricky v Modulu 2 (D1).

Obrázek 4: Ukázka prezentace výsledků britského hodnocení REF2021 v sekci hodnocení vybraných výsledků

Jednou za 5 let

Vyhodnocovat celkové fungování výzkumných organizací, ústavů AV ČR, vysokých škol a jejich součástí každý rok, jako dosud, rozhodně smysl nemá. Už jen proto, že každoročně to s omezenými zdroji, finančními a lidskými, dobře dělat nelze. Také to každoročně vědce příliš otravuje. A také proto, že za pár let se toho v organizaci až zas tolik nezmění, aby se tak často hodnotily. Ne náhodou se slavné a dekádami velmi zkušené britské hodnocení REF [2021 | 2029] dělá jen jednou za cca 7–8 let. O to náročnější pak to hodnocení je. Dělat vše každoročně nutně znamená dělat to špatně.

V mezidobí, mezi komplexními 5letými hodnoceními, ale musí být všem dostatečně jasné, co se bude za pět let hodnotit a čemu bude přisuzována v hodnocení jaká váha. Například by mělo být všeobecně jasné, že v Modulu 2 se bude primárně hledět na zásadní články v nejvlivnější desetině (D1) či čtvrtině (Q1) časopisů dle impaktního faktoru (AIS), ve výjimečných případech i v (Q2). V méně vlivné polovině časopisů ať se klidně nadále publikuje, když to je potřeba, ale hodnocení by si toho nemělo moc všímat.

Mělo by také být jasně stanoveno, jakou váhu budou mít v hodnocení aspekty personálního řízení organizace, internacionalizace, úspěšnost v národních a mezinárodních projektech. V principu by se mohlo říci, že klíčové jsou výsledky a jejich dopady, a jak si to která organizace zorganizuje, je už její věc. Ale těm, kdo moc neví, jak na to, by zhodnocení i těchto věcí mohlo v Česku hodně pomoci. Ostatně jsou ty výzkumné organizace dominantně placeny z veřejných zdrojů a jejich neefektivita je problém nás všech daňových poplatníků.

Také by se do hodnocení dle M17+ mělo zabudovat hodnocení kvality vzdělávání a výchovy doktorandů. Je to totiž jediný realistický způsob, jak se dobrat informací, které jsou zcela zásadní pro efektivní rozhodování o alokaci omezené veřejné podpory doktorského studia a doktorandů samotných. Více na toto téma v naší nedávné studii o plánované reformě podpory PhD studií.

A také se konečně musí v hodnocení organizací začít zohledňovat personální oborová kapacita pracovišť, protože velikost a počet výsledků prostě zdaleka není příznakem kvality a relevance. Je překvapivé, jak dlouho jsme si to namlouvali a velikost pracovišť v oborech v potaz moc nebrali.

Obrázek 5: Studie IDEA k reformě doktorského studia v ČR, o níž informoval náš web zde. 

Zodpovědnost za pačesy

Ti, co jsou zodpovědní za řízení vědy na různých úrovních výzkumných organizacích a jejich součástech, také musí v mezidobí pěti let převzít větší díl manažerské zodpovědnosti za to, co se v organizaci či její součásti děje, a že se v ní činí kroky směřující k dobrému výsledku v pětiletém hodnocení. Ti, co tam vědu řídí, musí dobře chápat, co je a není v oboru dobrá věda, jak se (ne)dělá a případně si musí chtít nechat i externě radit (např. mezinárodní vědecké rady a podobně). Vědecký management organizací se nemůže spoléhat na to, že za něj všechno, včetně průběžného hodnocení, každoročně odpracují panely národního hodnocení. Ostatně je management veřejných výzkumných organizací za tuto zodpovědnost a náročnou práci placen z veřejných prostředků a je volen svými akademickými kolegy.

Autor: Daniel Münich

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz.

Příspěvky z rubriky Blogy a komentáře nijak nevyjadřují názory a postoje redakce.