Jaké změny přinesou úpravy Metodiky hodnocení výzkumných organizací – zpráva z konference

V první části konference vystoupil se zdravicí prorektor ČZU Jan Vymazal a ministr pro vědu, výzkum a inovace Marek Ženíšek: „Prosazení aktualizace metodiky je pro mě jednou z priorit. To, jak hodnotíme výsledky výzkumu, je totiž zásadní pro jeho zdravý rozvoj a dosahování co nejlepších výsledků,” myslí si ministr. Následovaly příspěvky Ženíškova náměstka Pavla Dolečka, po něm vystoupil hlavní koordinátor hodnocení Petr Štěpnička a 1. místopředseda RVVI Tomáš Polívka. Ti představili hlavní důvody aktualizace Metodiky 2017+ a podali vysvětlení k opakujícím se připomínkám. Jejich příspěvky doplnili o zkušenosti s hodnocením z pohledu Odborných panelů (OP) předsedové panelů Bohuslav Rezek (OP1, Natural Sciences) a Luboš Borůvka (OP4, Agricultural and Veterinary Sciences). 

„Metodika 2017+ byla zavedena v roce 2017, dnes již bylo dokončeno osm kol hodnocení. Aktualizace Metodiky byla nutná, proběhla řada drobných evolučních změn, ke kterým jsme využili zkušenosti z předchozích kol hodnocení. Dokumenty Metodiky byly uvedeny do souladu s praxí, byl vyjasněn hodnoticí proces a zvýšena jeho transparentnost, byly odstraněny nejasné formulace a přechodná ustanovení, celkově byl celý text zestručněn a propojen s novými dokumenty v oblasti vědy, výzkumu a inovací, ujasněny byly role aktérů, aplikovány byly principy ARRA. Jak se mění věda, mění se i druhy výstupů a výsledků, bylo proto potřeba aktualizovat definice druhů výsledků, upravit hodnocení výsledků aplikovaného výzkumu, definovat základní parametry hodnocení poskytovateli institucionální podpory na dlouhodobý koncepční rozvoj, který hodnotí moduly M3–M5,” shrnuje zásadní změny Metodiky Petr Štěpnička. 

Změny v prvním modulu, který hodnotí nejlepší výsledky  

V Modulu 1, který se zabývá kvalitou vybraných výsledků, byla snížena kvóta povinného počtu výsledků dle institucionální podpory na dlouhodobý koncepční rozvoj výzkumných organizací (IP DKRVO), čímž dojde ke snížení byrokratické zátěže. Bude se vybírat méně výsledků, které se budou hodnotit, ty by však měly ukazovat to nejlepší, čeho výzkumná organizace dosáhla. Doplňková kvóta pro nebibliometrizovatelné výsledky byla zachována. 

Proběhla změna hodnoticí škály (kritérium Přínos k poznání, Společenská relevance), aby byla spravedlivější, zejména vzhledem k aplikovanému výzkumu. U aplikovaného výzkumu se v kritériu Společenská relevance nemluví už pouze o mezinárodním kontextu, ale musí se brát v potaz i národní cíle, jak výzkum napomůže vývoji produktu v českém národním prostředí. „Důležitý je potenciál. Je potřeba co nejlépe vystihnout a popsat, proč jsou vaše výsledky dobré, doložit to např. licenční smlouvou, seznamem počtu uživatelů, zájmem pro daný obor. Vycházíme ze zkušenosti, že patentů se vymyslí spousta, ale jen pár se jich pak daří realizovat. Vyberte to nejlepší, čím byste se chtěli pochlubit,“ nabádá Štěpnička. 

Tomáš Polívka doplňuje: „M1 slouží k tomu, aby výzkumné organizace měly možnost ukázat to nejlepší, co produkují. Všechny výzkumné organizace musí mít možnost předvést to nejlepší bez ohledu na typ výsledku, jedinou podmínkou je, že výsledek musí být v Rejstříku informací o výsledcích – RIV, hodnocení v M1 a M2 není duplicitní.” 

Předseda OP Bohuslav Rezek také vyzývá: „Aplikační výsledky v prvním oborovém panelu jsou zcela relevantním výstupem pro M1, jejich uplatnění pro veřejnost nebo pro ekonomiku je ale potřeba výzkumnou organizací konkrétně doložit. Čím více doložíte, tím pak snadněji a přesněji můžeme rozhodnout.”

Modul 1 byl doplněn o postup hodnocení multidisciplinárních výsledků, které se nacházejí na hranici oborů a jsou tak těžko ohodnotitelné (expert na jednu oblast nepostihne aspekt ostatních oborů). „V našem oborovém panelu OP1 relevantně posuzujeme vysoce interdisciplinární výsledky a vhodné hodnotitele volíme i z jiných panelů. My, předsedové panelů, dohlížíme na to, aby výběr hodnotitelů byl co nejvíce relevantní, i když je interdisciplinární,” upřesňuje Rezek. 

Dále byl jasně definován střet zájmů, aby byla metodika transparentnější, méně napadnutelná. Štěpnička však doplňuje: „Bohužel máme omezené prostředí, počty možných hodnotitelů jsou na konkrétní specifické téma nízké,“ s čímž souhlasí i Borůvka: „Často je obtížné najít ochotné a kvalitní hodnotitele z různých důvodů – odmítání, dlouhé trvání, střet zájmů.” Nedostatečné množství hodnotitelů z různých institucí v daném oboru uzavírá Rezek výzvou: „Kvalitních aktivních hodnotitelů není nikdy dost – hlašte se!“ 

Tomáš Polívka zdůraznil podstatu nezávislého orgánu Komise pro hodnocení výsledků výzkumných organizací a ukončených programů (KHV), který řeší mimo jiné výhrady výzkumných organizací k výsledkům hodnocení na národní úrovni. Polívka vysvětluje: „KHV je nezávislý orgán. Tento orgán nehodnotí, řeší pouze proces hodnocení, který RVVI schvaluje, členové KHV nesmí být členy Odborných panelů, jsou přítomni pouze při přípravách. V letošním roce bylo obdrženo 63 námitek, z toho 16 bylo vypořádáno kladně, 10 výsledků vráceno do hodnocení, 34 nevypořádáno a v 9 případech KHV nesouhlasila s návrhem vypořádání Odborného panelu. Vyhověno bylo zejména námitkám, kdy došlo ke zjevnému procesnímu pochybení.”

„Kvalitních aktivních hodnotitelů není nikdy dost – hlašte se!“

K námitkám a vyřazování se vyjádřili i předsedové OP Bohuslav Rezek a Luboš Borůvka: „Podle Metodiky jde v Modulu 1 o panelové hodnocení. K problematickým výsledkům, zásadním rozhodnutím a závěrečným zprávám se vždy vyjadřuje celý panel. Nejedná se o výsledek jednoho panelisty, na řešení se musí shodnout celý panel. Veškerá rozhodnutí jsou důkladně odůvodněna. Výsledky vybrané v M1 nevyřazujeme proto, že autoři z předkládající výzkumné organizace nejsou ti hlavní, jejich počet je v celém autorském kolektivu malý nebo mají vícenásobné afiliace, ale je to proto, že význam podílu a přínos předkládající výzkumné organizace není vůbec nebo relevantně odůvodněn. Panel tomu věnuje hodně času a úsilí, usnadněte nám to.”

Změny v druhém modulu, který hodnotí publikace bibliometrickou analýzou  

Modul 2, který zahrnuje bibliometrickou analýzu, byl diskutován prakticky ve všech blocích konference. Tento modul prochází postupnou proměnou. Používá se tam, kde je relevantní, což je základní výzkum na AV ČR a VŠ v určitých oborech a v kontextu velikostí výzkumných organizací (zohledňuje počty autorů, podíl na publikační produkci v daném oboru). „Bibliometrická analýza je objektivní, jednoduchá na získání dat, relativně levná, nezatěžuje lidské zdroje, nemusíte shánět posuzovatele, koordinovat je, apod. Má ale význam jen ve vybraných oborech, hlavně v přírodních, lékařských oproti např. uměleckým. Posuzovatelé jsou však schopni zvážit, zda je analýza relevantní či ne,“ upřesňuje Štěpnička. Rezek doplňuje: „Bibliometrické hodnocení je relativní, v oblasti přírodních věd je bibliometrie zcela namístě. Známkování v M1 je absolutní, neškáluje na daný soubor výsledků, rozdělení známek u výzkumných organizací je indikátorem kvality, ideálně samé 1 („world-leading“). Průměrné známkování výzkumných organizací je 3.”

K připomínkám vysokých škol k Modulu 2 se vyjádřil Tomáš Polívka: „V rámci připomínkového řízení vzešel požadavek na rozšíření analýz v M2 o databázi ESCI neboli Emerging  Sources Citation Index, který vznikl v roce 2015, aktuálně obsahuje zhruba 8300 časopisů.” (Pozn. red. Emerging Sources Citation Index je jedna z databází v rámci Web of Science Core Collection. Časopisy v této databázi musí splňovat stejná kvalitativní kritéria jako ostatní tradiční časopisy ve WoS, ale donedávna neměly přiřazeny citační metriky. Jedná se zejména o nové časopisy,  časopisy regionálního významu či v národních jazycích. Některé časopisy mohly při dostatečné citovanosti získat impakt faktor. Od nejnovější edice však došlo ke zrovnoprávnění všech databází a až na vybranou přibližně dvacítku humanitních oborů s nízkou citovaností získaly impakt faktor a AIS rovněž časopisy v ESCI. AIS neboli Article Influence Score je obdobným ukazatelem, jakým je Impact Factor (IF). Na rozdíl od klasického IF nezapočítává autocitace časopisu a navíc zohledňuje potenciální vlivnost citací – citace pocházející z prestižnějších časopisů mají větší váhu a naopak.)

Dosud byly analýzy Modulu 2 bez této databáze. Ze zahrnutí ESCI však vyplývají následující důsledky: přidání ESCI zvýší počet časopisů s AIS o zhruba 40 % a výrazně se promění dosavadní kvartilové zařazení. Tyto časopisy mají obvykle nižší hodnotu  AIS, což povede k výrazným přesunům dosud hodnocených časopisů do vyšších kvartilů (např. z Q3 do Q2 podle AIS se podle odhadů přesune téměř polovina dosud hodnocených časopisů), a jsou navíc nerovnoměrně oborově rozprostřené (v některých oborech tvoří ESCI vyšší podíl než v jiných). Polívka na závěr k této diskuzi dodal: „S největší pravděpodobností bude databáze ESCI do hodnocení zahrnuta.” 

Tomáš Polívka dále informoval o proběhlé diskuzi ohledně periodicity hodnocení, o které jsme na jaře vydali polemiku. „Kompletní hodnocení všech modulů je prováděno jednou za pět let. V M1 a M2 se výsledky sbírají (a hodnotí) průběžně každý rok dle oborů.” V průběhu aktualizace byl podán návrh na změnu s tím, že různé typy výzkumných organizací by podávaly výsledky v různých letech (jeden rok vysoké školy, další rok resortní výzkumné organizace apod.) Po diskuzi bylo od tohoto návrhu upuštěno z důvodů logistických a kapacitních, neboť meziročně by docházelo k výkyvům v počtu výsledků. 

Na závěr se Bohuslav Rezek podělil o pozitivní zkušenosti z hodnocení v OP1: „Věnujeme se vzájemným konzultacím a diskuzím o hodnocení, získáváme náhled z různých komunit. Účast v oborovém panelu vnímáme jako kolektivní zájem na spravedlivém hodnocení skutečného významu výsledků z hlediska zlepšování kvality vědy a výzkumných organizací v ČR. Práce nám dává smysl, dává nám pocit, že pomáháme k formování kultury ve VaV a celkově se jako zemi posunout.”

„Jsem rád, že z diskusí v průběhu konference je znát, že aktualizace metodiky se ubírá správným směrem. I když je zřejmé, že díky značné diverzitě vědeckého výzkumu napříč výzkumnými organizacemi v ČR nelze zcela uspokojit požadavky všech aktérů, téměř dva roky práce na aktualizaci spějí k rozumnému kompromisu, který by měl vést ke zvýšení kvality hodnocení výzkumu v ČR,“ shrnul Polívka.

Na konferenci dále vystoupil Michal Nekorjak ze Sekce pro vědu, výzkum a inovace při Úřadu vlády, který seznámil účastníky konference s inovovanou webovou aplikací pro Modul 1, jež prezentuje agregovaná data o udělených stupních hodnocení výsledků. Kromě nových grafů aplikace obsahuje i přehledy pro hodnocení fakult jednotlivých škol. Dále byly představeny nové aplikace pro Modul 2, vizualizující obsah zveřejňovaných reportů. Materiály byly zároveň přeloženy do angličtiny a budou zpřístupněny na webové stránce pro podporu hodnocení.

Vedoucí Oddělení hodnocení výzkumných organizací Kateřina Miholová se ve svém následujícím příspěvku věnovala agregaci hodnocení na úrovni fakult a uvedla pár příkladů srovnání lékařských fakult UK a fakult ČZU. Reporty pro výzkumné organizace, doplňující výstupy pro fakulty a veškeré statistické reporty naleznete na webové stránce hodnocení.

Změny ve třetím až pátém modulu, které jednou za pět let hodnotí vysoké školy 

Metodiku hodnocení výzkumných organizací v segmentu vysokých škol v modulech M3–M5 představili z pohledu poskytovatele Vojtěch Fikar a Sandra Štollová z MŠMT.  V roce 2025 proběhne druhé kompletní hodnocení výzkumných organizací v segmentu vysokých škol dle Metodiky VŠ 2025+, která byla schválena jako samostatný dokument vládou ČR 2. 10. 2024. (O této metodice jsme na podzim 2024 publikovali podrobný článek, pozn. red.). Vysoké školy budou hodnoceny Mezinárodními evaluačními panely.  

Vznik metodiky VŠ 2025+ vychází z aktualizované Metodiky 2017+, zavedeny byly nové principy hodnocení (např. rozšíření druhů výsledků, redukce indikátorů z 45 na 25), byl zaveden Odborný poradní orgán poskytovatele a evaluační panely prochází systémem společných školení. Hodnocení M3–M5 jsou v gesci poskytovatelů, tedy pro vysoké školy v gesci Ministerstva školství, mládeže a tělovýchovy, a provádí se v pětiletých cyklech. S ohledem na zachování návaznosti na předchozí hodnocení budou hodnoceny výsledky za roky 2019–2023 (modul 3), 2020–2024 (modul 4) a výhled na další pětileté období (modul 5). 

Modul 3 (M3) hodnotí společenskou relevanci a má 7 indikátorů. Zahrnuje hodnocení míry pozitivních dopadů VVI na společnost, společenský význam s ohledem na poslání výzkumné organizace (mezi ten patří uplatněné a uplatnitelné výsledky, služba vědecké komunitě, prostředky na výzkum a vývoj, popularizace vědy). Hodnoceny jsou součásti VŠ, nikoliv celá VŠ. 

Modul 4 (M4) hodnotí tzv. viabilitu neboli životaschopnost, do které spadá 14 indikátorů. Ty zahrnují hodnocení kvality řízení vnitřních procesů výzkumné organizace (VO) především v oblasti výzkumu, infrastruktury, finančního zabezpečení VO, personální politiky, struktury a rozvoje lidských zdrojů, mezinárodní spolupráce. M4 je vztažen k výzkumnému prostředí a posuzuje kvalitu řízení a vnitřních procesů vysoké školy jako celku.

Modul 5 (M5) hodnotí strategii a koncepci VŠ a má 4 indikátory. Zaměřuje se na vize VŠ, výzkumné cíle ve vztahu k poslání VO a nástroje rozvoje, kterými chce těchto cílů dosáhnout. V M5 je vysoká škola hodnocena jako celek.

Vysoké školy budou stejně jako v roce 2020 hodnoceny Mezinárodními evaluačními panely (MEP/IEPs) na základě předložených sebeevaluačních zpráv a návštěv na místě. MEP musí mít minimálně 7 členů, přičemž nadpoloviční většinu tvoří zahraniční odborníci. Složení odpovídá oborové struktuře hodnocené VŠ. Složení MEP navrhuje VŠ, jmenování členů provádí poskytovatel po vyjádření KHV. 

Vysoké školy také čeká návštěva panelu na místě, tzv. „On-site visit”. „Jedná se o fyzickou návštěvu MEP na hodnocené VŠ. Návštěvu organizuje sama VŠ dle pokynů poskytovatele. Cílem je ověřit si, zda se informace uvedené v sebeevaluační zprávě shodují se skutečností, ale především na základě osobní návštěvy školu lépe a zodpovědněji hodnotit, mít možnost pohovořit s vedením, vědci i studenty, vidět atmosféru hodnocené instituce. MEP dostávají možnost bavit se s akademickými pracovníky, studenty, kteří se podílejí na vědecké činnosti, diskutovat se zástupci managementu VŠ, a položit zástupcům VŠ doplňující dotaz,“ dovysvětluje Vojtěch Fikar.

Sandra Štollová představila, v jaké fázi se momentálně hodnocení nachází: „Hlavní procesní kroky jsou za námi, nacházíme se v bodě, kdy se připravujeme na velká školení pro členy MEP a OPO (odborný poradní orgán poskytovatele) a hodnocení MEP včetně on-site visit.”

Zkušenosti z Jihočeské univerzity v Českých Budějovicích  

O zkušenosti s hodnocením v Modulu 3–5 na vysokých školách se podělil Luděk Berec, prorektor pro vědu a výzkum Jihočeské univerzity v Českých Budějovicích (JU).

Dvě největší výzvy pro JU bylo jasné přihlášení se k potřebě a rozvoji společenské relevance výzkumu a posílení internacionalizace. Jeden z důležitých aspektů internacionalizace je import výsledků a znalostí ze zahraničí a jejich inovativní aplikace v národním či regionálním měřítku, tj. přijmout zahraniční vědce, kteří by pomohli rozvinout národní výzkum.

Prorektor Berec uvedl příklad z hodnocení: „Na celouniverzitní úrovni nám chyběla úzká vazba mezi rektorátem a fakultami a druhotně mezi fakultami navzájem. Např. fakulta vytvořila vlastní předpis, ale nepodělila se o něj s rektorátem. Tento nedostatek jsme vyřešili pravidelnými setkáními proděkanů s rektorem a vzájemnými setkáváními proděkanů. Proděkani si vzájemně předkládají nápady svých fakult a na setkáních se tyto nové předpisy kolektivně předschválí. Myšlenka je navést je k tomu, aby své nápady nabídli rektorátu. Rektorát pak z pozice lídra nápad zpracuje, rozšíří a jedná se pak o společné dílo. Důležité je také ocenit dotyčné za to, že pomáhají celé univerzitě.”

Univerzita také měla MEP představit svůj strategický plán, kde by chtěli být v roce 2030, který Berec představil: „V budoucnu chceme dosáhnout toho, čeho asi všechny VŠ, a to excelence, interdisciplinarity, rovnosti – nejen mezi vědci, ale i v administrativě, sociální relevanci, internacionalizaci. Nástroje, kterými podporujeme excelenci, jsou hodnocení na několika úrovních – katedry, fakulty, univerzity, dále vědecká integrita, vědecké ceny, vnitřní grantová podpora – doktorandi, postdoci a menší výzkumné projekty, škola doktorských studií, kde zavádíme ucelený systém podpory, přívětivé prostředí, podporu rozvoje dovedností, systém řízení kvality, monitoring a analýzu, koordinaci a harmonizaci procesů. Podporujeme i již existující excelentní týmy, spolupráci s partnery mimo JU, zejména s AV ČR, interdisciplinaritu i mezifakultní spolupráci. Zavedli jsme vnější peněžní odměny, např. odměnu za výkon, a vnitřní duševní odměny – zaměstnanci získávají uznání organizace za výkon, pochvalu, respekt, čestné tituly, které podporují oddanost cílům organizace. Také jsme pozměnili formát doktorských konferencí – sekce jsou záměrně tematicky promíchané, a tím podporujeme respekt mezi humanitními a přírodovědnými obory.”

Záznam konference najdete na univerzitním YouTube kanálu.