Co přinesla konference Metodika hodnocení výzkumných organizací? Třeba i rady k dobrému hodnocení

V úvodním slově připomněl 1. místopředseda Rady pro vědu, výzkum a inovace (RVVI) Tomáš Polívka, že Metodika 2025+, schválená Vládou ČR v loňském roce, není nový dokument, ale jedná se o aktualizovanou Metodiku 2017+. „Nacházíme se v přechodovém období, kdy dobíhá hodnocení dle Metodiky 2017+ a prosazuje se Metodika 2025+. Aktuálně se hodnotí v Modulu 1 (M1) a Modulu 2 (M2) ,v novém‘, v Metodice 2025+, takže až příští rok budeme moci zhodnotit, nakolik jsme se díky aktualizaci posunuli a zlepšili,“ upřesnil Polívka. 

Záznam konference najdete zde. 

Po Polívkovi shrnul Petr Štěpnička, hlavní koordinátor hodnocení, aktualizace v M1 a M2 a představil vybrané výsledky Hodnocení H24. Ondrej Majer z Oddělení hodnocení výzkumných organizací z Úřadu vlády ČR probral detailněji novinky v Modulu 1 a Michal Nekorjak ze Sekce pro vědu, výzkum a inovace z Úřadu vlády ČR se zaměřil na Modul 2 a ESCI časopisy. Jejich příspěvky doplnili o zkušenosti s hodnocením z pohledu Odborných panelů (OP) předsedové panelů Bohuslav Rezek (OP1, Natural Sciences) a František Štěpánek (OP2, Engineering & Technology). 

Modul M1 slouží k hodnocení vybraných, nejlepších výsledků, které představují výrazný přínos k poznání nebo jsou společensky relevantní. Výsledky se hodnotí každoročně.  

Modul M2 slouží k hodnocení publikačních výsledků dle bibliometrické analýzy. Výsledky se hodnotí každoročně. 

Moduly M3–M5 se hodnotí jednou za pět let. V M3 jde o retrospektivní hodnocení let 2019–2023, informace o společenské relevanci výzkumu, vývoje a inovací vysoké školy, resp. jejích součástí (fakult), v tomto kritériu bude zohledněn počet FTE (Full Time Equivalent) na škole.

V M4 jde o posouzení současného stavu výzkumného prostředí na škole v letech 2020–2024: posuzována je kvalita řízení a vnitřních procesů vysoké školy, která je hodnocena jako celek.

V M5 jde o prospektivní hodnocení nastavení dlouhodobých strategických cílů rozvoje vysoké školy jako výzkumné organizace na období pěti let následujících po hodnocení. Hodnocena je vysoká škola jako celek.

Petr Štěpnička ve svém úvodu vysvětlil, proč vlastně změny nastaly: „Změny vychází ze zkušeností z předcházejících kol hodnocení, z připomínek poskytovatelů a příjemců nebo od RVVI. Úpravy dále proběhly za účelem kodifikace osvědčené praxe a aby bylo hodnocení v souladu se závaznými předpisy a doporučeními. Obecně, byl revidován přístup k hodnocení aplikovaného výzkumu – Modul 1, který byl hodnocen příliš přísně, a upravena byla také periodicita hodnocení. Úplné hodnocení tripartitami nyní probíhá jednou za 5 let, jelikož zásadní změny se nedějí z roku na rok. V mezidobí je ale možné uspořádat tzv. ,monitorovací jednání’. Díky nim mohou organizace získat informace o vývoji jejich skupin a dále se ještě lépe rozvíjet.”

Přečtěte si také

Vysoké školy budou po pěti letech hodnoceny. Jak? Přečtěte si o Metodice 25+

Na Dnech vědy, výzkumu a inovací, které se konaly 12. a 13. září v Brně, vzbudila velký zájem přednáška zástupců Ministerstva školství, mládeže a tělovýchovy o blížícím se hodnocení vysokých škol, které by mělo proběhnout na jaře 2025. Z čeho se bude hodnocení skládat? Jak bude probíhat? Bude se lišit od Metodiky 2020?

Novinky v Modulu 1

V Modulu 1 (hodnocení vybraných výsledků) došlo ke snížení počtu předkládaných výsledků (1 výsledek na 20 mil. institucionální podpory neboli DKRVO, dříve šlo o jeden výsledek na 15 mil.), čímž se snížila administrativní náročnost. Tyto hodnoty jsou únosné pro organizaci i hodnoticí panely. Konkrétní počty se výzkumné organizace (VO) dozvídají ještě před samotným hodnocením. 

Dále přibyly nové druhy výsledků jako např. digitální kolekce dat (T) nebo výsledek zaměřený na kritickou analýzu a hodnocení veřejné politiky či sociálního a politického problému (Hpub). K těmto výsledkům řečníci řekli, že je třeba si je ještě zažít a s odstupem zhodnotit, co do nich všechno spadá či nespadá. 

Proběhla také změna ve škále hodnocení – zejména pro hodnocení podle kritéria Společenské relevance (SR), kdy je důraz kladen na přínos pro společnost a potenciál uplatnění nejen v mezinárodním, ale i v národním prostředí. 

V M1 byl upraven postup hodnocení multidisciplinárních výsledků, které se dějí na hranici oborů. Ondrej Majer vysvětluje: „V případě interdisciplinárních výsledků se snažíme najít hodnotitele s expertizou v oblasti daného interdisciplinárního výzkumu, příp. se hodnotí ve více panelech. Ve druhém případě rozhodují o výsledné známce příslušní garanti na základě konsensu. Tak nebude výsledek hodnocen pouze z jedné strany. V rámci výzvy jsou instituce vyzvány, aby interdisciplinární výsledky v aplikaci SKV identifikovaly a zdůvodnily.“ 

Upraveny byly i definice některých výsledků a došlo ke zpřesnění definice střetu zájmů. 

„Ochotných kvalitních hodnotitelů je málo, zapojte se!”

Ondrej Majer dále upozornil, že hodnotitelé i panely jsou v hodnocení školeni např. i pomocí příkladů dobré praxe hodnocení. Samotná hodnocení jsou pak transparentní tím, že dochází ke zveřejňování zdůvodnění, instituce mají možnost vrácení problematických hodnocení nebo měnit (v omezeném rozsahu) známku hodnotitelů. Také připomněl, že o problematických výsledcích se rozhoduje kolektivně.

Modul 2 a databáze ESCI

V Modulu 2 (komentované statistiky na základě bibliometrických dat) tvoří podklady tři zprávy: i) bibliometrická analýza podle Web of Science (počty výsledků, rozdělení do oblastí, srovnání s průměrem ČR, EU a svět), ii) data z RIV (jak „vidí“ organizace sebe sama, informace o personálních kapacitách a produktivitě), iii) typy výsledků. 

Nově byly do M2 zahrnuty výsledky indexované v databázi ESCI (Extended Science Citation Index). ESCI není oborově definován, a proto se někdy označuje za multidisciplinární. Je definován vlivem a/nebo regionálním dopadem a/nebo novostí časopisu a/nebo novostí témat. Zároveň jsou všechny časopisy ve WoS sledovány a dochází k přesunům časopisů mezi ESCI a dalšími indexy. Do databáze JCR, která obsahuje seznam indexovaných časopisů, pro které jsou k dispozici bibliometrické ukazatele, byl k tradičním třem indexům SCIE (Science Cit. Index Expanded, přírodní vědy, medicína, technologie, zemědělství), SSCI (SocialSciencesCit. Index, sociální vědy) a AHCI (Arts& HumanitiesCit. Index, humanitní obory) zařazen ESCI již v roce 2021. „Časopisecké metriky pro ESCI jsou k dispozici pro ročníky 2020+. Letos se hodnotí roky 2020–2024. To znamená, že jsme v prvním pětiletém okně, kdy jsou ESCI k dispozici pro všechny ročníky,“ vysvětluje Nekorjak, proč nebyla databáze uvažována již dříve. 

ESCI v současnosti obsahuje cca 9 000 žurnálů, tradiční tři indexy (SCIE, SSCI a AHCI) obsahují  cca 13 500 žurnálů. Podíl časopisů ESCI v JCR je 41 %, zároveň však podíl není ve všech oborech stejný, pohybuje se mezi 12–65 %. K výraznému navýšení podílu dochází zejména u 5. a 6. oborové skupiny, tedy pro obory sociálně-humanitní. Jedná se o méně vlivné časopisy, regionálně zaměřené, 77 % časopisů ESCI je ve spodní polovině (Q3, Q4) vlivných časopisů. 

Nekorjak shrnuje: „Distribuce článků mezi časopisy není rovnocenná. V časopisech ve Q1 a Q2 vychází článků poměrově více, tedy zahrnutí ESCI nemá ve výsledku takový dopad. Je také třeba sledovat dopad na profily z hlediska ‘World’ benchmarku v Q1. Většina oborů zaznamenala posuny v benchmarku minimální. Viditelnější posuny nastaly právě u sociálně-humanitních oborů. Pokud tedy bude respektována interpretace českých dat ve vztahu k benchmarku, není zahrnutí ESCI v tuto chvíli nutné vnímat jako problém.“

Výstupy z hodnocení v roce 2024 

Petr Štěpnička představil i hlavní výstupy hodnocení v roce 2024 (H24), které proběhlo v M1 a M2 podle parametrů Metodiky 17+. V M1 bylo nominováno 2061 výsledků, ze kterých 48 (2,3 %) bylo hodnoceno stupněm N. Zbylých 2013 výsledků H24 získalo v průměru lepší hodnocení oproti hodnocením v letech 2021 a 2023 (H21–23). 

To je zapříčiněno spíše díky lepším známkám u kritéria Přínos k poznání (PP), které se týká především publikací. I když se hodnocení u kritéria Společenská relevance oproti H21–23 také zlepšilo, nabádá Petr Štěpnička organizace: „Pokud provádíte aplikovaný výzkum nebo základní výzkum, který má dopad na ekonomiku, nebojte se a posílejte své výsledky. Předkládejte i výsledky, které pocházejí ze spoluprací, ale detailně specifikujte váš podíl. Odůvodněte, proč by bez vaší odbornosti výsledek nevznikl. Kromě samotného výsledku pak doložte i jeho význam, hodnotitelé si tyto informace nemohou dohledávat sami.“ Štěpánek uvádí i příklad z praxe, např. patent byl doložen licenční smlouvou s průmyslovým partnerem nebo využití systému predikce rizikových vlivů počasí a škůdců portálem pro zemědělce. 

Právě končící hodnocení není uzavřené, probíhají ještě tripartitní výstupy, které se následně předloží Radě vlády ČR. Až poté lze H24 považovat za uzavřený. Už teď se ale můžete podívat na Výstupy H24 za M1 a M2 schválené RVVI na Hodnocení výzkumu RVVI.

Vedoucí Oddělení hodnocení výzkumných organizací Kateřina Miholová se ve svém příspěvku věnovala Hodnocení v M1 a M2 za pětileté období realizované v letech 2020–2024, které naleznete na Hodnocení podle Metodiky M17+, národní úroveň.

Praktické zkušenosti z hodnocení

Bohuslav Rezek z panelu přírodních věd se ve svém příspěvku zaměřil na nejčastější chyby při předkládání výsledků. Jednou z nich je nedostatečné zdůvodnění přínosu a jeho správné doložení. Rezek upozorňuje: „Předkládejte opravdu to nejlepší ze svých vědeckých a aplikačních výsledků za 5 let. Pro hodnocení nejlepší známkou 1 musí mít výsledek doložený skutečně významný dopad, ,publikační’ či aplikační. Od organizací potřebujeme zhodnocení významu, ne opakování obsahu článku. Zároveň hodnoťte podle správného kritéria: Přínos k poznání nebo Společenská relevance. Dávejte pozor, aby byl předložen plný text výsledku nebo odkaz umožňující přímé odborné posouzení, bez předplatného nebo jiných technických omezení. U aplikačních výsledků je pak zásadní konkrétní doložení jejich uplatnění pro veřejnost nebo pro ekonomiku, doložení jejich významného efektu na národní nebo mezinárodní úrovni.”

Rezek dále připomněl problém, se kterým se hodnotitelé stále potýkají, a to je nedostatečně vysvětlený tvůrčí podíl na vzniku výsledku, který je ale zásadní pro hodnocení výsledku v M1. Doplnil, že panel neposuzuje výsledek podle počtu autorů, zda je autor hlavní nebo podle počtu afiliací, ale hlavně podle relevantního zdůvodnění podílu od výzkumné organizace.  

Pečlivá příprava podkladů ušetří čas a zklamání všem

Výzkumné organizace (VO) také mají možnost podat námitku proti hodnocení, což je dle Rezka důležitá součást hodnoticího procesu. V letošním roce přišlo do OP1 64 námitek. Po pečlivé kontrole a diskuzi došlo ke změně hodnocení pouze ve dvou případech. Vyřazení námitek většinou vycházelo z předložení neúplného podkladu od VO. „Například, výsledek z více oborů umíme hodnotit pomocí vhodného výběru hodnotitelů. Můžeme ho i přeřadit v rámci OP1 do jiného FORD. Ale pokud se nejedná o výsledek výzkumu v přírodních vědách a s odpovídajícím zdůvodněním, známkujeme pětkou a neposíláme ho k hodnocení. Doporučujeme výzkumným organizacím nejprve uvážlivě posoudit pokyny, které dostávají na počátku hodnocení, pravidla a procesní postupy hodnocení, než se rozhodnou podat námitky,” nabádá Rezek.

Doložit, doložit, doložit!

A jak dostat jedničku za aplikační výsledek? František Štěpánek z panelu technických věd se podělil o své zkušenosti: „Za prvé, dobře vybrat a hlavně mít z čeho vybírat. Nastavte si kulturu a očekávání uvnitř výzkumné organizace – motivujte ke vzniku reálně uplatnitelných aplikačních výsledků, mějte fungující a proakční tech-transfer kanceláře, vybírejte dobré časopisy pro publikování. Odfiltrujte výsledky, které nemají šanci na aplikaci, vyvarujete se tak špatné známky. A za druhé, řiďte se heslem ,Doložit, doložit, doložit!’. Jasně popište a doložte, v čem spočívá originalita vašeho technického řešení, v čem spočívá přínos pro danou aplikační oblast, originálnost a potenciál uplatnění. Pošlete např. smlouvy, inkubační aktivity, navazující projekt, aj. Doložte, že se s výsledkem něco aktivně děje, neposílejte jen odkaz.”

Hodnocení pracovišť AV ČR

O svých zkušenostech z hodnocení pracovišť Akademie věd ČR, která provádí vlastní hodnocení oddělené od národního hodnocení jiných výzkumných organizací, promluvili na konferenci Michael Prouza, ředitel FZÚ, a Patrik Španěl z Akademické rady AV ČR.

Michael Prouza představil vnitřní hodnocení FZÚ. To je vedeno pomocí bilančních rozhovorů s přímým nadřízeným jednou ročně. Slouží ke zjištění plánů odborného rozvoje a podávání grantových projektů nebo i možnosti zřízení vlastní skupiny. A zaměstnanci je velice oceňují. Pro doktorandy a postdoktorandy má ústav ještě podrobnější hodnocení a podrobnější kariérní monitoring i možnost mentoringových programů. 

Dále zavedlo FZÚ i své vnější hodnocení pomocí tzv. Mezinárodního poradního sboru. Sbor je složen ze 13 zahraničních členů, kteří mají zkušenosti z vedení ústavů či týmů typicky ze západní Evropy. Zasedání sboru se koná dvakrát za rok a jeho předsedou je Eckhard Elsen, bývalý vědecký ředitel CERN.

„Výhodou tohoto orgánu je kontinuita. Jeho členové jsou v něm typicky tři a tři roky, takže už nás velmi dobře znají, naše postavení v českém i evropském kontextu, znají i systém financování vědy v ČR a je možné jim klást strategické otázky podle potřeb ústavu. V poslední době vedeme diskuze např. ohledně doktorandů, rozvoje elektronové mikroskopie nebo strategie rozvoje jednotlivých oborů v rámci ústavu,” vysvětluje Prouza.

Hodnocení výzkumné a odborné činnosti pracovišť AV ČR představil Patrik Španěl. Periodické pětileté hodnocení pracovišť a týmů probíhá již od roku 1993. Systém se průběžně rozvíjí na základě zpětné vazby, zejména od zahraničních expertů a zkušeností ze zahraničí. Nyní zahrnuje 52 pracovišť se 408 vědeckými týmy. Výsledky hodnocení slouží jako jeden z odborných podkladů k diferencovanému institucionálnímu financování dlouhodobého koncepčního rozvoje (DKRVO) pracovišť AV ČR. 

Hodnocení je dvoufázové. První fáze je distanční peer review vybraných výsledků týmů prostřednictvím mezinárodní komise, která se zaměřuje zejména na kvalitu jednotlivých výstupů. 

Druhá fáze je pak peer review týmů a pracoviště včetně prezenční návštěvy mezinárodní komise. 

Patrik Španěl zdůraznil, že hodnocení výsledků se nezakládá na bibliometrii, což vzbudilo mnoho otázek z publika, zda úplné oproštění se od bibliometrie není ochuzující. Patrik Španěl obhajoval tento přístup tím, že u každé publikace by měl být hodnocen její obsah, nikoliv bibliometrické údaje a dále vysvětil přístup k hodnocení: „Nynější trend ve vědě je mít co nejvyšší produkci výsledků, a tím vzniká tlak na počet publikací. To má za následek růst publikačních nákladů, predátorských praktik, plýtvání finančními a lidskými zdroji nebo i oslabení důvěry veřejnosti ve vědu. Tomu se snažíme zabránit pomocí hodnocení zaměřeného na podstatu výzkumu.”

Metodika hodnocení vychází z Akčního plánu AV ČR a zohledňuje požadavky CoARA (Coalition for Advancing Research Assessment).  

Autorka: Marie Cerhová s přispěním Vladislavy Vojtíškové