Metodika 2017+ je na správné cestě

Úvod

Jako vstupní bod je nutné zdůraznit, že současná metodika hodnocení výzkumu v ČR (tzv. Metodika 17+) byla připravena, důkladně a dlouhodobě diskutována v rámci RVVI a všemi resorty, a schválena vládou ČR. Z pohledu hodnocení kvality jakýchkoliv výsledků výzkumu, včetně těch aplikovaných, je Metodika 17+ nastavena kvalitativně mnohem lépe než předešlá metodika, která generovala účelové vytváření bodovaných (ne hodnocených) výsledků včetně výsledků aplikovaného výzkumu. Toto bylo opakovaně potvrzeno odborníky na hodnocení výzkumu ze zahraničí. Také KHV, podobně jako RVVI, je sestavena tak, aby zahrnovala reprezentanty základního výzkumu, aplikovaného výzkumu i inovačního procesu. Složení KHV tedy garantuje vyvážený pohled na všechny typy výzkumu.

Kritika a vyjádření KHV

1. Implementace metodiky hodnocení výzkumu v ČR (Metodika 17+) se uplatňuje tak, aby nevznikala praktická řešení, a když vzniknou, aby nebyla náležitě oceňována.

Implementace Metodiky 17+ má předem stanovený harmonogram, odsouhlasený RVVI i vládou ČR. Implementace je založena na celostátně realizovatelných Modulech 1 a 2. Modul 1 je zaměřen na „peer review“ hodnocení nejlepších 10 % výsledků, tedy i takových, které přinášejí praktická řešení. V tomto modulu byly zatím dominantně předkládány, hodnoceny a oceňovány výsledky dle kritéria společenské relevance (viz prezentace prof. Šebka), které explicitně zahrnuje praktický dopad výsledků.

2. Pro výsledky aplikovaného výzkumu chybí specifická kritéria, zejména socioekonomické metriky.

Odborné panely (pro aplikované výsledky technických vysokých škol zejména OP 2. Engineering and Technology) a tzv. vzdálení hodnotitelé (peer review) jsou podrobně instruováni, jak hodnotit výsledky aplikovaného výzkumu. Odstupňovaná kvalita výsledků aplikovaného výzkumu, včetně úrovně socioekonomického dopadu, je také definována v hodnotící škále, se kterou hodnotitelé pracují (známky 1-5). Posouzení socioekonomického dopadu je běžnou součástí „peer review“ kdekoliv na světě a hodnotitelé s ním umí pracovat.

3. Dosud neprobíhá hodnocení v Modulech 3, 4 a 5 na vysokých školách, tedy aplikovaný výzkum není na vysokých školách hodnocen vůbec.

Výsledky aplikovaného výzkumu, jako významný indikátor kvality aplikovaného výzkumu (kromě dalších, které se uplatní v Modulu 3) se v implementační fázi hodnotí v Modulu 1 a byly v něm již hodnoceny poslední tři roky.

4. Institucionální financování nepodporuje a nefinancuje aplikovaný výzkum. Pro aplikovaný výzkum a technické vysoké školy letos vznikla nejhorší situace za posledních 20 let. Situace je v rozporu s Inovační strategií.

Naopak, institucionální podpora (DKRVO) je pro celý systém, tedy také pro všechny vysoké školy, vyšší než v jakémkoliv jiném roce (viz odpověď MŠMT a rozpočtové tabulky). Je také nutné zdůraznit, že Metodika 17+ hodnotí výzkumné organizace jako celek. Významu aplikovaného výzkumu je také uzpůsoben postupně nabíhající Modul 3, kde je možné výzkumnou organizací, resp. fakultou v rámci vysoké školy, předem definovat úroveň relevance parametrů tohoto modulu pro danou školu či fakultu/FORD obor (např. teologická fakulta vs. fakulta strojního inženýrství).

5. V metodice hodnocení dle Modulu 3, 4 a 5 nejsou předem jasně daná kritéria, zejména socioekonomická.

Základní struktura hodnocených kritérií je dána ve vládou schválené metodice pro Moduly 3, 4 a 5. Realizace hodnocení bude pro vysoké školy provedena na základě písemné zprávy metodou „on site visits“ mezinárodním panelem odborníků, nominovaných samotnou školou a potvrzovaných (nebo nepotvrzovaných) KHV. Ukázalo se, že drtivá většina vysokých škol vzala toto zadání velmi vážně a panely jsou obsazeny světovými odborníky, kteří dokáží nejlépe posoudit socioekonomický dopad výzkumné činnosti. Pokud by byla tato nejpokročilejší forma hodnocení zpochybňována, je nutné žádat konkrétní návrh alternativního řešení, které by ale bez „peer review“ a „on-site visits“ bylo v rozporu s dobrou praxí výzkumně nejúspěšnějších zemí světa.

6. Zdržení v realizaci Modulů 3, 4 a 5 z důvodu pandemie je neudržitelné a bude mít zdrcující dopad na ekonomiku ČR v horizontu 5-10 let.

Zdržení, které nastalo z objektivních externích příčin, představuje v konečném důsledku pouhé 2 měsíce díky urychlení návazných kroků. O zdrcujícím dopadu na ekonomiku nelze u takového zdržení ročního hodnocení VŠ uvažovat. Zdrcující dopad na obsah financování výzkumu a vývoje v zemi měla v některých oborech, primárně v technických a společenskovědních, naopak minulá metodika hodnocení. Jedním z hlavních cílů Metodiky 17+ je toto zvrátit.

7. Hodnocení excelence dle oborů FORD nepostihuje význam oborů, které jsou rozhodující pro budoucnost, jako jsou informatika, kybernetika, nanotechnologie, či umělá inteligence. Musí se změnit.

Hodnocení v Modulech 1 a 2 (viz prezentace prof. Šebka) musí být korektní, konzistentní a stejně přísné vůči všem oborům či Web of Science (WoS) kategoriím. Není možné, z pochopitelných důvodů, v žádném případě účelově upravovat kritéria pro různé obory. Jmenované obory jsou v Modulu 2 porovnávány se světovým průměrem a průměrem EU 15 a výsledky jsou k dispozici. V Modulu 1 jsou jmenované obory také hodnoceny (viz prezentace prof. Šebka). Pokud by některý z pro naši zemi důležitých oborů u nás za evropským standardem zaostával, je to jistě dobrý důvod se na takový obor zaměřit a usilovat v něm o zlepšení kvality a užitečnosti výzkumu, ale není to dobrý důvod v něm měnit metodiku hodnocení, která se věnuje aplikovaným výstupům v celé šíři vědních oborů.

Závěr

Cílem tohoto vyjádření Komise pro hodnocení výzkumných organizací a ukončených programů bylo reagovat na jednotlivé body kritiky hodnocení aplikovaného výzkumu a vysvětlit je v kontextu implementace aktuální metodiky. Jsme přesvědčeni, že Metodika 2017+ je na správné cestě i v hodnocení aplikovaného výzkumu.

 

Zdroj: RVVI

---

Tato reakce KHV je odpovědí na dopis sedmi členů RVVI předsedovi vlády, který jsme zveřejnili zde. Na tento dopis reagovalo také Ministerstvo školství, mládeže a tělovýchovy (MŠMT), jehož odpověď si můžete přečíst zde.

Odpověď KHV je součástí zveřejněných podkladových materiálů z 357. zasedání Rady pro výzkum, vývoj a inovace (bod 357/A1), které proběhlo dne 29. 5. 2020.

Dne 10. 6. se uskutečnilo uzavřené pracovní jednání členů RVVI k problematice hodnocení aplikovaného výzkumu. Diskuse i nadále probíhá, kromě jiného v rámci pracovní skupiny, který byla zřízena pod Komisí pro hodnocení výzkumných organizací a ukončených programů.