Letos se uzavřelo další pětileté kolo hodnocení výzkumu na vysokých školách. Nyní nastává čas na jeho reflexi na základě porovnání zpráv Mezinárodních evaluačních panelů. Myslím, že takové porovnání může posloužit školám při přípravě na příští hodnocení.
Výsledky hodnocení popsal portál VědaVýzkum.cz, v červnu se tématu věnovala konference Rady pro výzkum, vývoj a inovace (RVVI) s velmi reprezentativním zastoupením – od vicepremiéra a předsedy RVVI Karla Havlíčka přes vrchní ředitelku sekce vysokých škol a výzkumu na MŠMT Danu Bilíkovou po zástupce panelů i zájemce z akademické sféry.
Podle hlavních vystupujících je nyní třeba zahájit diskuzi, jak v hodnocení pokračovat – co v něm vylepšit či změnit. Pokusím se do této diskuze přispět vlastními zkušenostmi a názory. Osobně jsem měl možnost zúčastnit se práce jednoho z Mezinárodních evaluačních panelů (MEPů) na jedné z našich univerzit, a to jak v roce 2020, tak i loni. Mohu proto vnímat posun, který nastal. Kromě toho působím jako hodnotitel vybraných výsledků v Modulu 1 a v letech 2021 a 2022 jsem byl jako prorektor Univerzity Palackého v Olomouci odpovědný za hodnocení výzkumu na univerzitě. Toto je první ze série textů, které chci tématu hodnocení věnovat.
Přečtěte si také
Známka A až D. Tentokrát ji nedostali studenti u zkoušky, ale samotné vysoké školy za kvalitu výzkumu od Ministerstva školství, mládeže a tělovýchovy. Ministerstvo právě zveřejnilo výsledky národního hodnocení vysokých škol. Podle něj máme osm „áčkových“, tedy vynikajících univerzit co se týče výzkumu. Na druhém konci máme šest institucí, které jsou podprůměrné s řadou slabých stránek a nedostatků, a čtyři, jež neprošly hodnocením. A někde mezitím je 17 zbylých vysokých škol, pro které budou mít výsledky hodnocení nepříjemné finanční dopady.
Problém s kalibrací zůstává
O svých zkušenostech s prací MEP v roce 2020 jsem napsal zde. Za hlavní problém jsem tehdy označil nemožnost kalibrovat známkování. S čím máme výsledky porovnávat, když se rozhodujeme, zda fakultě či celé škole v určitém kritériu udělit pět, čtyři, tři, nebo ještě méně bodů? Ukázalo se, že náš panel tehdy nasadil podstatně přísnější kritéria než ostatní. Hodnocení pak muselo MŠMT „překalibrovat” k lepšímu výsledku.
Nyní se náš MEP (v částečně obměněném složení) snažil tento poznatek reflektovat, nicméně otázky jako „dosahuje to úrovně 5 – outstanding, internationally competitive?” nebo „je to spíš 4 – very good, up to nationally competitive level?” nadále zůstávaly bez jasné odpovědi. Nebylo ani dost dobře možné zjistit, jak podobné situace hodnotily jiné panely na ostatních školách, abychom se mohli pokusit o co nejférovější známky. Nyní, když už je vše uzavřeno, by však měla být možnost zkusit si jednotlivá hodnocení porovnat, a to jsem v této sérii textů také udělal. Musel jsem však kvůli tomu požádat MŠMT o poskytnutí zpráv MEPů podle zákona o svobodném přístupu k informacím. Poté, co jsem je před několika dny obdržel, jsou k dispozici zde.
Tyto zprávy totiž předtím na rozdíl od jiných dokumentů veřejné nebyly (na stránkách RVVI lze najít hodnocení v Modulech 1 a 2 a protokoly z projednání „tripartit”, což byla společná zasedání zástupců RVVI, odborných panelů a MŠMT. Na stránkách MŠMT lze dále najít i sebeevaluační zprávy jednotlivých škol pro hodnocení v Modulech 3 až 5).
Porovnání zpráv MEPů by nyní mohlo posloužit školám při přípravě na příští hodnocení: co měly ty lépe hodnocené školy či fakulty kvalitnějšího, co přimělo panelisty k udělení lepších známek? Zároveň by mohlo být užitečné i příštím MEPům: od čeho se odrazit, máme-li hodnotit pracoviště v daném indikátoru jako „průměrné” či již jako „velmi dobré”, případně „vynikající”?
Žebříček lékařských fakult
Jako první ochutnávku si můžeme vzít srovnání našich lékařských fakult (LF). Je to jednoduché, protože jich je relativně málo – celkem osm na čtyřech různých univerzitách. Kromě bodů udělených v Modulu 3 (společenská relevance) si je můžeme „ožebříčkovat” i podle průměrných známek v Modulu 1 (peer-review hodnocení vybraných výsledků) a podívat se na případné korelace. Výsledná tabulka vypadá takto:
Pro správné čtení tabulky je třeba připomenout, že známkování v Modulech 1 a 3 používá poněkud nelogicky opačnou stupnici: v M1 je nejlepší známka 1 a nejhorší 5, zatímco v Modulech M3 až M5 je to právě naopak.
V Modulu 3 je mezi lékařskými fakultami absolutním vítězem LF Ostravské univerzity: ve všech šesti bodovaných kritériích (uznání ve vědecké komunitě, výzkumné projekty, výzkumné výsledky s dopadem na společnost, přenos výsledků do praxe, popularizace výzkumu a v kritériu „implementace doporučení” z předchozího hodnocení) získala maximální bodovou hodnotu. S odstupem jednoho bodu ve dvou kritériích následovaly lékařské fakulty Masarykovy univerzity a Univerzity Palackého: LF MU chyběl k plnému počtu bodů jeden bod za transfer výsledků. MEP sice ocenil vznik několika spin-off společností, zároveň však konstatoval rezervy v komercializaci. Další bod fakulta ztratila při hodnocení implementace předchozích doporučení. Panel zde nadále viděl prostor ke zlepšení v komercializaci, interdisciplinaritě a mezinárodním přesahu.
V případě Lékařské fakulty UP nebylo podle MEP zcela naplněno kritérium uznání vědeckou komunitou. Panel konstatoval excelenci pouze v některých výzkumných směrech, zatímco v jiných oblastech podle něj přetrvávají rezervy. Druhý bod fakulta ztratila v popularizaci, protože její aktivity měly podle panelu převážně regionální charakter.
Pořadí dále klesá až ke dvěma mimopražským lékařským fakultám Univerzity Karlovy. U fakulty v Hradci Králové se přitom ve zprávě objevuje nekonzistence. V textové části je u kritéria uznání vědeckou komunitou uvedena trojka, zatímco v souhrnné tabulce čtyřka. Pro výpočet výsledného hodnocení byla zřejmě použita čtyřka. V opačném případě by hradecká fakulta skončila stejně jako fakulta plzeňská, tedy s hodnocením C.
Lékařské fakulty v Modulech 1 a 3
Zajímavé je srovnání tohoto pořadí s žebříčkem podle kvality vybraných výsledků v Modulu 1. Pořadí se zde poměrně výrazně mění.
Nejlépe vychází „béčková“ 2. lékařská fakulta UK s průměrnou známkou 1,73, vypočítanou za pětileté období od hodnocení v roce 2020 po poslední hodnocení v roce 2024. Následuje další „béčková“ fakulta, 1. LF UK, s průměrnou známkou 1,98.
Průměrná známka všech lékařských fakult činí 2,21. Dvě fakulty s hodnocením A v Modulu 3 – LF OU s průměrem 2,46 a LF UPOL s průměrem 2,48 – tedy v Modulu 1 dosahují výsledku horšího, než je průměr všech lékařských fakult. Hodnocení podle Modulů 1 a 3 spolu v tomto případě nekoreluje.
Lze namítnout, že oba Moduly měří něco zcela jiného, a proto korelaci ani nelze čekat. V Modulu 1 si školy přihlašují své vybrané výsledky s tím, že si mohou zvolit, podle kterého ze dvou kritérií mají být hodnoceny: buď podle „přínosu k poznání” nebo podle „společenské relevance”. Pokud tedy výběr omezíme pouze na výsledky hodnocené podle „společenské relevance”, mohli bychom očekávat, že pořadí fakult tu bude odpovídat i pořadí podle Modulu 3, který se zaměřuje právě na společenskou relevanci.
Ani tato hypotéza se ale nepotvrzuje: nejlepší průměr má opět 2. LF UK (byť v této kategorii přihlásila pouhé dva výsledky) následovaná opět 1. LF UK. Absolutní vítěz Modulu 3, tedy LF OU, má i v tomto případě podprůměrnou známku (průměrná známka přes všechny lékařské fakulty je tu 2,63).
Nejspíše se tedy potvrzuje domněnka, že kalibrovat jednotlivé MEPy napříč univerzitami se nedaří. Někde byly přísnější (zřejmě u UK), jinde velmi benevolentní. V případě Ostravské univerzity (OU) k tomuto závěru dospělo i MŠMT – v protokolu z tripartity k tomu píše „Poskytovatel dochází k závěru, že indikace systematického nadhodnocení a nestandardního využití hodnotící škály snižují reliabilitu hodnocení MEP.” Ačkoli MEP navrhoval zařadit OU mezi univerzity s hodnocením A, ministerstvo i RVVI této univerzitě nakonec přisoudily B.
Je to fér?
Nepovažuji za šťastné ex post prohlašovat, že některý panel systematicky nadhodnocoval. Když už MŠMT nešlo cestou jednotných panelů pro jednotlivé obory napříč školami, mělo si dát víc záležet na úvodním proškolení panelistů a na snaze o jednotnou kalibraci.
Školení sice proběhla, ale byla to spíše seznámení zahraničních hodnotitelů s nepřehledným českým systémem, navíc provázená technickými patáliemi při online komunikaci. Řada novopečených panelistů to protrpěla, aniž se dozvěděla to podstatné: jak správně hodnotit?
Každý MEP měl navíc z ministerstva přiděleného „metodologa”. Ten členy panelu provázel při všech jednáních a byl k dispozici, když panelisté licitovali o známkách. Pokud by tento zástupce MŠMT dospěl k názoru, že je MEP příliš měkký ve svých kritériích, mohl na to jeho členy už na začátku upozornit a ukázat jim třeba příklady z minulého hodnocení pro srovnání. Takto může u podobně postižených škol zůstat nepříjemná pachuť: strávily dost času pečlivou přípravou na hodnocení, dostaly vesměs pochvalné posudky, ale zásahem shora jim byl vzestup zaražen. Co tedy mají příště udělat lépe?
Příště se podíváme na srovnání ekonomických fakult.
Autor: Tomáš Opatrný
Jedná se o úpravu textu, který autor publikoval na platformě DŽurnál
Příspěvky z rubriky Názory nijak nevyjadřují názory a postoje redakce.
