Loňské (2024) kolo celonárodního hodnocení výzkumných organizací za období 2018–2022 (zvané Hodnocení 2023) v Modulech 1 a 2 skončilo až před pár týdny zveřejněním výsledků tzv. škálování, tedy výsledků tzv. tripartitních jednání. Hodnocení v Modulech 3 až 5 proběhlo naposledy v roce 2020, ale výsledky jsem nenašel. Další kolo probíhá letos.
Byť se charakter hodnocení podle Metodiky 2017+ podařilo za zhruba osm let posunout kvalitativně kupředu, užitečnost poskytovaných výsledků je podle mě stále diskutabilní. Stále se jim nedostává na přehlednosti, srozumitelnosti, systematičnosti a proto nakonec i užitečnosti. V tomto blogu se zamýšlím jak nad užitečností obsahu, tak nad formou prezentace výsledků. Pro lepší pochopení začínám příkladem slavného britského hodnocení vědy na tamních vysokých školách REF. České hodnocení by se mělo REF inspirovat, aby vůbec stálo za to úsilí a peníze.
V předchozích stopařských epizodách (1a, 1b, 2) jsem vás provedl výsledky českého národního hodnocení v tzv. Modulu 2. Dnes dočasně přeskočím budoucí epizodu o hodnocení v Modulu 1 a skočím až na úplný konec, tedy na vysvětlení toho, co jsme se dosud na základě hodnocení dozvěděli, nedozvěděli a proč. Toto pojednání je psáno z pohledu hodnocení vědy na vysokých školách. S trošku jinou logikou by se dalo a mělo popsat i z pohledu ústavů AV ČR nebo resortních výzkumáků.
Přečtěte si také
Pavel Doleček působí jako náměstek ministra pro vědu, výzkum a inovace. V rozhovoru se zamýšlí nad smyslem hodnocení výzkumných organizací a nad tím, co může a nemůže nabídnout. Vysoké školy podle něj podceňují interní hodnocení a lidé často chtějí protichůdné věci: na jedné straně autonomii vysokých škol, ale zároveň vnější kontrolu, aby uvnitř vysoké školy nedocházelo k nespravedlnostem. Jak by podle něj mělo být provázané hodnocení a financování? Proč by se vysoké školy měly soustředit na formulaci své vize? A jak vnímá roli Rady pro výzkum, vývoj a inovace?
Když se řekne REF
Na pomoc si vezmu příklad slavného britského institucionálního hodnocení vědy REF, které se už snad čtyři dekády let týká tamních 157 vysokých škol v 34 oborech. Poslední hodnocení REF proběhlo v roce 2021, další se už připravuje, ale hlavní fáze proběhne až v roce 2029. Hodnocení REF je sice hodně náročné a poměrně drahé, ale když se zohlední jeho nízká periodicita, jeho přínosy vysoce převyšují jeho náklady. Provedu vás způsobem prezentace výsledků hodnocení REF2021 jako příklad dobré praxe. Teprve poté se vrátím k popisu prezentace výsledků českého hodnocení. Bude vám pak jasnější, v čem to české dosud kulhá.
Obsah a struktura výsledků britského hodnocení REF
O hodnocení REF by se dal psát blog či spíše román na pokračování. Vlastně jsem o něm jako vzoru dobré praxe pro Česko psal už před 17 lety v dobách panování českého kafemlejnku. Dnes se ale soustředím jen na jeho klíčové aspekty, které činí jeho výsledky mnohem srozumitelnější a použitelnější než ty české. Během mé krátké exkurze si prosím všímejte i toho, že výsledky hodnocení REF netvoří nekonečné plejády obtížně uchopitelných PDF souborů zabalených v ZIP souborech, ale jeho výsledky jsou přehledně prezentovány na lehce interaktivním webu.
Nejdříve ale musím uvést klíčové pojmy, se kterými REF pracuje (v detailu zde). Do hodnocení REF jednotlivé vysoké školy podávají přihlášky tzv. submissions. Škola podává přihlášky do všech oborů (tzv. unit of assessment = UoA), kde výrazněji vědecky působí, respektive kde chce být zhodnocena a posléze čerpat veřejnou podporu. Nejde o nic jiného, než o dodržování principu oborově specifického hodnocení, kde hodnoticí panel daného oboru (UoA) hodnotí přihlášky všech škol, které se k hodnocení v oboru (UoA) přihlásily. Ve velmi přehledné tabulce XLS se pak můžete na webu REF podívat, do jakých všech oborů (UoS) se ta která britská škola přihlásila.
Zcela zásadním prvkem hodnocení REF je informace o počtech kmenových vědeckých pracovníků (FTE staff), kterou škola musí v každé přihlášce uvést. Informace o personálním zázemí totiž umožňuje rozlišit mezi vědeckým výkonem školy v oboru (danou hlavně personální velikostí školy v oboru) a vědeckou produktivitou školy v oboru (danou vědeckým výkonem vztaženým k personální velikosti). Samotný vědecký výkon (např. počet publikací) totiž o kvalitě dané školy v oboru nic neříká. Být v oboru velkou školou není z pohledu hodnocení ani dobré ani špatné, je to prostě jen informace. Pro hodnocení je naopak klíčová produktivita školy v oboru. A bez věrohodné informace o počtu vědců na úrovni školy v oboru v podstatě není možné produktivitu školy v oboru posoudit, srovnat s ostatními školami a oznámkovat.
Pravidla britského REF zároveň vyžadují, aby škola v oborové přihlášce za každého kmenového vědce předložila právě jeden výsledek, který považuje za jeho nejlepší. To je strašně důležité pravidlo pro zajištění vypovídací schopnosti výsledků hodnocení. Škola totiž pak nemůže skrývat menší či větší část své vědecké nevýkonnosti tím, že předloží pouze výsledky svých nejlepších vědců nebo týmů v oboru nebo předkládat výsledky z jiných oborů, kde jich má více.
Pro přehlednost prezentace výsledků REF na webu je důležité, že výsledky jsou prezentovány na úrovni obor x vysoká škola. Jako uživatel si pak vyberete školy, které si chcete porovnat a daný obor (UoA). Pro každou z vybraných škol v oboru se vám pak zobrazí série sloupcových grafů jako na Obrázku 1. Jako příklad jsem vybral obor UoA=16 Economics and Econometrics a slavnou London School of Economics (LSE), kterou srovnám s University of Essex (UoE).
Na Obrázku 1 vidíme profily obou škol pro 3 dimenze hodnocení REF: Outputs s váhou 60 %, Impact s váhou 25 % a Enviroment s váhou 15 % plus Overall profile (Celkem).
Např. graf Outputs ukazuje podíly vědeckých výsledků obou škol v oboru podle známek (nejlepší známka je 4*, ..., nejhorší je 1*). Všimněme si, že klikem na odkaz "View output detail" se hned dozvíte jaké konkrétní výsledky za těmi známkami LSE nebo UoE stojí. V jejich seznamu pak jsou rovnou odkazy na konkrétní výsledky, jako například tento článek. Nalevo pak vidíme zásadní informaci o personální velikosti obou škol v daném oboru (Total category A submitted staff FTE). A klikem na odkaz Learn about staff si uživatel může připomenout definici.
Zde je zcela zásadní, že oznámkované výsledky zastupují všechny kmenové vědce dané školy v daném oboru (UoA). Grafy proto nesrovnávají pouze kvalitativní profily výsledků, ale mnohem důležitější produktivitu. Rovnou vidíme, že LSE je zhruba o třetinu produktivnější než UoE, protože obě školy jsou v oboru podobně personálně velké (54 vs 52 FTE), ale LSE vykazuje výrazně větší podíl výsledků s nejlepší známkou 4*. UoE má potom o to více výsledků s horší známkou 3*. Jen při znalosti FTE škol v oboru a při předkládání výsledků za každého kmenového vědce lze zohlednit faktor personální velikosti škol v oboru, odvodit jejich publikační produktivity v oboru a školy v oboru navzájem poměřovat, aniž by se do známek promítala personální velikost škol v oboru.
Také je důležité to, že profil Outputs zahrnuje všechny typy vědeckých výsledků bez ohledu na to, zda jde o články v časopisech na indexu WoS nebo o něco jiného. Klíčové je, že ho škola považuje za nejlepší výsledek kmenového vědce za uplynulé období. To v českém hodnocení neplatí.
Na dalších odkazech View impact case studies a View Enviroment details se po kliku už sami dopátráte, co dalšího se lze z prezentace výsledků britského hodnocení REF o dané škole v daném oboru dozvědět a navíc velice snadno, rychle a přehledně.
A když vám náhodou nebude grafické srovnání na webu REF stačit, stačí kliknout a stáhnete si data za všechny vybrané školy v oboru (UoA) v jednom přehledném souboru XLS a sami si s tím můžete dál analyticky hrát. Na Obrázku 2 vidíte příklad, jen jsem si to krapet graficky poladil. Jasně tam jsou vidět personální velikosti škol v oboru, kvalitativní profily zhodnocených výsledků a vzhledem ke znalosti personální velikosti jsou hned zřejmé i rozdíly v produktivitě škol v oboru (podle kvality).
A když budete chtít vidět přehledné shrnutí za celý obor (UoA), v mém příkladě Economics and Econometrics, stačí kliknout sem a dostanete ho jako na podnose – viz Obrázky 3a, 3b. Snadno z něho vyčtete spoustu důležitých informací o celém oboru, jako například:
- Počtu vědců v oboru (FTE) a odděleně těch začínajících.
- Počty předložených výsledků a dopadových studií ke zhodnocení v oboru (UoA).
- Příjmy oboru za posledních zhruba 10 let.
- Celkové profily dle udělených známek v oboru (UoA).
- Distribuci personální velikostí VŠ působících v oboru (UoA).
- Distribuci udělených známek za všechny tři hodnocené dimenze v oboru (UoA).
Jediné, co mi ve výsledcích REF za obory (UoA) chybí, je nějaké mezinárodní srovnání personálních velikostí, vědecké výkonnosti a produktivity britských oborů.
Kapitolou samou pro sebe je, že na takto koncipované výsledky hodnocení REF (t.j. známky ve třech dimenzích hodnocení na úrovni škol a oborů (UoA) + informace o počtech FTE vědců) pak lze smysluplně navázat formulku rozdělující veřejnou institucionální finanční podporu vědy mezi školy, oborové skupiny až obory. V Británii si pak mohou dovolit provozovat něco zdánlivě připomínající náš dřívější kafemlejnek (1, 2, 3, 4, 5, 6, 7). A skutečně to tak dělají. Jejich 'kafemlejnek' však bere v úvahu produktivitu škol v jednotlivých oborech (protože může pracovat s věrohodnou informací o personální velikosti) a na školách silně stimuluje řízení cílené na vědeckou excelenci, protože do financování se promítají pouze nejlepší známky 4* (se zdaleka největší vahou) a 3*. Navíc tou jejich formulkou mohou snadno usměrňovat podíly oborů na celkové veřejné podpoře podle společenských priorit a strategických potřeb. A je to právě a pouze díky tomu, že jim hodnocení REF poskytuje informace o počtu FTE vědců na VŠ v jednotlivých oborech.
Britský systém REF ale není obdobou českého kafemlejnku i proto, že samotné hodnocení REF má ryze formu peer-review. Dokonce si v REF explicitně zakazují používat bibliometrické indikátory jako méně dokonalé a potenciálně zavádějící. V českém hodnocení naopak bibliometrické hodnocení v Modulu 2 hraje poměrně zásadní roli. Podle mého názoru ale přes své nedokonalosti a zkreslení poskytuje v rámci našeho hodnocení ty z věrohodnějších, vypovídajících a užitečnějších informací.
Obsah a struktura výsledků českého hodnocení
Hodnocení českých vysokých škol v Modulech 3 až 5 podle příslušné metodiky nějak proběhlo už v roce 2020, ale jeho výsledky se mi nepodařilo najít ani na webu celkových výsledků hodnocení, ani na webu k hodnocení na vysokých školách MŠMT. Hodnocení škol v Modulech 1 a 2 dosud probíhalo každoročně, takže i výsledky jsou každoroční a najdete je zde. Střípky informací si ale musíte posbírat sami rozhozené celkem v pěti sekcích. Zkuste si to a poznáte, že to rozhodně není procházka růžovou zahradou:
- V sekci Modul 1 najdeme výsledky zhodnocení oborů a škol v oborech na základě vybraných vědeckých výsledků a to metodou peer-review. Najdete tam jak udělené známky výsledků, tak komentáře hodnoticích panelů na úrovni oborů a škol v oborech. Výsledky ale nejsou moc propojeny s výsledky v dalších dimenzích hodnocení. A co je hlavní, chybí tam reflexe rozdílné personální velikosti škol v oborech. O kvalitě škol v jednotlivých oborech (produktivitě) se tam vlastně nedozvíme nic. Výsledky navíc zkresluje skutečnost, že školy si prakticky mohou předložit výsledky z jakýchkoli oborů a od kterých vědců chtějí.
- V sekci Modul 2 najdeme výsledky na základě bibliometrických ukazatelů ve dvou subsekcích Modul 2: biblio oboru a Modul 2: Biblio VO. Zde jde pouze o výsledky ve formě článků v časopisech na indexu databáze WoS. Přehledné a systematické srovnání škol v oborech, jako poskytuje britské REF, tam ale nenajdete. V sekci za výzkumné organizace (VO) byste si nejdříve museli postahovat ZIP soubory za cca 30 škol, každý zvlášť otevřít a v PDF za každou VŠ pak složitě zjistit, zda daná škola v daném oboru vůbec působí. A teprve až byste si ručně vyzobali údaje o počtech vědců a článků, teprve byste dostali srovnání personálních velikostí a produktivit VŠ v oboru. Ale pochybuji, že se v Česku najde někdo, do je ochoten takové martýrium absolvovat. A i kdyby se tak náhodou stalo, získaná informace se bude dotýkat pouze článků v časopisech WoS, a informace o personální velikosti škol v oborech bude představovat jen velmi hrubý odhad na základě počtu autorů v RIVu.
- V subsekci za obory si opět nejdříve musíte postahovat ZIP soubory za oborové skupiny a z nich vybalit spousty oborových PDF souborů. Určité srovnatelné informace o škole v oboru se můžete dopátrat v bibliometrických oborových reportech, v oborových komentářích a v souhrnném komentáři za oborovou skupinu. Jenomže tvrdě narazíte na to, že každý oborový komentář je pojat jinak, byť má stejnou osnovu sekcí. Navíc v řadě (a možná většině) komentářů za obory či oborové skupiny se pozornost nevěnuje nejpodstatnější informaci o velikosti škol v oborech a publikační produktivitě škol v oboru, ale sekundárním věcem, jako jsou proporce článků podle vědeckého vlivu časopisů nebo s ničím nesrovnatelné informace o podílu spoluautorství. Navíc je dost dobře možné, že jsou pominuty personálně menší, ale vysoce produktivní školy v oboru a nebo naopak školy v oboru personálně velké, ale málo produktivní. A namnoze je dokonce dikce hodnoticích komentářů dost nejasná v tom, na základě čeho přesně je hodnoticí soud založen. Mnohdy to vypadá, že pochvalu škola dostane za hodně výsledků, byť to třeba je hlavně díky její velké personální velikosti. A ani v této sekci nejsou výsledky přehledně propojeny s výsledky škol v oboru z Modulu 1.
- V sekci Modul 2: Biblio WoS Cats jsou jen další informace na detailnější oborové úrovni WoS Categories, ale většinou jsou ještě méně užitečné než ty ostatní.
- Poslední sekcí výsledků hodnocení je tzv. Škálování – výsledky tzv. tripartit 2023. Klidně si stáhněte a přečtěte tam umístěné PDF a XLS soubory, ale nedoufejte, že byste se z toho o úrovni a trendech české vysokoškolské vědy v mezinárodním srovnání a vědecké kvalitě vysokých škol v oborech něco užitečnějšího dozvěděli.
Přečtěte si také
Na Dnech vědy, výzkumu a inovací, které se konaly 12. a 13. září v Brně, vzbudila velký zájem přednáška zástupců Ministerstva školství, mládeže a tělovýchovy o blížícím se hodnocení vysokých škol, které by mělo proběhnout na jaře 2025. Z čeho se bude hodnocení skládat? Jak bude probíhat? Bude se lišit od Metodiky 2020?
Suma sumárum
Výsledky českého národního hodnocení vědy na vysokých školách (a výzkumných organizacích) jsou dosud prezentovány dost nepřehledným a těžko uchopitelným způsobem a výsledky samotné neobsahují některé velmi zásadní informace.
Zásadním nedostatkem dosavadního pojetí českého hodnocení dle Metodiky 2017+ a do budoucna Metodiky 2025+ je, že nepracuje s podobně věrohodnou informací o počtech vědců škol v oborech škol, obecně výzkumných organizací, jako je ukazatel FTE staff v britském REF. A také to, že se výsledky do hodnocení nepředkládají za každého kmenového vědce.
Důsledkem toho je, že výsledky českého hodnocení postrádají důležité srovnání vědecké produktivity škol v oborech. Místo toho se podrobně poměřují kdejaké počty a podíly výsledků, které zas tak moc vypovídací nejsou. Za příznak kvality školy v oboru je pak často chybně vydávána její vědecká výkonnost plynoucí spíše z její personální velikosti. V řadě případů se za kvalitu také mylně vydává podíl dobrých a špatných výsledků, což je však jen sekundární indikátor soustředění se školy na vědeckou kvalitu, aniž by cokoliv vypovídal o produktivitě školy v oboru.
Další problematická místa českého hodnocení najdeme v dimenzi dopadů výsledků (Impacts) v Modulu 1 (více v budoucí blog Epizodě 6, možná po vzoru Star Wars půjdu na nižší čísla, tedy Epozidu 4). Hodnocení v dimenzi Environment se na národní úrovni vlastně nedělá vůbec a každá škola si ho dělala a bude dělat sama podle sebe pomocí vlastních hodnotitelů bez možnosti věrohodné srovnatelnosti škol (Moduly 3 až 5). A výsledky navíc v minulosti nebyly přehledně propojené s výsledky národního hodnocení v Modulech 1 a 2.
Vše kritické, co jsem zde napsal, ovšem není výzvou ke zrušení českého hodnocení, ale výzvou k vážnému zamyšlení se, jakým směrem ho dále zlepšovat a jak zlepšit veřejnou prezentaci jeho výsledků po letošním kole hodnocení ve všech modulech.
Autor: Daniel Münich
Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz.
Příspěvky z rubriky Názory nevyjadřují názory a postoje redakce.
Přečtěte si také
Rada pro výzkum, vývoj a inovace uspořádala ve spolupráci s Českou zemědělskou univerzitou v Praze 19. 2. 2025 konferenci o Metodice hodnocení výzkumných organizací. Zaměřila se na problematiku hodnocení vysokých škol a na aktualizaci metodiky hodnocení. Jaké byly důvody aktualizace Metodiky 2017+, jaké konkrétní změny proběhly a v jaké fázi se nachází Metodika 2025+, podle které budou letos hodnoceny vysoké školy?
