Co chce Daniel Münich, dokáže jen kafemlejnek

V úvodu svého blogu Porcování medvěda DKRVO 2021 Daniel Münich konstatuje: Každoroční porcování institucionální podpory výzkumu na vysokých školách bez dlouhodobějších principů a doprovázené každoročním zpožděním znejišťuje a brzdí koncepční rozvoj škol a jejich výzkumných týmů. Pochybné proporce, v jakých je podpora mezi školy a obory rozdělována, jsou stále poplatné kafemlejnku, který oficiálně skončil již před lety.

A po zevrubné kritice stavu realizace Metodiky 2017+ končí slovy:

Aby se DKRVO stalo skutečným nástrojem strategického řízení vysokých škol, musí se v přerozdělení oněch zbylých 20 % učinit ještě řada dalších kroků:

• Nastavit mechanismus, který bude dlouhodobě předvídatelný v horizontu 4–6 let, spíše než 2–3, a rozhodně ne jednoho roku jako dnes.
• Rozdělování podpory musí zohledňovat velikost oborů na jednotlivých vysokých školách, o čemž dosud nikdo nic neví, protože o tom hodnocení podle Metodiky 2017+ zatím nic nevypovídá.
• Na základě zjištění nového zhodnocení je třeba napravit pokřivené institucionální a oborové proporce financování z éry kafemlejnku.
• Přerozdělování podpory nemá stimulovat konkurenci mezi obory, ale uvnitř oborů. A to i za cenu toho, že mnohdy povede k větší koncentraci.
• Financování nemůže cílit pouze na kvalitní a už tak velké obory, ale také na obory malé, a dokonce i slabé, které je ve společenském zájmu restrukturalizovat a rozvinout.

Nejdříve dvě faktické poznámky k Münichově kritice. Na dvou místech píše, že „kafemlejnek oficiálně skončil s rozpočtovým rokem 2017,“ resp. že „V letech 2010 až 2017 se institucionální podpora rozdělovala podle nechvalně známého kafemlejnku.“ Pokud ovšem za konec kafemlejnku vezmeme okamžik, kdy ze zákona 130/2002 Sb. beze stopy zmizel, je tím datem až 12. únor 2020, kdy začala platit novela tohoto zákona, která z § 7, odstavce (7) odkaz na kafemlejnek odstranila a nahradila ho odkazem na Metodiku 2017+.

A pokud jde o Münichovo tvrzení, že „proporce, v jakých je podpora mezi školy a obory rozdělována, jsou stále poplatné kafemlejnku, který oficiálně skončil již před lety,“ připomínám, že na rozdíl od kafemlejnku Metodika 2017+, resp. financování na ní založené, nerozděluje institucionální podporu na obory, ale jen na vysoké školy.

Základní skutečnosti o Metodice 2017+

To, co Daniel Münich chce, Metodika 2017+ tak, jak je definována, resp. institucionální financování na ní založené, neumí a jediný způsob, jak toho dosáhnout, je přetvořit ji na kafemlejnek, například podle vzoru britského systému Quality-related research funding (QR) využívajícího pro hodnocení Research Excellence Framework (REF), který právě začíná svou novou etapu REF2021. Nepodezírám samozřejmě Daniela Münicha, že po resuscitaci kafemlejnku touží, smysl tohoto blogu je ukázat, proč to jinak než přes kafemlejnek ala QR a REF2021 nejde a ani ten nedokáže všechno, co by si přál. K tomu je třeba si uvědomit následující skutečnosti o Metodice 2017+. Ta má pět modulů:

MODUL 1 – Kvalita vybraných výsledků
MODUL 2 – Výkonnost výzkumu
MODUL 3 – Společenská relevance
MODUL 4 – Viabilita
MODUL 5 – Strategie a koncepce

Přičemž hlavní důraz kladou samy vysoké školy na modul 2 založený na bibliometrické analýze pomocí databází WOS či SCOPUS a využití kategorizace časopisů do kvartilů a decilu podle impaktního faktoru (IF) či Article Infliuence Score (AS) časopisů. Realizace modulů 3–5 a jejich využití pro stanovení institucionální podpory teprve začíná, viz příspěvek Tomáše Opatrného, a tak se v dalším zaměřím na Modul 2. Dále je třeba mít na paměti, že Metodika 2017+ je členěna na tři segmenty: ústavy Akademie věd, vysoké školy a resortní výzkumné organizace. Münichův blog i můj komentář se týkají jen segmentu vysokých škol.

• Metodika 2017+ hodnotí ve 39 oborech vysoké školy jako celky.
• Hodnocení se neopírá o velikost oborů na jednotlivých vysokých školách, výsledkem hodnocení v modulu 2 je profil kvality článků vysoké školy v daném oboru podle kvartilů časopisů, který údaj o velikosti týmu v daném oboru neobsahuje.
• Výsledkem hodnocení je škálování vysokých škol jako celků, tj. rozřazení vysokých škol do čtyř kategorií kvality A, B, C a D, které provádí tzv. tripartity, tj. grémia složená ze zástupců poskytovatele, tedy MŠMT, Rady pro výzkum, vývoj a inovace a odboru hodnocení na Úřadu vlády a příslušných Odborných panelů.
• Protože Metodika 2017+ neškáluje vysoké školy v jednotlivých oborech, následné stanovení institucionální podpory se proto týká vysokých škol jako celků.

Škálování vysokých škol podle Metodiky 2017+ je jeden z podkladů pro stanovení jejich institucionální podpory. Metodika 2017+ konkrétně stanoví, že do jednání o výdajích státního rozpočtu na VaVaI pro jednotlivé kapitoly, tedy v případě vysokých škol MŠMT, které je poskytovatelem institucionální podpory vysokých škol, vstupují:

• roční zpráva za kapitolu zpracovaná poskytovatelem,
• Souhrnné zprávy pro úroveň poskytovatele zpracované odborem hodnocení na Úřadu vlády
• předchozí zařazení jednotlivých vysokých škol do kvalitativních kategorií, tj. škálování
• Národní politika výzkumu, vývoje a inovací,
• rezortní koncepce, případně Národní RIS 3 strategie.

Konečné rozhodnutí o přidělení institucionální podpory jednotlivým výzkumným organizacím je plně na zodpovědnosti příslušného poskytovatele, tedy v případě vysokých škol na MŠMT. To k tomu má dispozici primárně právě ono škálování celých vysokých škol.

Aby si mohly konkurovat týmy pracující v daném oboru na různých vysokých školách, musela by metodika hodnocení rozdělovat daný objem prostředků přidělený tomuto oboru mezi jednotlivé vysoké školy. A aby si nekonkurovaly různé obory, musely by být podíly jednotlivých oborů na celkovém objemu prostředků na DKRVO vysokých škol předem stanoveny.

Jakákoliv náprava „pokřivených institucionálních a oborových proporcí“ tak, aby přerozdělení podpory jednotlivým vysokým školám stimulovalo konkurenci uvnitř oborů, tj. konkurenci mezi jednotlivými vysokými školami v daném oboru, ale nikoliv mezi obory a zohledňovalo přitom i velikost oborů na jednotlivých vysokých školách, proto vyžaduje zásadní modifikaci Metodiky 2017+ a opuštění výše citované procedury stanovení institucionální podpory v segmentu vysokých škol. To je možné, ale výsledkem by byl kafemlejnek II.

Britský systém náš vzor?

Jako vzor může sloužit již zmíněný britský systém QR+REF, který rozděluje to, co je analog naší institucionální podpory na DKRVO, mezi cca 160 britských univerzit a podobně jako náš bývalý kafemlejnek je jen nástroj na rozdělení institucionální podpory výzkumu, výslovně zaměřeného na kvalitu. Nedomnívám se, že bychom se ho měli snažit napodobit, protože specifikace obsahu podkladů pro REF je velmi komplikovaná, ale může být v některých ohledech vhodným vzorem.

REF probíhá jednou za 6–8 let a rozdělení prostředků je na tuto dobu fixováno. Právě teď začíná REF2021, předchozí hodnocení proběhlo v roce 2014. Základní jednotkou hodnocení i financování je tzv. podání (submission), což je soubor podkladů pro hodnocení jednoho z 34 oborů na dané univerzitě (třeba fyziky na Cambridgeské univerzitě). Podání obsahuje především:

• seznam akademických pracovníků zaměřených na výzkum členů, přičemž tato kategorie je velmi podrobně definována a splnění podmínek na členy podání je přísně kontrolováno, protože jejich počtu, resp. FTE, je přímo úměrná finanční podpora.
• seznam předložených výstupů, přičemž na každého člena podání musí připadat aspoň jeden výstupů a celkový počet článků či jiných výstupů za období 2015–2019 musí být 2,5 násobkem celkového FTE podání. V tom je rozdíl od minulého REF2014, kdy každý člen musel dodat 4 výstupy.

Výsledkem hodnocení REF každého podání je celkový profil předložených výsledků, což je pět čísel určujících procentní podíl výsledků v pěti kvalitativních stupních (4*, 3*, 2*, 1*, neklasifikován) přesně odpovídajících stupňům v hodnocení vybraných výstupů v modulu 1 Metodiky 2017+, která je z REF převzala. Celkový profil vzniká váženým součtem profilů charakterizujících kvalitu výstupů, jejich dopad (společenský, ekonomický apod.) a prostředí (vitalita, udržitelnost), přičemž váhy zmíněných tří částí jsou 0,65, 0.20 a 0,10. Kvalita výstupů dobře odpovídá našemu Modulu 2, dopad a prostředí našim Modulům 3–5. Profily podání stanovují příslušné oborové panely, složené z 20–70 odborníků, převážně profesorů britských univerzit. Panel neposuzuje jednotlivé články a jiné výstupy, ale blíže nepopsanou procedurou stanoví procenta článků či jiných výstupů, které podle jeho názoru spadají do výše uvedených kategorií. Stanovením profilů končí práce REF.

Kafemlejnek UK

REF sám prostředky na tv. quality research britských univerzit nerozděluje, to dělá na jeho základě od roku 2018 UK Research and Innovation, veřejná instituce financovaná Ministerstvem podnikání, energetiky a průmyslové strategie prostřednictví jeho části Research England. Finanční podpora na konkrétní podání, tedy obor na dané univerzitě, je přímo úměrná součinu tří koeficientů:

1. Koeficient kvality: procentuální podíl výsledků v nejvyšším stupni kvality 4* plus jedna čtvrtina procentního podílu ve stupni 3*. Podíly v nižších stupních se neberou v úvahu. Cílem je podporovat jen ten nejkvalitnější výzkum.
2. Koeficient velikosti: FTE členů podání, kteří splňují velmi náročné podmínky.
3. Koeficient laboratorní náročnosti: více či méně laboratorně závislý výzkum, hodnoty 1.6, 1.3, a 1.

Výsledný součin je analog celkového počtu RIV bodů našeho zesnulého kafemlejnku. REF tímto způsobem rozporcuje britského medvěda mezi jednotlivá podání, tj. obory na jednotlivých univerzitách. Ty pak dostanou částky, které vzniknou součtem objemů připadajících na všechna jejich podání, tj. obory, které do hodnocení přihlásily. Vnitřní rozdělení těchto prostředků uvnitř univerzit je pak ovšem již plně v kompetenci univerzit.

Britský kafemlejnek splňuje dva ze tří přání Daniela Münicha: výše podpory závisí na velikosti oboru na dané univerzitě, dokonce přímo a týmy v daném oboru konkurují svým protějškům na jiných univerzitách. Ale nikoliv pouze jim, ale všem oborům na všech univerzitách. REF nefixuje objemy prostředků na jednotlivé obory, a tedy ani on nesplňuje třetí Münichovu podmínku.

Jak Metodiku 2017+ doplnit o kafemlejnek

Metodika 2017+ je s takto definovaným kafemlejnkem zjevně neslučitelná a nedovedu si představit, že by byla všeobecná ochota ho potřebným způsobem modifikovat. Dovedu si ale představit, že si analogický kafemlejnek vyrobí MŠMT jako interní nástroj pro rozdělení oněch 20 motivačních procent na DKRVO, které je plně v jeho kompetenci.

Za profily vysokých škol v jednotlivých oborech lze vzít profily vyrobené v rámci modulu 2, i když lze namítnout, že profily v REF jsou stanoveny na základě posouzení obsahu výsledků oborovými panely a nikoliv na základě příslušnosti daného časopisu do příslušného časopiseckého kvartilu, ale OK.

Jediné, co by bylo třeba dodat a co není v podkladech pro Metodiku 2017+, jsou údaje o velikosti týmů jednotlivých oborů na každé vysoké škole. Tyto údaje by musely být pečlivě definovány a kontrolovány, ale jinak to nejde…

A pak by už stačilo dohodnout se na způsobu vážení podílů v jednotlivých kvalitativních stupních (britský je velmi selektivní, není nutno kopírovat) a zvážit, zda zavést vážení na laboratorní náročnost oboru a případně stanovit hodnoty koeficientů. A kafemlejnek MŠMT by byl hotov. Přitom volbou výše zmíněných parametrů by MŠMT mohlo ovlivňovat rozdělování motivační složky podle svých strategických představ, pokud by nějaké mělo. A pokud by MŠMT nejevilo ochotu svůj kafemlejnek zkonstruovat, mohly by to za něj udělat samy vysoké školy a výsledek mu vnutit.

Jak dál

Metodiku 2017+ považuji za důležitý a nezbytný krok správným směrem od zesnulého kafemlejnku, ale pouze za první krok, po němž by měly následovat další. Domnívám se, že bychom měli hodnocení decentralizovat a ponechat ho na jednotlivých poskytovatelích, a v případě vysokých škol dokonce na nich samotných. Veřejné vysoké školy, na rozdíl ústavů Akademie věd a resortních výzkumných organizací, nemají svého zřizovatele, neboť jsou zřízeny zákonem, a MŠMT jako poskytovatel jejich institucionální podpory nemá vůči nim žádné jiné pravomoci.

To by umožnilo, aby se hodnocení přizpůsobilo potřebám jednotlivých poskytovatelů a bylo skutečným hodnocením, ne jen nástrojem na rozdělování institucionální podpory. Právě z tohoto důvodu je základní jednotkou v interním hodnocení ústavů Akademie věd pracovní tým, nikoliv celý ústav, a práce jsou hodnoceny podle jejich obsahu, nikoliv IF či ASI časopisů, kde jsou publikovány. Teprve takové hodnocení může mít formativní dopad, a především o ten by mělo jít. Akademie věd by podle mého názoru měla dále upravit své interní hodnocení směrem, jak se provádí ve společnosti Maxe Plancka. V něm hrají roli hodnotitelů Vědecké poradní výbory (Scientific Advisory Board, SAB), které každý ústav MPG má a které jednou za dva roky podají prezidentovi MPG podrobnou zprávu o stavu výzkumu v jejich ústavu. Tyto SAB jsou obsazeny špičkovými odborníky v oborech pěstovaných v daném ústavu a hrají zásadní roli ve stanovení jeho vědeckého programu. Nic lepšího existovat nemůže.

Je také jasné, že hodnocení vědy a výzkumu na Karlově či Masarykově univerzitě a několika dalších výzkumně orientovaných vysokých školách, kde věda a výzkum jsou neoddělitelně spjaty s výukou, musí probíhat jinak než na regionálních vysokých školách, jejichž těžiště je ve výuce. A hodnocení výzkumných organizací spadajících pod Ministerstvo zemědělství podle jiných zásad a hledisek a na základě jiných podkladů než hodnocení výzkumných organizací spadajících třeba pod Ministerstvo zdravotnictví.

Decentralizací hodnocení výzkumu bychom se vrátili do doby před cca 15 lety, kdy starý kafemlejnek vznikal, protože se řadě politiků i vědců zdálo, že je třeba změnit tehdejší způsob institucionálního financování výzkumných organizací a k tomu účelu vědu a výzkum řádně hodnotit. Po 15 letech jsme chytřejší a víme, kudy cesta určitě nevede i kudy by vést mohla.

 

Autor: Jiří Chýla