Pavel Doleček: Byl bych velmi rád, kdyby se výsledky hodnocení propsaly do financování

Nejlepší výsledky, nejlepší publikace 

Letos probíhá hodnocení vysokých škol. Jakým způsobem jste upravili Metodiku hodnocení výzkumných organizací, která se skládá z modulů M1–M5? 

Musím před závorkou vytknout, že se bavíme o aktualizaci Metodiky. Základní kostra, skládající se z pěti modulů a tří úrovní hodnocení, zůstává stejná, jen jsme upravili věci, které se od doby jejího vzniku v roce 2015–17 přežily. Za významné považuji, že na národní úrovni a na úrovni poskytovatelů se to snažíme celé zpřehlednit. U Modulu 1, který se zabývá vybranými výsledky, dáváme dvě specifické škály hodnocení. Jedna je určena základnímu, primárně publikačnímu typu výzkumu, tedy nejlepším publikacím, a druhá je pro společenskou relevanci, což se vztahuje typicky na aplikovaný výzkum. Chtěli jsme, aby se hodnotitelé mohli specificky dívat na výsledky aplikovaného výzkumu a hodnotit je adekvátně. 

To je Modul 1 (M1), tedy vybrané výsledky. Co Modul 2 (M2), který se věnuje bibliometrii?

Tento modul je občas kritizován, že je to „pouhá bibliometrie“. I v souvislosti s mezinárodními iniciativami, jako je COARA, ale říkáme, že bibliometrie může být, jen musí být odpovědně používána. Snažíme se, aby byl Modul 2 rozdělen do tří reportů. Podíváme se na výsledky z různých perspektiv, aby to bylo plastičtější.  Tento vhled do toho vnáší odborné panely hodnotitelů. Nebude to pouhá statistika, bude to komentovaná bibliometrie. Samozřejmě víme, že pro určité organizace je M1 mnohem důležitější než M2, typicky pro ústavy, které se zabývají humanitními vědami. V některých typech vědních oblastí neboli fordů ale poskytuje bibliometrie důležité informace, typicky v přírodovědných oborech hraje větší roli. Odborný panel vždy posoudí, jak moc je který modul relevantní pro danou organizaci. Není to snadná disciplína, protože musíme hodnotit různé instituce od muzeí přes fakultní nemocnice až po širokospektrální univerzity. Peer review proces tedy musí vždy začít vyhodnocením, co je pro danou instituci relevantní. 

Na co se někdy zapomíná, je, že metodika je jen technický postup, jak z různých typů dat a informací na vstupu uděláte výslednou známku pro výzkumnou organizaci. Často v debatě narážíme na to, že lidé vkládají do metodiky víc ambicí, než může naplnit. A zároveň, že kritika metodiky je spíš kritikou výsledků hodnocení, se kterými někdo nesouhlasí.

S jakým časovým odstupem hodnotíte vybrané výsledky v M1, aby se dalo posoudit, že výsledek měl opravdu společenskou relevanci? To se přece nedá zjistit hned. 

Výzva k předkládání je každoroční, předkládají se vždy výsledky z předchozích pěti let, ale je na výzkumných organizacích, co předloží. U výsledku se vždy popisuje, zda již došlo k uplatnění nebo jestli má potenciál uplatnění, třeba komercionalizace. Pak je na hodnotitelích, aby tento potenciál komercionalizace posoudili. Některé věci mohou mít dopad až po pěti, deseti letech. Ale nevím, jak bychom to řešili. To bychom museli výzkumné organizace nabádat, aby posečkali s předložením výsledku několik let. 

Dívala jsem se na některé vybrané výsledky v M1, ale struktura jejich popisu je tak různorodá, že se nedají navzájem moc srovnat. 

Samozřejmě, protože různé typy organizací produkují různé typy výsledků. V M1 máme výhodu, že popis výsledku i ten výsledek si vždy někdo přečte. Tudíž to bude i relevantně zhodnoceno, ať jde o publikační či nepublikační výsledek. 

A mají naše organizace skutečně kvalitní výsledky se společenskou relevancí? 

Určitě ano, ale pokud bychom chtěli řešit konkrétní příklady, bylo by lepší přizvat zpravodaje Rady či Komisi pro hodnocení výzkumných organizací.

Jak můžeme srovnávat výsledky organizací v jednotlivých oborech, když nevíme, kolik výzkumníků v dané organizaci a v daném oboru působí? 

Narážíte na téma oborových kapacit. To je velké, dlouhodobě řešené a nedořešené téma, hlavně na vysokých školách. Proto se nyní oborové kapacity sbírají v dalších modulech metodiky hodnocení, v M3 až M5, jejichž hodnocení proběhne pro vysoké školy letos. 

V jednom protokolu M2 se také hodnotí tzv. produktivita, která právě bere v úvahu velikost jednotlivých oborů dle dostupných dat o personálních kapacitách. Ale debata je mimořádně složitá, protože zjistit proporci, vyjádřit kapacitu, není vůbec legrace. Jedna možnost, jak vyjádřit kapacitu, je počet lidí přepočtený na plné úvazky (FTE), to je asi nejrelevantnější. Další možnost je vztáhnout to k velikosti prostředků, které do oboru jdou, ale to je metodologicky složité, protože institucionální podporu neboli DKRVO si může škola rozdělit, jak chce.  Pak tu máme účelové, projektové finance. Ty by šly asi lépe posoudit, ale nedává smysl je vyjmout a hodnotit podle nich oborovou kapacitu. Proto např. u M2 jdeme cestou zmíněnou výše.  

Kolik peněz si kdo zaslouží 

Jaký vliv by mělo mít hodnocení na financování? 

Já bych byl velmi rád, kdyby se to do financování propsalo poměrně výrazně. Celý proces hodnocení je dost složitý, sofistikovaný, Metodika má pět modulů, takže si myslím, že výsledný obrázek, výsledná známka a zpětná vazba je robustní. Hodnocení probíhá jednou za pět let a mělo by se podle mě propsat do financování na další pětiletku. Zákon ale říká jasně, že je to v kompetenci poskytovatele. Snažíme se tedy s nimi o tom mluvit. 

Chceme, aby v aktualizaci Metodiky bylo napsáno, že když si poskytovatel nechá od Rady pro výzkum, vývoj a inovace (RVVI) projednat způsob hodnocení, tak by měl ukázat, jakou má představu, že bude mít hodnocení vliv na financování. Nejsnazší varianta je mít nějaké indexové financování. Když budu mít organizace na škále A až D, tak můžu nějakým způsobem zohledňovat nárůst prostředků. Preferovat nárůst pro áčkové organizace a třeba céčkovým zachovat současnou hladinu. Takhle k tomu  historicky přistoupilo i MŠMT, kdy asi 20 % prostředků pro vysoké školy bylo motivačních, které se rozdělovaly na základě výsledků hodnocení. Jsou ale poskytovatelé, kteří mají třeba jen jednu výzkumnou organizaci a nemají tím pádem srovnání, která jeho organizace je lepší a která horší, tam k tomu musí přistupovat rozdílně.  

Argumentem proti spojování financování a hodnocení na druhé straně je, že organizace pak někdy nepřistupují k hodnocení pravdivě jako ke zpětné vazbě, ale snaží se výsledky v uvozovkách lakovat co nejlépe, aby dostaly víc peněz. 

To je problém jakéhokoli financování. Ať ho nastavíte jakkoli, každá instituce najde způsob, jak se v procesu zvýhodnit. To je normální gaming, který hrají všichni. A nemyslím to nijak špatně, naopak. Když něco bonifikuji, dopředu musím počítat s tím, že reakce bude taková, že organizace bude dané aktivity dělat více. Cíleně tak jako poskytovatel podpořím aktivity, které by se měly více rozvíjet. A zároveň dodaná data se dají nějak verifikovat, nemůžete u nich lhát. A pak do procesu vstupuje také peer review, návštěvy mezinárodních evaluačních panelů na pracovištích. U těch je důležitá kvalita panelistů – aby viděli dovnitř a dostali i zpětnou vazbu z předchozího hodnocení, aby viděli, jestli se organizace někam posunula. 

Co ale chci zdůraznit a na co někdy v debatě trochu zapomínáme, je, že máme tři úrovně hodnocení. Máme národní hodnocení, hodnocení na úrovni poskytovatele a interní hodnocení na úrovni samotné organizace. Na úrovni organizací, zvlášť univerzit a velkých ústavů, by mělo probíhat interní hodnocení, protože  tam jsou lidé v managementu detailně obeznámení s fungováním instituce i, kteří mohou jít až na úroveň týmů, mohou jít do detailu a podívat se, kde se jak publikuje, jaká je kde struktura a schopnost získávat grantové prostředky. 

Pořád předpokládáme, že státní hodnocení, tedy národní hodnocení nebo hodnocení od poskytovatelů by mělo do detailu prověřit organizaci. To je možné u malých institucí, ale ne u vysokých škol, které jsou typickým příkladem autonomních entit, oborově a strukturně velmi diverzifikovaných. Stát nemůže a podle mě ani nemá hodnotit tyto entity do detailu. 

Zapomínáme na to, že debata začíná u toho, jakou má kdo roli. RVVI garantuje Metodiku jako celek, poskytovatelé se zaměřují na misi výzkumných organizací a dále posuzují jejich účel, fungování a společenskou relevanci. A to je zásadní. Vnitřní hodnocení pak reálně generuje informaci o detailu, kterou také potřebujete. 

Když si toto uvědomíme, možná přestaneme chtít od národního hodnocení věci, které ze své povahy nemůže poskytnout. 

Mělo by se při špatných výsledcích více přistupovat nejen k fixování peněz, ale třeba i rušení, slučování organizací? Za příklad je třeba dáván vysoký počet lékařských fakult Univerzity Karlovy. 

U některých rezortních organizací už ke slučování dochází. U těch, které jsou menší, jsou si tematicky blízké a úspora z rozsahu tak dává smysl, je to určitě žádoucí. Ty důvody ale pochopitelně nemusí souviset s hodnocením, ale s prostou potřebou koncentrace kapacit a profilace těch organizací. Lékařské fakulty jsou těžším tématem. Samozřejmě Univerzita Karlova to diskutuje léta, ale zároveň fakulty dělají nejen výzkum, ale i vzdělávají, mohou se lišit ve více věcech. Téma slučování je i mimořádně politicky složité a citlivé, jak v rámci univerzit, tak i Akademie věd. 

Ozývá se kritika, např. ze strany CERGE-EI, že financování organizací stále vychází z historických poměrů v tzv. kafemlejnku, který současné Metodice hodnocení předcházel. Ten podle nich zvýhodňuje přírodní vědy oproti humanitním. Jak to napravit? 

Ti, co to říkají, mají pravdu jen na půl. Ano, je pravda, že institucionální financování, to tzv. DKRVO, vychází z nějakého historického nastavení. Z principu nebylo možné a ani průchozí to celé od začátku přepočítat. Nicméně když se podíváte na výši DKRVO v době, kdy byly poměry zmrazeny, to znamená před rokem 2020, a na současnou výši,  zjistíte, že za těch posledních pět let DKRVO narostlo poměrně výrazně a výzkumné organizace měly možnost to zohlednit. Pokud měly pocit, že je tam historická nespravedlnost, měly možnost ji interně upravit. Pokud to neudělaly, tak je to věc jejich managementu a způsobu řízení. Není možné současně očekávat, že se vysoká škola bude sama autonomně řídit a nikdo jí nebude do ničeho mluvit, a zároveň požadovat, aby poskytovatel svým rozpočtovým nástrojem upravoval nějaké vnitřní nespravedlnosti, které by se navíc musely prokázat. 

Je to podobné i s financemi na doktorandy, jejichž zmrazení v aktuální výši bez ohledu na kvalitu doktorských programů CERGE-EI kritizuje? 

Ano, analogická je situace i s financemi na doktorandy. Financování doktorandů vždy bylo několikasložkové: základní příspěvek na vzdělávací činnost vysokých škol; institucionální financování výzkumné činnosti neboli DKRVO a specifický vysokoškolský výzkum, tedy finance na různé interní grantové soutěže, které v návrhu zákona slučujeme s DKRVO. Dále někteří doktorandi měli účelové financování, tedy různé projekty, jako je GA ČR, OP nebo Horizont a podobně. A pak vysoké školy dostávaly kapitační platbu na doktoranda, tzv. ukazatel C. Část jeho výše se sice reformou fixuje na základě historických poměrů, ale jen na úrovni univerzit. Jakým způsobem si to univerzita rozdistribuuje v rámci svých součástí, je na ní. Těžko chtít po MŠMT, aby univerzitě určilo, že tolik a tolik prostředků musí jít na tu a tu fakultu nebo dokonce katedru. 

Takto by MŠMT vstupovalo do oborové soustavy vysokých škol a vnitřní redistribuce institucionálních peněz, ať už je to DKRVO nebo ukazatele C u doktorandů, účelově vázalo na konkrétní obory. Je ale opravdu na vysoké škole, jak si peníze rozdělí a jestli např. přetnou bludný kruh podfinancování humanitních věd. Poskytovatel si vysokou školu ohodnotí a podle toho třeba může nějakým indexováním určit výši jejího institucionálního rozpočtu, ale zároveň je na vysoké škole, aby si ona sama udělala vnitřní hodnocení a vnitřní distribuci financí na základě vlastní strategické úvahy.

Možná se tím dostáváme ke kardinální otázce, a to sice, že s autonomií přichází i velká odpovědnost. 

Formulovat si vizi a pak ji naplňovat 

Bylo by posunem kontraktové financování, o kterém se diskutuje? Tedy, že by poskytovatel vysoké škole zadal nějaké úkoly a podle toho jí dal peníze? 

Myslím, že by to byl posun vpřed. Ideální by bylo mít třeba pětiletý oboustranný závazek v různých typech financování. Dávalo by to smysl, bylo by to předvídatelné, stát by řekl, co od univerzity očekává a ta by měla pět let na to, to plnit. Zároveň by to samozřejmě nemohl být seznam stovek položek. Asi by se lišil závazek Univerzity Karlovy a nějaké menší regionální školy, bylo by to opravdu založeno na oboustranném dialogu mezi univerzitou a poskytovatelem, jak je tomu v řadě jiných zemí, kteří by si vyjasnili, jakou roli má daná škola a co by chtěla dělat. A za pět let bychom se podívali, zda se jí to podařilo.  

Teď necháváme stranou technikálie a debaty s Ministerstvem financí, jestli připustí víceleté závazky nad rámec střednědobých výhledů. Tím bychom mohli skončit každou debatu. Myslím si, že kontraktové financování je budoucnost. 

Ostatně v návrhu zákona je formulace, že „výše institucionální podpory se odvíjí od závěrů hodnocení výzkumné organizace“ a že „poskytovatel může zahájit řízení o odnětí institucionální podpory, pokud není naplňována koncepce výzkumné organizace“. 

Institucionální podpora, DKRVO, je forma dotace. To znamená, že je to dotace, kterou dostanete na daný rok a musíte ji čerpat v souladu s jejím účelem. Ale máme tu hodnocení vysokých škol, které probíhá jednou za pět let, shodou okolností zrovna letos, a v něm je Modul 5, ve kterém by vysoká škola měla vyjádřit svou vizi, svou strategii na dalších pět let. A za těch pět let se podíváme, jestli to splnila a mj. podle toho by se v následujících pěti letech měla odvíjet výše její podpory. 

Takže Modul 5 by univerzity neměly brát jako formalitu, ale skutečně v něm napsat to, co slibují v následujících pěti letech plnit, protože to může ovlivnit výši jejich institucionálního rozpočtu?  

To by byla moje vize. Modul 5 je důležitý, protože je jediný prospektivní. V ostatních čtyřech modulech hodnotíme dosavadní výkon, v Modulu 5 se ale díváme dopředu a mělo by být logické, že pokud mám nějaký výkon v prvních čtyřech modulech, tak nebudu v Modulu 5 slibovat nesmysly, když je zjevné, že je nenaplním. A myslím si, že institucionální financování v následujících pěti letech by mělo velmi dbát na to, jestli daná organizace má relevantní vizi a poté se ptát, jestli ji naplňuje. 

O RVVI a Ministerstvu vědy a vysokého školství 

Prospělo by, kdybychom pro hodnocení výzkumných organizací měli nějaký samostatný úřad? Nyní hodnotí některé moduly poskytovatelé, některé RVVI. V RVVI jsou ale vědci, kteří mají členství v RVVI jen jako jednu ze svých mnoha činností. 

Rozumím, na co narážíte. Výhledově je podle mého názoru naprosto nezbytné diskutovat vznik samostatného ministerstva pro vysoké školy a výzkum. To by pak mělo na hodnocení mnohem lepší institucionální zázemí a zároveň by se mohly propojit některé agendy, například hodnocení vzdělávací a výzkumné činnosti vysokých škol a s tím související koncept např. akreditací apod. Systému by to prospělo, věci by se provázaly. A tato myšlenka, resp. poukaz na opravdu výraznou fragmentaci našeho systému, se objevuje v různých zprávách NKÚ, zmiňuje ji Evropská komise, ale třeba naposledy i Legislativní rada. Doporučily ji i mezinárodní projekty jako IPN Metodika nebo nově projekt PSF. 

Zároveň je nutné říct, že RVVI a její orgán Komise pro hodnocení výzkumných organizací  garantuje proces hodnocení, navrhuje vládě ke schválení samotnou metodiku. Ale RVVI má tady na Úřadu vlády samozřejmě odborný aparát, který celou věc zabezpečuje, a pak plejádu stovek hodnotitelů. Podobně velcí poskytovatelé jako Akademie věd nebo MŠMT, které hodnotí moduly M3–M5. 

V celkovém pohledu na výzkumný systém i mimo hodnocení je rozdělení rolí mezi dvěma hlavními pilíři RVVI a MŠMT závislé na tom, že se tyto dvě entity nějak dohodnou, což i historicky vím, že není vždy snadné. Centrálnější správa by mohla přistupovat k rozhodnutím progresivněji. 

Členové RVVI také pochází každý z nějaké instituce, a i když je v zákoně řečeno, že člen RVVI nesmí být ve střetu zájmů, například fyzik Jiří Chýla namítá, že ve střetu zájmů jsou všichni členové RVVI, protože jsou zaměstnanci organizací, které jsou zároveň příjemci podpory.  

Problematika střetů zájmů RVVI je složitá. Pořád si myslím, že je podstatné říci, že RVVI je poradní orgán a nakonec vždy rozhoduje vláda. RVVI má silné kompetence: navrhuje rozpočet, navrhuje metodiku hodnocení a některé velmi důležité personálie, ale akt schválení je vždy na vládě. Debata o našem systému probíhá v podstatě kontinuálně a jsem přesvědčen, že i nadále bude. Je to výsostně politická věc. Některé možnosti jsem nastínil výše. 

Pavel Doleček zastává funkci náměstka ministra pro vědu, výzkum a inovace. Předtím působil jako prorektor pro strategickou spolupráci a rozvoj na Univerzitě Karlově, kde měl na starosti koordinaci investičních a rozvojových projektů a strategická partnerství. V letech 2014–2022 působil na Ministerstvu školství, mládeže a tělovýchovy, od roku 2017 v pozici náměstka ministra školství. Věnuje se vzdělávací a školicí činnosti v oblasti veřejných politik v oblasti vzdělávání a výzkumu.