Dobře míněný polotovar

Oba autoři se věnují kromě kritiky fungování Bělobrádkovy Sekce pro vědu, výzkum a inovace (SVVI) především, slovy Daniela Münicha, jednomu „dobře míněnému polotovaru“. Tato charakteristika nové Metodiky hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací, v únoru schválené vládou, sedí, přesto tvrdím: díky aspoň za ten polotovar, s nímž se dá pracovat.

A pokud jde o tu láhev, před zřízením funkce vicepremiéra pro vědu výzkum a inovace, byla zcela prázdná. Chaos v řízení vědy, způsobený novelou zákona 130/2002 Sb., zákonem 110/2009 Sb. v rámci nechvalně známého pokusu Topolánkovy vlády reformovat systém řízení a financování vědy a výzkumu je pro neinformovaného čtenáře obtížné pochopit a velmi nesnadné napravit. Mimo jiné i proto, že zahrnoval i zavedení světově unikátní a veskrze absurdní metody hodnocení a financování výsledků výzkumu a vývoje, onoho známého "kafemlejnku", jenž se v části našich výzkumných organizací zažral hluboko do kůže.

Dříve, než se pokusím vysvětlit, proč považuji Bělobrádkovu "poloprázdnou láhev" za chvályhodný krok správným směrem, chtěl bych okomentovat pozoruhodnou úvahu Jiřího Nantla v posledním odstavci jeho článku v LN: Českou vědu tak po skončení mandátu místopředsedy vlády Pavla Bělobrádka čekají roky nejistoty, možná stagnace, pokud tedy podíly vědeckých institucí na financování zamrznou a sektor ztratí motivaci. Zabránit tomu může budoucí vláda tím, jestliže urgentně najde zcela konkrétní a praktické řešení, jak na úrovni institucí hodnotit kvalitu vědy a výzkumu.

Jiří Nantl neříká, co myslí "sektorem", ani co konkrétně má na mysli pod "podíly vědeckých institucí na financování", ale z kontextu je jasné, že má na mysli právě skutečnost, že už kafemlejnek (ony "podíly") nemá mít ani trochu vliv na rozdělování institucionální podpory mezi jednotlivé poskytovatele, především vysoké školy a Akademii věd (ony "sektory"). Pokud ovšem výzkumné organizace (VO) některého "sektoru" ztratí motivaci, protože "podíly jeho vědeckých institucí na financování zamrznou", nestojí zato takový sektor vůbec podporovat. Opravdová věda a výzkum je přece motivována úplně jinak.

O vlastnostech polotovaru

A nyní k polotovaru Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací, již budu v dalším zkracovat jako M17+. S Münichovou kritikou její přípravy a (ne)připravenosti souhlasím, ale jsem přesvědčen, že přes všechny nedostatky, které má, přináší M17+, jež zahrnuje i základní principy institucionálního financování VO, několik zásadních a správných změn.

1. První je skutečnost, že se nebudou hodnotit samostatně jednotlivé výsledky, ale výzkumné organizace jako celek, tak, jak se to dělá všude ve světě. To je klíčové, protože právě na samostatném hodnocení a následném financování jednotlivých výsledků je založen kafemlejnek. Honba za body kafemlejnku přestane mít smysl a kvalita dostane zelenou před kvantitou.
2. Úplné hodnocení bude probíhat v pětiletých intervalech a bude doplňováno každoročním monitoringem základních charakteristik výzkumu každé VO.
3. Hodnocení bude z pěti hledisek, tzv. "modulů", postihujících kvalitu vybraných výsledků, celkovou výkonnost VO, společenskou relevanci, životaschopnost a strategii pro budoucnost. Zase nic nového, jen standardní způsob, běžný ve světě, ale ve srovnání s kafemlejnkem revoluce.
4. Hodnocení bude kombinace hodnocení založeného na bibliometrii s hodnocením odbornými panely v šesti oborových skupinách podle klasifikace OECD: Natural Sciences, Engineering and Technology, Medical and Health Sciences, Agricultural and Veterinary Sciences, Social Sciences, Humanities and the Arts.
5. Hodnocení bude mít jeden společný rámec, ale bude prováděno po sektorech: vysoké školy, ústavy Akademie věd a resortní VO. To je velmi rozumné, neboť tyto sektory mají různá poslání a podmínky a různou organizační strukturu. A tak je to zase všude na světě.
6. Rozdělování institucionální podpory VO mezi jednotlivé poskytovatele nebude s výsledky hodnocení přímo souviset, ale bude výsledkem "politického" rozhodnutí vlády v rámci procesu přípravy státního rozpočtu, tak jak je to všude ve světě. To se mnoha "kafemlejnkařům" nebude líbit, neboť to znamená, slovy jednoho z nich, že se zase budou "leštit kliky". Ano budou, ale rozhodnutí o tom, kolik dostane armáda či vnitro na vojenský a bezpečnostní výzkum, nebo ministerstvo zdravotnictví na lékařský výzkum ve svých organizacích (a tak bych mohl pokračovat dál u všech kapitol státního rozpočtu) nemůže záviset na tom, kolik kdo výsledků dosáhne v jiných oblastech.
7. Ministerstvům poskytujícím institucionální podporu na RVO, tedy ministerstvům obrany, vnitra, školství, kultury, průmyslu a obchodu, zdravotnictví a zemědělství, M17+ vrací (spolu)odpovědnost za poskytování této podpory jim zřízeným organizacím. To je zásadní změna, byť možná ministerstvům současná situace, kdy se sami o hodnocení starat mohou, ale nemusí, vyhovuje.
8. Výsledkem kompletního hodnocení pomocí všech modulů v pětiletých cyklech je zařazení VO na následující rozumě definované škále:
   1. Vynikající
      • Ve výzkumných parametrech globálních oborů mezinárodně kompetitivní instituce a/nebo instituce se silným inovačním potenciálem a vynikajícími výsledky aplikovaného výzkumu a/nebo instituce naplňující vynikajícím způsobem svěřenou misi.
   2. Velmi dobrá
      • Instituce vyrovnané kvality s výbornými výsledky výzkumu, dostatečným inovačním potenciálem a/nebo významnými výsledky aplikovaného výzkumu, výsledky VaVaI odpovídají účelu zřízení.
   3. Průměrná
      • Instituce nevyrovnané kvality, v parametrech základního a/nebo aplikovaného výzkumu dosahující v převážné míře dobrých nebo průměrných výsledků a/nebo instituce, která průměrně naplňuje účel zřízení.
      • VO se strategií a snahou odstraňovat slabé stránky a nedostatky.
   4. Podprůměrná
      • Instituce v převážné většině parametrů základního a/nebo aplikovaného výzkumu podprůměrná.
      • VO s řadou slabých stránek a nedostatků a omezenou snahou je odstraňovat.

      Toto tzv. „škálování“ institucí je výsledkem společného jednání mezi poskytovatelem, RVVI/Sekcí VVI a za účasti zástupců odborných panelů, u vysokých škol též za účasti zástupců České konference rektorů. Opět smysluplná zásada, která znamená konec honby za body RIV.

9. V kompetenci poskytovatele je určení výše institucionální podpory na RVO, což znamená, že i podprůměrně hodnocená VO může být zdůvodněně financována lépe, než by odpovídalo jejímu hodnocení. To zdůvodnění může a mělo by zahrnovat mimo jiné i strategické záměry poskytovatelů a tedy i státu, jehož jsou všichni poskytovatelé organizační složky. Tak je tomu všude ve světě a tak tomu má být. Toto je klíčová změna oproti dosavadní praxi, která hodnocení a financování mechanicky propojovala, a tím redukovala hodnocení na nástroj vyčíslení finanční podpory. Zároveň to je ovšem potenciálně zdroj jednoho problému nové metodiky, k němuž se dostanu níže.

Reakce na schválenou metodiku M17+ byla různá, ale převládala kritika její nedopracovanosti, kromě Münichova "polotovaru" jí například rektor Karlovy univerzity Tomáš Zima označil za "metodiku metodiky", podle níž se hodnotit nedá. To je pravda, ale to není špatně, ale naopak to je dobře. Metodika není metoda či algoritmus, do něhož stačí nasypat data a vypadne výsledek hodnocení, tak jak ho produkoval kafemlejnek, tj. v podstatě jedno číslo pro každou VO.

Dopracovat, dopracovat, dopracovat

Daniel Münich má samozřejmě pravdu, že na úplnou implementaci M17+ si ještě pár let počkáme, protože bude třeba formulovat a sepsat řadu procesních pravidel, včetně anglických překladů, vytvořit rozsáhlé databáze zahraničních hodnotitelů, zajistit logistickou a IT podporu, atd. a vše pilotně vyzkoušet. Nejdříve ovšem bude třeba M17+ dopracovat do realizovatelné podoby.

První krokem v tomto směru by mělo být uznání skutečnosti, že M17+ může poskytnout jen obecný rámec, který je třeba přizpůsobit podmínkám i potřebám jednotlivých segmentů. To znamená opustit zdánlivě lákavou myšlenku vypracovat jednu detailní a univerzální proceduru hodnocení všech VO všech segmentů. Nikde ve světě tohle nikoho nenapadlo a jsem si jist, že ani nenapadne. Připomínám, že sofistikovaný britský kafemlejnek známy jako RAE/REF se používá jen na rozdělení toho, co nazýváme institucionální podporou na rozvoj výzkumných organizací mezi britskými vysokými školami. VO zřízené a financované britskými Science Research Councils si jejich zřizovatelé hodnotí sami podle svých potřeb.

Druhým krokem by mělo být respektování skutečnosti, že i mezi "resortními" VO jsou značné rozdíly poslání a charakteru výzkumu a že je v zájmu smysluplnosti hodnocení třeba segment resortních VO dále rozčlenit na VO

• lékařského sektoru
• zemědělsko-potravinářského sektoru
• vojensko-bezpečnostního sektoru
• kulturního sektoru
• podnikatelského sektoru

které přirozeně odpovídají svým zřizovatelům, tj. ministerstvům zdravotnictví, zemědělství, obrany a vnitra, kultury a průmyslu a obchodu, které za ně nesou odpovědnost. Existuje i několik málo VO, které nezapadají do žádného z těchto sektorů, ale to jsou drobnosti. Samostatně by měly být hodnoceny klíčové infrastrukturní VO, jako jsou CESNET, Národní technická knihovna a pod.

Z předchozích kroků plyne důležitý závěr: počet, velikost a složení hodnoticích oborových panelů by měly být pro jednotlivé sektory resortních VO různé a různý by měl být i důraz na jednotlivé moduly M17+. Při formulaci podrobných procesních pravidel hodnocení by měly hrát důležitou roli příslušní poskytovatelé. S tím úzce souvisí i otázka základní jednotky, jež má být hodnocena. Ani to by nemělo být pevně stanoveno pro všechny VO, ale mělo by respektovat podmínky a potřeby konkrétního sektoru.

Předchozí závěr ovšem platí i pro segmenty Akademie věd a vysokých škol. Vysoké školy jsou největší segment a společně s ústavy Akademie věd představují převážnou většinu (měřeno body RIV 86 procent) výzkumu v ČR a M17+ by proto měla být konstruována s respektování jejich podmínek a potřeb. I tam je potřeba přizpůsobit jednotku hodnocení a počty, velikosti a složení panelů potřebám hodnocení. Počet, zaměření a složení panelů (v AV jsme jim říkali "komise") obsažené v M17+ je pro smysluplné hodnocení v Akademii věd naprosto nevhodné. V Akademii věd proběhlo poslední hodnocení se zapojením 13 oborových komisí, jejichž počet a velikosti byly stanoveny na základě předchozího podrobného průzkumu očekávaného počtu, velikosti a zaměření týmů. Tyto komise, hodnotily jednotlivé pracovní týmy různých velikostí a panuje shoda v tom, že jedině tak podrobné hodnocení má smysl pro kvalifikované řízení jednotlivých ústavů Akademie věd. To se nevylučuje s tím, že ústavy mohou být na konci procedury hodnocení "oznámkovány" jedním z písmenek A, B, C a D tak, jak předpokládá M17+.

Co s vysokými školami?

Výše popsaná decentralizace procedury hodnocení je podle mého názoru nutná, má-li hodnocení podle rámce M17+ proběhnout úspěšně. Je přitom jasné, že bez aktivního zapojení poskytovatelů do přípravy hodnocení jejích VO nedokáže sama Bělobrádkova Sekce VVI hodnocení kvalitně připravit a uskutečnit.

V případě veřejných vysokých škol však M17+ přináší jeden vážný problém související se tím, že veřejné vysoké školy jsou zřizovány zákonem a nemají tedy zřizovatele ve formě organizační složky státu jako veřejné výzkumné instituce či státní příspěvkové organizace. Poskytovatelem institucionální podpory na RVO je Ministerstvo školství, které ovšem vůči veřejným vysokým školám nemá žádné pravomoci a pro které je oblast výzkumu z hlediska objemu financí i zájmu okrajovou záležitostí. Na MŠMT není nikdo, kdo by měl respekt vysokých škol a kdo by mohl hrát roli, jakou hraje vedení Akademie věd vůči svým ústavům. A kdo by tedy mohl vzít výsledky hodnocení ve formě škálování jednotlivých vysokých škol jako vstup do kvantitativního rozhodnutí o přidělení podpory na RVO aniž by měl k dispozici algoritmus jak prostředky na RVO přidělené MŠMT rozdělit mezi jednotlivé vysoké školy a pár dalších VO. To je jeden z důvodů, proč jsou vysoké školy v globálu s kafemlejnkem spokojeny a proč se obávají realizace nové metodiky. Tuto skutečnost odráží i M17+ na straně 36 takto:

Všechny VŠ budou hodnoceny v souladu s jednotnými postupy platnými pro segment VŠ. Vláda uložila místopředsedovi vlády pro vědu, výzkum a inovace ve spolupráci s ministryní školství, mládeže a tělovýchovy, ministrem obrany, ministrem vnitra a ve spolupráci s reprezentací vysokých škol dopracovat postup a do 31. prosince 2018 předložit vládě materiál dopracovaný do podoby požadovaného detailu určený pro kompletní hodnocení v segmentu vysokých škol a připravit proces implementace jejich kompletního hodnocení.

Domnívám se, že při rozdělování institucionální podpory na RVO se MŠMT bez nějaké formy algoritmu/kafemlejnku neobejde. Dovedu si představit, že z pěti modulů hodnocení M17+

• Kvalita vybraných výsledků,
• Výkonnost výzkumu,
• Společenská relevance,
• Viabilita/Životaschopnost
• Strategie a koncepce.

a především prvních dvou, lze při troše snahy zformulovat algoritmus, s nímž by byly vysoké školy srozuměny a ten pro rozdělování institucionální podpory na RVO MŠMT mezi vysoké školy použít. Formulace takového algoritmu by podle mého názoru měla vycházet ze dvou základních rozhodnutí

• Škálovány nebudou celé vysoké školy, ale jejich fakulty, aspoň v případě těch velkých jako jsou UK, MU, ČVUT, VUT, UPOL, VŠCHT a pár dalších. Karlova univerzita představuje měřeno body RIV 60 procent celé Akademie věd a její škálování jako celku nemá žádný smysl.
• Škálování bude použito pro úpravy institucionální podpory jednotlivých fakult vůči současnému stavu, daného ještě kafemlejnkem.

Sestavit vzoreček, který by nejdříve z písmen A, B, C a D udělal „koeficienty změny“ institucionální podpory na RVO a ty pak použít pro rozdělení celkové částky MŠMT na RVO mezi fakultami a potažmo vysokými školami by měla být v principu jednoduchá záležitost.

Takto formulovaný algoritmus by byl nejen jednoduchý, ale také by ho nebylo možné přímočaře přenést na nižší úroveň, tj. na rozdělování institucionální podpory fakult mezi jednotlivé katedry či ještě níže. Děkanům by tak přibyla odpovědnost a práce, ale za to jsou placeni.

Sluha nebo pán?

Podobně jako v případě peněz platí, že jakákoliv metodika hodnocení výzkumu je dobrý sluha, ale špatný pán. Kafemlejnek byl velmi špatný pán, ale řada institucí si na něj ráda zvykla. Nyní jde o to, zda se klíčoví hráči na poli výzkumu, tedy vysoké školy, Akademie věd a representace resortního výzkumu dokážou dohodnout na základních zásadách dopracování M17+, které povede k tomu, co by mělo být samozřejmostí, tj. že primární odpovědnost a roli při hodnocení VO má příslušný zřizovatel či poskytovatel. Šance tu je.

Autor: Jiří Chýla