Metodika M17+ navržená Sekcí místopředsedy vlády pro vědu, výzkum a inovace vyvolala řadu kritických diskusí a byla nedávno nazvána „dobře míněným polotovarem“. Chtěli bychom krátce poukázat na to, čím Metodika M17+ je a čím není, především v porovnání s principy hodnocení jednak navrženými v projektu IPN Metodika a jednak aplikovanými AV ČR v roce 2015.
Vlastimil Růžička, Vladimír Majer
V uplynulých měsících byla nejen odborná ale i laická veřejnost opakovaně informována o zavádění nové metodiky hodnocení a financování výzkumných organizací (dále „VO“), kterou připravila Sekce místopředsedy vlády pro vědu, výzkum a inovace (dále „Sekce pro VVI“) pod názvem Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory VVI (dále „M17+“). Z hojných příspěvků v médiích nezasvěcené publikum muselo nabýt dojmu, že příslušný vládní rezort připravil a zavádí nový způsob komplexního periodického hodnocení, s výrazným podílem zahraničních expertů. Ten nás má přiblížit dobré praxi běžné v rozvinutých zemích, výrazně zkvalitnit řízení vědeckých organizací a zajistit jejich diferencované financování podle výkonnosti, která nebude měřena výhradně počtem výstupů, jak tomu bylo doposud. V dokumentu předloženém Sekcí pro VVI je zdůrazněna přímá návaznost na předchozí zkušenosti s novými přístupy, jednak na poslední hodnocení ústavů AV ČR, jednak na Individuální projekt národní Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (dále „IPN Metodika“). Autoři tohoto příspěvku prováděli pilotní ověření hodnocení podle IPN Metodika a seznámili se i podrobně s hodnocením akademickým. Z našeho pohledu má koncept M17+ s těmito dvěma přístupy k hodnocení, které si jsou blízké, pramálo společného. Chtěli bychom zde věcně poukázat na velmi podstatné rozdíly a připomenout kontext vzniku metodiky M17+, která již vyvolala řadu velmi kritických ohlasů.
Krátký pohled do nedávné historie
První pokus o hodnocení VO zavedený zhruba před 10 lety mechanickým přepočítáváním bodů za výstupy na institucionální dotaci na VaV (tzv. “kafemlejnek“) byl opakovaně kritizován. Nejfundovaněji to bylo provedeno v závěrečné zprávě projektu zadaného MŠMT renomované britské společnosti Technopolis Mezinárodní audit výzkumu, vývoje a inovací v ČR a implementace jeho výsledků do strategických dokumentů (2011). MŠMT logicky navázalo na závěry tohoto auditu v letech 2012-15 novým projektem IPN Metodika realizovaným mezinárodním konsorciem, které vedl opět Technopolis a financovaným zhruba 100 miliony korun z operačního programu. Projekt úspěšně proběhl přes zpoždění jeho faktického začátku (odkládání podpisu kontraktu, pokusy projekt úplně zastavit), v poněkud hektickém režimu během pouhých 20 měsíců. Jeho výsledkem byl propracovaný a ucelený návrh metodiky hodnocení a financování VO, který je ve své části hodnocení blízký britskému systému Research Excellence Framework. Výsledky projektu byly shrnuty v několika průběžných a závěrečné zprávě. Ty byly v rámci časových možností průběžně oponovány a připomínkovány panely sedmi klíčových aktivit projektu, které úhrnem čítaly několik desítek expertů z vysokých škol, Akademie věd ČR a organizací aplikovaného výzkumu.
V zadání projektu byla zakotvena i povinnost navrženou metodiku pilotně ověřit. VR byl garantem této klíčové aktivity a VM byl přizván k spoluúčasti v týmu pro své rozsáhlé zkušenosti s hodnocením získané během dlouholetého působení v zahraničí. Při pilotním ověření jsme dále využili podněty ze současně probíhajícího hodnocení ústavů AV ČR. Z důvodu časového omezení (leden až říjen 2015) mohlo být pilotní ověření realizováno pouze na omezeném vzorku 31 oborově definovaných výzkumných jednotek ze 12 výzkumných organizací různého typu, které hodnotilo 9 oborových panelů. Přes tato omezení časová a rozměrová bylo jednoznačně prokázáno, že metodika je proveditelná a poskytuje závěry použitelné pro řízení jak na národní úrovni, tak i na úrovni jednotlivých VO. Svědčí o tom jak názory drtivé většiny zahraničních členů hodnoticích panelů, tak i řady reprezentantů hodnocených VO (viz Pilotní ověření návrhu nové metodiky hodnocení výzkumných organizací, Závěrečná zpráva, Závěrečná zpráva). Zástupci Sekce VVI byli přizváni k účasti v pilotním ověření jako členové tzv. hlavních hodnoticích panelů. Svou původně přislíbenou účast později odmítli se zdůvodněním, že náplní práce Sekce pro VVI není a nebude realizace hodnocení VO.
Expertní tým IPN Metodika připravil na konci roku 2015 za aktivní účasti odborníků majících zkušenost z hodnocení ústavů AV ČR syntetický dokument Harmonogram postupných kroků realizace návrhu nového hodnocení a financování institucí z veřejných prostředků VaVaI; Implementační doporučení (dále jen „Implementační doporučení“), který i modifikoval některé rysy metodiky, aby byla dosažena konsensuální shoda. Očekávalo se, že tato doplňující velmi konkrétní rukověť definující rámec a rozsah hodnoceni, logistické a legislativní zajištění a podrobná pravidla a postupy se stane pro příslušné státní orgány východiskem k realizaci nového národního hodnocení VO. Dále byl vypracován i materiál týkající se odpovídajících legislativních změn.
O pozitivním přijetí výsledků IPN Metodika na vládní úrovni bylo možno usuzovat i z kooptování odborné garantky projektu Prof. Jitky Moravcové na konci roku 2015 do Rady pro výzkum, vývoj a inovace (RVVI) a z jejího současného jmenování předsedkyní poradního orgánu RVVI, Komise pro hodnocení výsledků (KHV). Na vyzvání Sekce pro VVI připravila v březnu 2016 Prof. Moravcová se členy týmu pilotního ověření IPN Metodika stručný technický návrh, se záměrem dalšího rozpracování, popisující realizaci metodiky hodnocení v přímé kontinuitě předchozích dokumentů. Tento materiál se však setkal s krajně negativní reakcí ze strany Sekce pro VVI a další spolupráce byla zcela přerušena.
M17+ a kritické ohlasy
Ve druhé polovině roku 2016 byl Sekcí pro VVI bez návaznosti na předchozí doporučení vypracován návrh metodiky M17+, schválený RVVI v listopadu 2016, který předpokládá několikaleté implementační období s přechodem na plnohodnotné hodnocení v pětiletých cyklech od roku 2020. Tento dokument se výrazně liší od materiálů IPN Metodika a hodnocení AV ČR jak duchem, tak i obsahem a dikcí. S byrokratickou důsledností je připomínán především soulad s platnou legislativou (odkazů na zákony č. 130/2002 Sb. a 218/200O Sb. je na 57 stránkách více než 40), jinak je však text velmi heterogenní, místy málo srozumitelný a někde zcela zmatečný, což bylo potvrzeno okamžitou výjimečně kritickou odezvou odborné komunity.
Briskně se k M17+ vyjádřil Daniel Münich, v ČR uznávaná autorita na evaluaci výzkumu, který hrál významnou roli jak v přípravě koncepce hodnocení ústavů AVČR tak i v IPN Metodika. Podle něj „nejasný, nepřehledný a nevyvážený text M17+ budí podezření, zda nejde spíše o horkou bramboru odhozenou za časový horizont příštích sněmovních voleb“ a dále konstatuje: „někde jde text do neskutečných detailů, jinde se pohybuje mlhavě po povrchu a o některých věcech zarytě mlčí, nejasných "detailů" jsou totiž v textu M17+ ne desítky, ale stovky,....text ani nejde pořádně připomínkovat“. Poukázal na řadu nejasností a nedostatků pro přechodné období 2017-2019, kdy se „počítá pouze s osekanou verzí dosavadního kafemlejnkového hodnocení a dále podle Münicha podoba hodnocení po roce 2018 má v M17+ už takovou spoustu otazníků, že asi nemá smysl si nad tím lámat hlavu“.
M17+ nešetřila ani Rada vysokých škol (RVŠ), která k němu obratem podala 80, většinou zásadních, připomínek. Podle ní „vágnost textu je zcela zásadním problémem předkládané Metodiky 17+.... jeví se jako text, podle kterého nelze při hodnocení postupovat buď vůbec, anebo lze postupovat takřka jakkoli“. Podle RVŠ je to „neúplný a nedopracovaný text, který je z velké části nejasný, nejednoznačný a nesrozumitelný“, tato metodika „se v žádném případě nemůže stát významným zdrojem informací pro strategické řízení a na místě by bylo kompletní přepracování tohoto dokumentu“.
Podle platného zákona č.130/2002 Sb. metodiku hodnocení a financování VO schvaluje vláda. Proto byla M17+ rozeslána koncem listopadu 2016 do mezirezortního připomínkového řízení, kde 19 ministerstev a dalších institucí uplatnilo přes 240 připomínek, z nichž velká většina byla zásadních. Citujme namátkou z reakce MŠMT: „M17+ nepředstavuje ucelenou metodiku hodnocení výzkumných organizací...., která by mohla být jejími uživateli, tedy poskytovateli dotací na VaV, implementována. Materiál lze považovat za rozpracovaný koncept metodiky hodnocení, nikoliv však za plnohodnotný nástroj“. K hodnocení vysokých škol poznamenává „De facto jednostránkový popis postupu hodnocení v segmentu vysokých škol dokládá, že metodika vyžaduje velmi důkladné dopracování“.
I přes tento stav vláda svým usnesením ze dne 8. února 2017 M17+ těsnou většinou schválila s tím, že uložila místopředsedovi vlády pro vědu, výzkum a inovace její dopracování do konce tohoto roku, zvláště v segmentu hodnocení vysokých škol.
M17+ versus hodnocení podle IPN Metodika a AV ČR 2015, věcně
Zaměříme se ve srovnání výhradně na pravidelné periodické hodnocení podle M17+, jak má probíhat počínaje rokem 2020, přitom necháváme stranou aspekty týkající se odrazu hodnocení ve financování VO, neboť toto pokládáme především za politické rozhodnutí. Nezabýváme se také tříletou implementační fázi, kde na očekávané problémy bylo poukázáno již dříve. Pokud zde hovoříme o IPN Metodika, máme na mysli především její výše zmíněná Implementační doporučení.
Kde je shoda a do jaké míry
Zmiňme nejdříve dva rysy M17+, které jsou analogické s hodnocením podle IPN Metodika a AV ČR v roce 2015 a kde je určitá míra shody.
Za prvé je to zavedení panelového hodnocení podle pěti modulů (kvalita vybraných výsledků, výkonnost výzkumu, společenská relevance, viabilita, strategie a koncepce), které jsou formulovány ne příliš rozdílně od hodnotících kritérií zavedených v IPN Metodika (výzkumné prostředí, členství ve výzkumné komunitě, výzkumná excelence, výkonnost výzkumu, společenská významnost). V obou přístupech se předpokládá různá významnost modulů/kritérií podle typu VO a jejího primárního zaměření. Podobně bylo i formulováno 6 hledisek, podle kterých byly posuzovány ústavy a jejich týmy ve II. fázi akademického hodnocení. Jak se však konkrétně hodnocení podle těchto modulů bude v M17+ provádět, není jasné; popsáno je pouze využití dvou nástrojů (bibliometrická analýza, vzdálené recenze výstupů), a v náznacích jsou zmíněny sebe-evaluační zpráva a prezenční návštěva panelů ve VO bez dalších upřesnění.
Za druhé, ve všech třech přístupech panel expertů posuzuje reprezentativní výsledky vybrané pracovišti, kterým přiřadí jeden z pěti stupňů na kvalitativní stupnici. V případě M17+ se však recenze zahraničními hodnotiteli využívá pouze u výstupů, kde objektivní bibliometrická analýza většinou není možná (společenské a humanitní vědy a výsledky aplikovaného výzkumu). Tím však shoda končí. Přejděme nyní k podstatným rozdílům.
Konglomerát několika hodnocení
M17+ zavádí „hrubé“ hodnocení VO jako celku, které bude organizováno RVVI a Sekcí VVI pro účely řízení a financování národního systému VVI, a ze kterého vyplyne škálování VO do čtyřech kvalitativních kategorií. Vedle toho bude paralelně probíhat „jemnější“ hodnocení VO zřizovateli/poskytovateli (AV ČR a ministerstva - těch je v současnosti celkem 15 !) pro jejich potřeby a pro management jednotlivých VO. Výzkumné organizace jsou pak pro účely hodnocení rozděleny do tří segmentů (akademické ústavy, VŠ a rezortní VO), kde se přístupy budou lišit. Zatímco pro hodnocení první skupiny má AV ČR k dispozici svoji osvědčenou metodiku z roku 2015, jak bude probíhat hodnocení největšího segmentu, kterým jsou vysoké školy, je stále zcela „ve hvězdách“ a tuto situaci trefně popsal Daniel Münich. Naopak co se rezortních VO týče, návrh M17+ obsahuje specifickou přílohu, která překvapivě uvádí řadu podrobností a detailní harmonogram hodnocení až do roku 2023! Čtenář se ale neubrání pocitu, že s ostatním textem má tato příloha málo co společného. Můžeme se domnívat, že předlohou zde snad byl materiál připravený Asociací výzkumných organizaci (AVO), soudě podle toho, co ve svém blogu tvrdí její předseda Libor Kraus. Pro všechny tři segmenty VO má být prováděno kromě pětiletého cyklu hodnocení navíc každoroční monitorování aktivity pracovišť Centrálním úřadem, aby se učinilo zadost zákonu č. 130/2002 Sb., s jehož novelou se zřejmě vůbec nepočítá.
V tomto komplexním konglomerátu různých typů hodnocení prováděných Sekcí pro VVI a zřizovateli/poskytovateli a probíhajících v různé míře vlastně každoročně, bude zcela jistě docházet k dublování či křížení evaluačních postupů na úrovních národní a nižších. Jak se pak zajistí koherence jejich závěrů, tam kde se nutně budou dvě úrovně hodnocení, prováděné různými postupy, stýkat? Tento několika stupňový přístup je na hony vzdálen duchu jednotného oborového hodnocení navrženého podle zadání IPN Metodika.
Již bylo několikrát poukázáno na nepatřičnost odděleného hodnocení různými postupy akademických a univerzitních pracovišť, kde se dělá v podstatě „stejná věda“. Jednotné oborově zaměřené hodnocení zahraničními experty, tak jak to navrhuje IPN Metodika, může poukázat na nežádoucí překryvy nebo naopak na pozitivní synergie a přispět tak i k prohloubení spolupráce mezi AV ČR a vysokými školami. Společné objektivní hodnocení by také udělalo konec nepodloženým korporativním tvrzením „kdo je lepší“. Navržený systém segmentace bohužel nadále přispívá k udržování „příkopu“ mezi ústavy AV a vysokými školami.
Není jednotka jako jednotka
V návrhu IPN Metodika jsou hodnocenými útvary (jednotkami) výzkumné organizace s výjimkou vysokých škol, kde to jsou fakulty případně celky podléhající přímo rektorátům. Do vlastního hodnocení vstupují ale jednoznačně definované výzkumné jednotky vymezené vědním oborem, ve kterém jejich členové dominantně pracují. Jejich počet pro jednu VO či fakultu závisí na míře její víceoborovosti a také na počtu pracovníků. Analogicky v případě akademického hodnocení bylo hodnoceno 52 ústavů AV ČR, ale samo hodnocení se soustředilo na jednotlivé týmy rovněž homogenní na úrovni oboru, kterých bylo kolem 380. V obou těchto koncepcích pro ústav AV ČR či vysokoškolskou fakultu tak může být výsledkem několik hodnotících zpráv vypracovaných odpovídajícími oborovými panely/komisemi. To platí zejména pro fakulty velkých univerzit sdružující řadu oborů. I v případě AV ČR, kde řada z jejich ústavů je jednooborová, bylo vypracováno přes 90 hodnotících zpráv. Jednalo se o konsensuální vyjádření hodnoticí oborové komise na úrovni jednotlivých týmů a celého ústavu. V případě IPN Metodika se počítá pro každou výzkumnou jednotku kromě slovního ohodnocení s přiřazením stupně (grade) na pětibodové škále pro každé z pěti hodnotících kritérií bez konečné sumarizující „známky“.
Oproti dvěma popsaným analogickým přístupům M17+ termín oborově definované výzkumné jednotky vůbec nezná. Na národní úrovni jsou hodnocenými jednotkami celé VO bez ohledu na jejich velikost a rozmanitost vědních oborů, ve kterých působí. Především v případě velkých multi-oborových univerzit bude mít jejich škálování A,B,C,D Centrálním úřadem výpovědní hodnotu srovnatelnou s „měřením střední teploty v nemocnici“. Je jasné, že není možno zamýšlet stejným způsobem „známkovat“ Karlovu univerzitu s několika tisíci vědeckými pracovníky a společenskovědní či humanitní ústavy AV ČR, kde je jich pár desítek. V návrhu M17+ se v případě VŠ současně také konfuzně hovoří o hodnocené jednotce „typu fakulta nebo skupiny fakult či ústavů“. Pro využití výsledků hodnocení zřizovateli/poskytovateli je však i toto členění příliš hrubé tam, kde se jedná o víceoboprové celky, jakými jsou např. přírodovědecké či filosofické fakulty.
Není panel jako panel
Klíčovou roli v hodnocení jak podle IPN Metodika tak i ústavů AV ČR hrají oborové panely/komise. Jejich struktura je odvozena od Frascati manuálu, který definuje 6 vědních oblastí (oborových skupin) dělících se dále na zhruba 40 vědních oborů, přičemž velké obory je možno pro účely hodnocení dělit a menší naopak sdružovat. Při hodnocení ústavů AV, které nepokrývají veškeré vědní obory, pracovalo 13 panelů v I. fázi hodnocení a stejný počet oborově identických komisí ve II. fázi, které sestávaly ze 150 a respektive 120 expertů volených tak, aby byly pokryty veškeré relevantní podobory. S využitím této zkušenosti Implementační doporučení IPN Metodiky počítala s počtem panelů kolem 30 po 6 až 12 odbornících, podle šíře oboru a počtu hodnocených výzkumných jednotek.
Metodika M17+ naproti tomu pracuje pouze se šesti panely, definovanými na úrovni oborových skupin, které mají „nejméně tolik členů, kolik oborů bude ve skupině obsaženo“. Znamená to tedy jmenování jednoho experta na vědní obor, doplněného možná odborníkem z praxe na aplikovaný a průmyslový výzkum, pokavad to bude pro daný obor relevantní. Toto minimalistické řešení je dost nebezpečný nápad, neboť hodnocení celého oboru může záviset pouze na jediném panelistovi, bude tedy silně ovlivněno jeho kvalifikací a subjektivním náhledem. Při současné specializaci panelista zodpovídající za celý obor bude schopen kvalifikovaně posuzovat pouze některé podobory, zatímco v jiných nebude dostatečně kompetentní. Z toho mála, co návrh M17+ precizuje, víme, že panelisté hrají klíčovou roli při posouzení vybraných výsledků: „zpracují odborné komentáře“ k jejich bibliometrické analýze, „vybírají vzdálené recenzenty“ a mají konečné slovo „v zařazení výsledků na kvalitativní stupnici 1-5“. Je naivní představou, že jeden odborník bude toto schopen kvalifikovaně zvládat přes celou šíři vědního oboru jak po stránce kvalitativní tak i kvantitativní, absurdním se to jeví zvláště pro rozmanité obory jako je např. biologie.
Kde ti zahraniční experti jsou?
Panuje všeobecný konsensus, že v malých zemích, „kde se všichni znají“, je možno objektivní hodnocení VO provádět pouze s podstatnou účastí zahraničních expertů. Platí to zvláště pro země zatížené klientelismem a korupčními vazbami, k nimž se bohužel řadí i ČR. To celý proces komplikuje po stránce logistiky a značně zvyšuje i náklady na hodnocení.
V případě hodnocení ústavů AV ČR byly oborové panely (I. fáze) složeny výhradně ze zahraničních expertů a v oborových komisích (II. fáze) měli cizinci zastoupení 80%. V Implementačním doporučení IPN Metodika se počítá v oborových panelech s dvoutřetinovým zastoupením zahraničních odborníků. V obou přístupech předsedové panelů či komisí jsou výhradně cizinci a toto platí i pro hodnotitele vybraných výsledků. Veškeré výstupy z hodnocení jsou formulovány výhradně těmito odbornými panely či komisemi bez zásahu státních administrativních struktur.
I v tomto směru se návrh M17+ výrazně liší. Jeho autoři pouze vágně konstatují: „odborné panely budou podle možností, tedy tam, kde je to vhodné a účelné, tvořeny zejména nezávislými zahraničními odborníky“ a dále zmiňují „hodnocení vybraných výsledků převážně se zapojením zahraničních posuzovatelů, opět s ohledem na vhodnost a účelnost jejich využití“. Tato neurčitá dikce naznačuje, že systematická účast zahraničních expertů, především na úrovni panelů, se nezdá být automatickou, přestože ve všech vědních oborech je toto “vhodné a účelné“ pro zaručení objektivity hodnocení. Diametrálně se liší i přístup ke konečnému hodnocení VO, čímž je její zařazení do čtyřstupňové škály. „Zařazení vzejde z jednání, kterého se zúčastní zástupci poskytovatele, RVVI/Sekce VVI a předsedové panelů s možností přizvat další experty“. Z této formulace je patrné, že v M17+ odborné panely nemají roli srovnatelnou s hodnocením akademickým či podle IPN Metodika. Uvážíme-li dále, že zastoupení zahraničních panelistů je nejisté, rozhodování o výsledku hodnocení bude provedeno v M17+ především na tuzemské úrovni s podstatným vlivem státních úředníků. V tomto kontextu veškerá mediální prohlášení Sekce pro VVI o hodnocení zahraničními odborníky jsou velmi vzdálená realitě návrhu M17+.
Závěrem: k čemu hodnocení na „národní úrovni“?
Z výše uvedeného vyplývá, že přínos a reprezentativnost hodnocení na národní úrovni Sekcí VVI jsou velmi sporné. Hodnocené celky jsou, především v případě vysokých škol, neúměrně velké, a často mnohaoborové, panely jsou přitom "lite" bez záruky kompetence přes celou šíři oborů, nejisté je zastoupení zahraničních expertů, kteří nebudou mít výrazný vliv na výsledky hodnocení. Přitom má probíhat i více detailní hodnocení na úrovni zřizovatelů/poskytovatelů. Konkrétně AV ČR provede svoje hodnocení v roce 2020, pravděpodobně analogickým způsobem jako v roce 2015. Aby bylo hodnocení smysluplné v segmentu VŠ, bude muset být použit postup, který dovolí oborové hodnocení na úrovni menších celků, než jsou fakulty, tedy v zásadě podle principů ne příliš vzdálených IPN Metodika, pokavad ovšem bude vůle najít alternativu k „vylepšování kafemlejnku“. V tomto kontextu není jasné, jaká bude přidaná hodnota „makro“ hodnocení na národní úrovni. Podklady pro řízení VVI v ČR by bylo přece možno získat syntetickou metodou „bottom up“ z hodnocení poskytovateli/zřizovateli v jednotlivých segmentech.
Navržený konglomerát hodnocení rozhodně neodpovídá dobré zahraniční praxi, kde existují jak jednotná a centrálně prováděná hodnocení všech typů VO (např. ve Francii) tak i hodnocení segmentová (např. hodnocení univerzit ve Velké Británii). Navržená M17+ je však spíše než „dobře míněným polotovarem“ jakýmsi hybridem těchto hodnocení, který se po „kafemlejnku“ může stát opět českým unikátem. Je s podivem, že po zkušenostech s akademickým hodnocením v roce 2015 a po úsilí a značných finančních nákladech spojených s IPN Metodika se Sekce pro VVI snaží po třetí, a to ne příliš šťastně, „vynalézat kolo“.
Autoři: Vlastimil Růžička, Vladimír Majer
