Horký brambor Metodika 2017+

Kontury hodnocení po roce 2018 nejsou moc srozumitelné. Mnohde nejasný, nepřehledný a nevyvážený text M17+ budí podezření, zda nejde spíše o horkou bramboru odhozenou za časový horizont příštích sněmovních voleb, kde dnes nebude nikoho pálit.

Píše se další díl dlouhé historie

Od ledna roku 2012 jsem o přípravách metodik hodnocení psal již mnohokrát [1 | 2 | 3 | 4 | 5]. V jednom blogu jsem historii záplatování kafemlejnku zmapoval. Aktuálně platnou Metodiku 2013-2015, prodlouženou současnou vládou loni v časové tísni i na rok 2016, schválila kdysi vláda Petra Nečase. Pikantní je, že jí tehdy schvalovala šest dní po propuknutí aféry Nagygate, když už tehdejší vládě o nic nešlo. Docela by mě zajímalo, komu se tehdy podařil ten majstrštyk to vládě podstrčit ke schválení třetí den v demisi. Bez demise by dost dobře možná tehdy vládou Metodika 2013-2015 neprošla.

Příprava M17+ se během prvních dvou let současné vlády téměř nehnula z místa. Její současná podoba se začala formovat až začátkem léta'16. Posledních několik měsíců se pak doslova sprintovalo. V tempu změn ani nešlo sledovat měnící se pracovní verze, které se čas od času daly najít v ex-post zveřejňovaných podkladech ze zasedání Rady.

Proces přípravy M17+ se bohužel nevyvaroval typických českých nešvarů. Tak zásadní reformní záležitost se průběžně nekonzultovala s odbornou a dotčenou akademickou veřejností. Bez průběžných konzultací se uvařený dokument až teď poslal do kratičkého úředního připomínkového řízení, které veřejnou konzultaci není. Není náhodou, že i dnes týden po schválení M17+ jí najdou jen fajnšmekři schovanou hluboko dole na podstránce z jednání Rady jako dokument 320/A1. Nikoho už asi ani nenapadlo, že by se funkčnost složitých pravidel a mechanismů mohla a měla předem pilotně v malém rozsahu ověřit a odladit.

Úvod dobrý

Obecně pojatý úvodní text M17+ o potřebě a účelu institucionálního hodnocení zní skvěle. Mnohaleté vysvětlování a výsledky projektů IPN Audit a IPN Metodika očividně udělaly po stránce osvěty spoustu užitečné práce. Úvod textu nenechává nikoho na pochybách, že současná Rada kapíruje zásadní rozdíl mezi hodnocením a financováním, a že cílem hodnocení zdaleka není jen porcovat rozpočtového medvěda. Ještě když čtenář textem listuje zběžně, má stále ještě docela dobrý pocit. V textu totiž nachází řadu stavebních kamenů, bez kterých se moderní institucionální hodnocení neobejde.

Problémy nastávají, když se čtenář začne snažit chápat detaily a souvislosti. Někde jde text do neskutečných detailů, jinde se pohybuje mlhavě po povrchu a o některých věcech zarytě mlčí. Nejasných "detailů" jsou totiž v textu M17+ ne desítky, ale stovky. Kvůli nim ani text nejde pořádně připomínkovat. V následujícím se proto proberu pouze návrhem podoby hodnocení pro přechodné období nejbližších let 2017-2018. Pokud se někde pletu, tak se omlouvám, ale text M17+ je opravdu velmi obtížně stravitelný.

Přechodné období 2017-2018

V letech 2017 a 2018 mají probíhat hodnocení každý rok jako dosud. Má jít o osekanou verzi dosavadního kafemlejnku v podobě Modulů 1 a 2. Zásadnější změnou bude to, že jednotlivým vědeckým výstupům se již nebudou přiřazovat body a v rozpisu finanční podpory ministerstev výzkumným organizacím (VO) už tedy nebudou jednotlivé výsledky figurovat.

Modul 2 (dosavadní I. pilíř a jeho podpilíř)

Všechny výstupy VaV má nově mapovat 2. Modul. Bude to zřejmě hodně osekaná obdoba současného I. Pilíře bez jeho sub-pilíře pro společenské a humanitní vědy. Řada důležitých podrobností ale není v textu M17+ uvedena a zřejmě teprve budou popsány v prováděcí dokumentaci:

• Lze se jen dohadovat, že definice druhů výsledků VaVaI budou převzaty z dosavadní Metodiky.
• Není jasné, kdo a jak bude provádět tzv. verifikace výsledků, které dosud prováděly OVHP. Dle M17+ už v oborech živé a neživé přírody nemají být omezeny typy uplatnitelných druhů výsledků, takže i tam bude muset někdo verifikovat to, co nejde zkontrolovat porovnáním dodaných údajů s databází WoS a Scopus. Že se do RIVu sype kdejaký pseudovědecký odpad snad není třeba připomínat.
• M7+ nijak neřeší pravidla konsolidace výsledků. Tedy to, jak budou nahlášené výsledky rozdělovány mezi domácí autory a jejich výzkumné organizace.
• Jedinou informaci o kvalitativním profilu výstupů ponesou výstupy typu Jimp a Jsc (opět v podobě která bude teprve definována). U ostatních výsledků bude k dispozici zřejmě pouze informace o jejich počtu. Způsob kvantitativního zpracování výstupů nepublikačního charakteru bude teprve ujasněn.
• Další porcí informací o VO předloženou v tomto modulu bude objem a skladba vědeckých pracovníků a finančních prostředků VO. Konkrétní definice veličin a struktura zpracování budou ale teprve definovány. Zda z těchto informací bude možno vyčíst něco věrohodného o efektivitě a produktivitě VO proto teď nelze soudit. S pravděpodobností hraničící s jistotou toto jednoduché (levné) srovnání žádnou věrohodnou informaci o vědecké produktivitě a efektivitě VO nikomu nedá. Takže nedává ani smysl chtít podle toho (udělené známky VO) rozdělovat navýšení rozpočtu.
• Není mi moc jasné, jak se k informacím z 1. Modulu budou vyjadřovat jednotlivé panely (oborových skupin) a jak a kdo to slepí do zprávy za celou VO.

Modul 1 (dosavadní II. pilíř)

V 1. Modulu se budou hodnotit vybrané výstupy podobně jako v dosavadním II. pilíři. Oproti dosavadní praxi však bude několik změn:

• Hodnotit vybrané výstupy nebudou panelisté, ale hodnotitelé, kterým budou panelisté výsledky zasílat. Protože v panelu bude za každý obor maximálně jeden člověk (např. jeden za celý obor ekonomie, business, finance, ekonometrie), tento jeden člověk bude muset najít vhodné hodnotitele a pošle jim jednotlivé výsledky k posouzení. Panelista tak učiní s výsledky od všech organizací, tedy od té, kde působí. Na jediné osobě v panelu znalé konkrétního oboru bude záviset v podstatě vše. Panelisté z dalších oborů nebudou schopni práci jednoho člověka kontrolovat.
• Panelisté budou asi většinou Češi. Dosavadní EP měly mít alespoň papírově většinu cizinců. Zda budou hodnotitelé cizinci či ne není v M17+ popsáno. Hodnocení domácími panelisty je ale cesta do pekla. Konflikt zájmů bude teprve vyřešen dalším dokumentem.
• Předkládat se bude opět 1 výsledek za 10 mil. Kč podpory. Rozdíly ale budou dva. V případě organizací s menším rozpočtem než 10 mil. se asi bude předkládat vyšší počet výsledků než jeden. Ale v M17+ to napsáno není. V případě VO větších než 10 mil. se budou výsledky předkládat v poměru podle toho, kolik peněz dostávají jednotlivé součásti.
• Na rozdíl od současnosti se kvalita výsledků bude hodnotit na absolutní škále.
• Výsledkem hodnocení panelem bude oznámkování hodnocených výsledků + slovní hodnocení jednotlivých výsledků + slovní hodnocení VO (na základě výsledků VO v dané oborové skupině).

Zpráva o výzkumné organizaci (VO)

Podobu zprávy bude muset určit prováděcí dokument, takže v dalším jen spekuluji. Kvantitativní informace z 1. a 2. Modulu budou obsaženy ve Zprávě za celou VO a už ne za jednotlivé součásti (fakulty VŠ). Protože VŠ jsou víceoborové, nebude Zpráva výsledkem práce jednoho panelu, ale Zprávu nějak poskládá dohromady úřad pro VaVaI z informací vygenerovaných jednotlivými panely.

Zprávy (kvantitativní informace) za jednotlivé VŠ posoudí komise složená ze zástupců sekce VVI a MŠMT. Při finálním rozhodnutí o udělení známky VŠ budou přítomni i zástupci dané VŠ. Ve zprávě budou výstupy resp. počty pracovníků resp. získané finanční prostředky prezentovány souhrnně nebo ve struktuře šesti základních oborových skupin Frascati. Věrohodné poměření výstupů vůči vstupů (peníze a lidé) tedy asi bude iluzorní. Známku dostane celá VO, byť velmi heterogenní, a ne jednotlivé součásti (fakulty).

Co je ve hvězdách

Pokud by se měla M17+ skutečně realizovat v praxi, bude třeba připravit a schválit celou řadu podrobných prováděcích předpisů. Už teď na to ale zbývá neskutečně málo času. A to se ví, že v této oblasti je nedodržování termínu spíše pravidlem než výjimkou. Pokud by mělo hodnocení v roce 2017 hladce proběhnout, muselo by na jeho přípravě intenzivně pracovat již dnes. Jenže vypořádání připomínek k obtížně srozumitelnému materiálu M17+ ani nemusí nikdy doběhnout do cíle.

A podoba hodnocení po roce 2018 má v M17+ už takovou spoustu otazníků, že asi nemá smysl si nad tím lámat hlavu. Například není jasné, kdo vlastně bude mít na starost hodnocení v Modulech 3-5.

Článek byl publikován 7. 12. 2016 na webu metodikahodnoceni.blogspot.cz.