Tomáš Opatrný: Hodnocení výzkumu – práce mezinárodního evaluačního panelu

Po zrušení kafemlejnku se u nás výzkumné organizace hodnotí pomocí tzv. Metodiky 2017+. Namísto bibliometrie s přepočítáváním publikací na body a bodů na peníze se jedná o sofistikovanější postup složený z pěti modulů. První dva moduly nazvané „Kvalita vybraných výsledků“ a „Výkonnost výzkumu“ už cca tři roky běží: v prvním z nich každá instituce předá určitý vzorek své nejlepší tvorby, přičemž každý výsledek oznámkují dva hodnotitelé. Druhý modul je bibliometrie vzdáleně připomínající předchozí kafemlejnek. Tři další moduly zvané „Společenská relevance“, „Viabilita“ a „Strategie a koncepce“ jsou založeny na hodnocení dané instituce mezinárodním evaluačním panelem a pro vysoké školy měly premiéru v posledních měsících. Měl jsem možnost účastnit se práce panelu hodnotícího jednu z našich univerzit a podělím se zde o několik postřehů.

Nejdřív něco z historie

Původním cílem bylo rozdělit institucionální peníze na výzkum poněkud lepším způsobem než přes tzv. „výzkumné záměry“, kdy se finance alokovaly víceméně podle slibů. Dle novely zákona o podpoře výzkumu z roku 2009 se každým rokem měly zhodnotit výsledky, kterých daná organizace dosáhla v předchozím pětiletém období, a finance měla dostat přímo úměrně hodnotě dosažených výsledků. Moudrá rada rozhodla, kolik bodů bude za jaký výsledek, a ministerstva podle toho rozdělila rozpočty. To vedlo jednak k boomu ve tvorbě výsledků, a jednak k řadě parazitních jevů, zejména tvorbě a vykazování pseudovýsledků s vidinou snadných příjmů. Všichni věděli, že to není správně, ale byla malá shoda na tom, jak to spravit. Vyřešit to měly velké projekty MŠMT financované ze strukturálních fondů EU – tzv. IPN Audit (2009-2012, zaměřený na mezinárodní zhodnocení výzkumu) a IPN Metodika (2012-2015, jehož cílem bylo vytvořit tu „správnou“ metodiku hodnocení a financování výzkumu). Bylo kolem toho mnoho divení a silných slov, proč to nejde rychleji a lépe (vzpomínám na diskusi s prof. Höschlem na KHV, kdy říkal, že mít volný večer a lahev vína, tak by tu metodiku napsal klidně sám), ale výsledek se dostavil až po mnohaletém úsilí a strastiplné cestě v podobě postupně se rozbíhající Metodiky 2017+. Že to ale stále nejspíš není úplně to pravé, se dozvídáme i z posledních zápisů RVVI.

Sebehodnoticí zpráva a mezinárodní hodnotící panel

Moduly 3 až 5 mají vzít v potaz, že na výzkumu jsou důležité nejen jeho výsledky. Výzkumné organizace tedy musely sepsat sebeevaluační zprávy, ve kterých dle podrobného formuláře rozepsaly, jak je jejich výzkum společensky relevantní, což měly ilustrovat výčtem nejdůležitějších komerčních aktivit, řešených aplikovaných projektů, popularizačních akcí, udělených ocenění atd. Také se měly pochlubit svými strategiemi, organizací doktorského studia, vnitřními pravidly a též opatřeními pro udržování dobré praxe VaVaI („Vysoká škola stručně popíše, jakým způsobem dbá o dodržování etických aspektů VaVaI…“). Celé to měl zhodnotit mezinárodní evaluační panel. Ten měl jednak prostudovat zprávu školy, ale zejména měl zjistit více podrobností během třídenní návštěvy na místě.

Do zadaného formuláře pak měli členové panelu vyplnit ke každé položce slovní hodnocení a též zadat známku. Například – položka „Uznání mezinárodní komunitou v oblasti VaVaI, bod 3.11.1 Účast akademických pracovníků hodnocené jednotky v edičních radách mezinárodních vědeckých časopisů za hodnocené období 2014 až 2018“. Známkování od 0 (nedostatečný) po 5 (vynikající).

Dálkové zasedání

Pandemický rok ale osobní návštěvy neumožnil, takže místo „on-site “ byly návštěvy „on-line“. Panel se tak na dálku setkal s vedením univerzity i fakult, zástupci doktorandů či postdoků i s několika členy správní rady. Ze získané směsice dojmů a občas velmi protichůdných pohledů panelistů z různých zemí i oborového zaměření pak byl editován dokument, který má podle tvůrců systému hodnocení ovlivnit financování škol na dalších pět let.

Pár mých osobních dojmů:

• Většina panelistů měla snahu se velmi poctivě poprat se situací – i přes omezené možnosti pochopit dění uvnitř univerzity a kriticky je posoudit.
• Panelisté byli z velmi různorodého prostředí. Zástupci školy tak byli často překvapeni otázkami, které jim členové panelu kladli, a panelisté zase odpověďmi, které dostávali. Nejvíce se to projevovalo při nechtěných příležitostech, kdy po skončení jednání zapomněli na škole vypnout mikrofony a slova, smích či vzdechy se pak nesly ze zasedací místnosti elektronickými cestami po širém světě. Plnohodnotně jsme to dokázali ocenit jen tři, kteří jsme v desetičlenném panelu byli z Česka či Slovenska.
• Typickým nedorozuměním byla otázka rozpočtu. Zatímco zástupci školy i fakult to vnímali jako důležitý parametr a doklad, že se pracoviště umí o sebe postarat a sehnat si zdroje, pro panelisty to byla spíše sebezahleděnost a malá empatie vůči okolí, pro něž by pracoviště mělo vykazovat „společenskou relevanci“.
• Často udělalo nejlepší dojem setkání s doktorandy – byli velmi bezprostřední a byla z nich poznat jednoznačná identifikace se svým pracovištěm. Občas ale v následné diskusi padla otázka, jak vlastně byli pro toto setkání vybráni. Zvolili si je studenti jako své reprezentanty, nebo si je vybralo vedení jako „ty správné“ pro posuzovatele?
• Kulturní odlišnost se dala vnímat i v těžišti významu jednotlivých sdělení. Na hodnocené škole byla cítit hrdost na schopnost improvizovat a popasovat se s kdejakou nástrahou či příležitostí, kterou nejistá doba přináší. Panelisté, kteří v řadě případů pocházeli z vrcholového univerzitního managementu, zase všude chtěli vidět mise, vize a strategie.

Známkování

Velké rozpaky přišly v okamžiku, kdy mělo dojít na známkování. Podrobné formuláře vyžadují každé z položek přiřadit číslici. U modulu „Společenská relevance“ pro každou fakultu 11 položek k oznámkování plus celková známka pro fakultu. U modulu „Viabilita“ celkem 28 položek plus celková známka pro univerzitu a u modulu „Strategie a koncepce“ 5 položek plus celková známka pro univerzitu. Někteří panelisté vyjadřovali značný nesouhlas: jak máme dávat srovnávací známky, když není zřejmé, s kým se to srovnává? Každá univerzita má jiný panel a ten může mít jinak nastavená měřítka. A jak se má známkovat například položka „příjmy z neveřejných zdrojů“ u fakulty, která má úplně jiné poslání, než si přivydělávat smluvním výzkumem? Jaké příjmy by pro ni měly ospravedlňovat známku 2 „average“ a jaké známku 3 „good“? Objevil se i návrh neznámkovat vůbec, abychom nezpůsobili více škody než užitku.

Zástupce ministerstva, který se jednání panelu účastnil, nás utěšoval: „Využijte své zkušenosti z mezinárodního prostředí a srovnejte to s univerzitami, které znáte. A vyhnout se známkování – to by mohlo danou školu poškodit.“ Takže panel pracoval a vygeneroval kromě textových vyjádření i spoustu čísílek. Nulu („inadequate“) nedal žádnou, pětku („excellent – world class level“) také žádnou. Členové panelu se dohodli, že známka 5 by se měla udělovat těm, co v daném kritériu patří mezi 5 % nejlepších na světě. Jedniček („below average“) nebylo moc a čtyřky („very good, exceptional level among better EU“) byly vzácné. Nejčastěji to oscilovalo mezi dvojkou („average“) a trojkou („good“). Zástupce ministerstva si pochvaloval: „Líbí se mi, jak jste správně přísní.“  Na dotaz, kolik panelů takto dozoruje a může srovnat, odpověděl, že dva. Ta druhá škola v jeho gesci prý ale měla benevolentnější panel.

Naše obavy pak potvrdila diskuse se členem jiného panelu hodnotícím jinou vysokou školu. Tam se žádná procentní kritéria nediskutovala a pětek udělili spoustu.

Panelistům se to nelíbí

Členové panelu, ve kterém jsem působil, vyjádřili řadu výhrad ke stávajícímu způsobu hodnocení. Jejich výčet byl součástí odevzdaného materiálu. Ve zkratce:

• Nevhodnost omezení gesce mezinárodního panelu na moduly týkající se pouze společenské relevance výzkumu, viability a strategie. Toto jsou komponenty, které je nutno hodnotit v souvislosti s dalšími aspekty vysoké školy. Kvalita a objem výzkumné produkce nebo parametry vzdělávací funkce školy přitom zůstaly panelistům zcela skryty.
• Rigidní formát. V rámci modulu 3 bylo nutné vyplňovat stejný formulář s 12 položkami pro každou z fakult, přičemž ty měly zcela odlišná zaměření. Podle panelistů nemělo smysl u fakult humanitního zaměření vyplňovat položky týkající se komerčních produktů či příjmů od komerčních klientů. Na druhé straně pro hodnocení těchto fakult chyběly položky beroucí ohled na jejich společensko-kulturní dopad na okolí.
• Formát sebeevaluační zprávy. Ten trpěl stejnou rigiditou jako hodnoticí formulář, což vedlo k tomu, že školy nedávaly k dispozici kompletní informace. Řadu věcí, které panelisté považovali za důležité pro posouzení společenské relevance, se pak dozvídali až mimochodem či náhodou při diskusích.
• Pochybnosti o smysluplnosti srovnávání univerzit jakožto hodnocených jednotek. Podle panelistů se u většiny západoevropských univerzit peer-review vyhodnocování zaměřuje na víceméně koherentní množinu oborů (společenské vědy, humanitní vědy, lékařství, fyzika, biologie, chemie). V jejich rámci se pak může srovnat kvalita jednotlivých univerzit. Takto může některá univerzita excelovat v lékařských vědách, jiná zase ve společenských.
• Nevhodnost numerického systému skórování. Podle panelistů stávající schéma neumožňuje postihnout kvality jednotlivých fakult ani univerzity jako celku.

Zda to nějak vezme ministerstvo či RVVI v potaz, zůstává otázkou.

Měřítka

Velké divení nastává pokud se nyní kontaktují zástupci různých panelů či různých univerzit: měřítka byla diametrálně odlišná. Otázkou je, proč členové panelů, a zejména jejich předsedové nemuseli projít školením, ve kterém by si alespoň orientačně stanovili jednotná kalibrační kritéria. Když se takováto jednotící školení provádějí pro hodnotitele projektů, bývá to příležitost k diskusi mezi účastníky a k vyjasnění dotazů, jak postupovat v té či oné modelové situaci. Nebyl čas kvůli covidu? Byl ostych vysvětlovat kapacitám ze špičkových západních univerzit, jak mají při hodnocení postupovat?

Zajímavé je také to, že bylo v režii jednotlivých univerzit sestavit si každá svůj panel a také tyto panelisty zaplatit. Ani v tom nebyla jednotná měřítka a variabilita byla značná. Tímto způsobem škola, které chtěla hodnocení využít k důkladné sebereflexi a sehnala si přísné a náročné hodnotitele, prohrává. Vítězem se naopak stávají ti, kteří připravili lichotící přehlídku dávající laskavým panelistům vybraným z okruhu prověřených přátel najevo jejich důležitost v náročné hodnotitelské práci. Kdo by pak chtěl být na takovou školu přehnaně přísný?

Strategie

V panelu, ve kterém jsem působil, často zaznívaly otázky ohledně strategie. „Má ta univerzita jasně definovanou strategii v tom či onom?“ A také: „Trávíme tu spoustu času formulací našich doporučení. Jak to ta škola využije k tvorbě svých strategií?“  Toto by bylo vysoce aktuální, pokud by výsledky hodnocení byly hotové před půl rokem. Vysokým školám končí platnost strategických záměrů sestavených na období 2016-2020 a nyní finalizují své nové strategické záměry na období 2021+. MŠMT tu rámcově počítá s desetiletým obdobím. Finální dokumenty mají vysoké školy předložit ministerstvu do konce března. Předtím to ale musí projít náročnějším schvalovacím procesem: strategický plán projednává vědecká rada, schvaluje akademický senát a poté ještě správní rada. Dokumenty byly v podstatě hotové před Vánocemi, nyní se spíše očekávají drobné změny vzešlé z připomínkování v jednotlivých univerzitních orgánech. Přístup „zamysleme se nad sebou v souvislosti s tím, co nám panel sděluje, a vyjděme z toho při tvorbě naší strategie“ tu zřejmě šanci nemá.

Další vývoj

Co bude dál? Určitě to bude napínavé. Poté, co panely odevzdaly svá hodnocení, by měla následovat fáze „konsolidace zpráv MEP grémiem poskytovatele“. Co to znamená? Chytré hlavy na ministerstvu správně rozeznají, že tento panel byl příliš benevolentní a jejich pětku konsolidují na čtyřku, kdežto támhleten panel byl neúměrně přísný a jedničku konsoliduje na dvojku?

Dále by podle ministerského rozpisu mělo následovat „společné jednání poskytovatele, RVVI a ČKR“. Takže další moudré hlavy situaci zváží a vyhodnotí. Na konci května by pak měl být pro každou školu vyhotoven finální „protokol II“. Čísílka se pak přetaví na písmenka, podle nich se školy rozškatulkují a podle škatulek A až D budou dostávat institucionální podporu na výzkum. V metodice pro VŠ se píše: „Výsledek kompletního hodnocení vysoké školy je podkladem pro stanovení výše institucionální podpory na DKRVO pro příslušnou vysokou školu na období dalších pěti let. Pravidla poskytování institucionální podpory na DKRVO vysokým školám v souladu s principy transparentnosti, předvídatelnosti a institucionální stability stanoví a zveřejní poskytovatel.“ 

Varianty

Jaké jsou varianty vývoje? Podle jedné nebude mít nikdo odvahu sáhnout na verdikt nezávislých panelů, složených většinou ze zahraničních expertů. Jejich bodování pak bude mít velkou váhu na stanovení rozpočtu a ovlivní finanční přesuny v následujících pěti letech. Někteří si právem polepší, jiní budou právem skrouhnutí, někteří si přilepší, protože měli štěstí na benevolentní panel, a některým bude nefér ubráno, protože jejich panel známkoval přísněji. Za pět let bude neobyčejná poptávka po benevolentních panelistech.

Podle druhé varianty také nebude odvaha sáhnout na bodování nezávislých panelů, ale nebude ani odvaha jejich výsledky promítnout do rozpočtu. Premianti budou o svých úspěších referovat na tiskovce, kdežto ti s horším skóre nikoliv – což bude víceméně celý rozdíl. Rozpočet se bude dělit v podstatě setrvačností, s drobnými korekcemi založenými na bibliometrii. Za pět let pak budou udatní reformátoři hlásat, že tentokrát už to hodnocení a financování vědy provedou opravdu, ale opravdu konečně dobře.

Třetí varianta je, že moudré hlavy budou mít ambici rozeznat, který panel byl příliš benevolentní a který příliš přísný, a jak je tedy zapotřebí získaná hodnocení „konsolidovat“. Moudré hlavy na ministerstvu, v Radě pro výzkum i v České konferenci rektorů ale mají také spoustu jiné práce, než detailně studovat všechna vyjádření jednotlivých panelů, zkoumat hodnotitelskou historii každého z panelistů a najít si čas na spravedlivou kalibraci. Bude tedy zapotřebí jim v rozhodování poradit a pomoci. Jistě se najde mnoho dobrovolníků ochotných přispěchat s kvalifikovanými doporučeními jak správně tu konsolidaci a kalibraci provést. Mistrovství republiky v leštění klik se rozjede.

 

Autor: Tomáš Opatrný 

Článek vyšel v Diskuzním žurnálu o dění na UP v Olomouci. 

---

 

Tomáš Opatrný

Učí na Přírodovědecké fakultě Univerzity Palackého v Olomouci. Profesně se zabývá kvantovou informatikou, kvantovou a atomovou optikou a termodynamikou, zkoumá otázky spinového stlačování a potlačování neadiabatických přechodů v kvantových systémech. V letech 1995 až 2003 pobýval na zahraničních výzkumných pracovištích v Německu (univerzity v Jeně a v Erlangenu), v Izraeli (Weizmannův institut) a v USA (Texas A&M University). Je autorem více než 80 mezinárodně publikovaných prací s více než 2000 citacemi. Za recenzní posuzování článků pro časopisy American Physical Society získal ocenění „Outstandidng referee“. V letech 2010-2011 byl členem vládní Rady pro výzkum, vývoj a inovace (RVVI) a v letech 2010-2018 členem Komise pro hodnocení výsledků při RVVI. V letech 2006-2014 byl proděkanem PřF UP.  V současnosti je předsedou Akademického senátu přírodovědecké fakulty UP.