Účastníci konference (zleva): Pavel Doleček, Jiří Zima, Ladislav Krištoufek

„Existují dva důvody, proč metodiku hodnocení aktualizovat. Jedním z nich je vývoj – metodika vznikala zejména v přelomovém období 2015–2016 a musela reflektovat tehdejší stav výzkumu a do detailu popsat spoustu ustanovení s ohledem na přechod do nového hodnocení (M17+). Aktuálně jsme v odlišné situaci. Máme za sebou veškeré implementační fáze, a máme tak příležitost podívat se, zda některá ustanovení dokumentu nejsou přežitá čistě z povahy běhu času. Druhým faktorem, jenž je s kontinuitou metodiky také spojený, je ukázat, kam jsme se v této oblasti během šesti let posunuli – jak se nám profilují jednotlivé moduly v časovém vývoji. Modul 2 (výkonnost výzkumu, pozn. red.) se nám posouvá do pozice významného podpůrného modulu, učíme se, jak pracovat s Modulem 1 (kvalita vybraných výsledků, pozn. red.) a po zkušenostech s prvním kolem běhů hodnocení na úrovni poskytovatelů Modulů 3 až 5 (společenská relevance, viabilita a strategie a koncepce, pozn. red.) také víme, co od těchto částí metodiky můžeme či nemůžeme očekávat,“ uvedl konferenci o Metodice hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací (dále jen M17+ – první názory a počáteční vývoj zde) náměstek ministryně pro vědu, výzkum a inovace Pavel Doleček, který dále zmínil tři hlavní cíle spojené s metodikou.

Kromě získání podkladů pro rozhodování – ať už na koncepční úrovni či na úrovni rozhodování o distribuci prostředků v systému – sehrává metodika formativní roli, tedy poskytuje zpětné vazby všem aktérům systému, a motivuje tak k pozitivním krokům. V neposlední řadě má metodika hodnocení také komunikační funkci. Tedy to, co je předmětem hodnocení a co je požadované, sděluje systému – například jaká je představa státní správy o tom, co je podstatné řešit systémově.

Po vzoru iniciativ na evropské úrovni

„Reflexe a budoucí aktualizace M17+ je nutná a je otázkou, do jaké míry aktualizace nástrojů jsou a musí být průběžné s ohledem na vývoj v posledních letech,“ okomentoval nově nastavený vývoj M17+ prorektor pro vědeckou a tvůrčí činnost UK a člen Rady pro výzkum vývoj inovace Ladislav Krištoufek, který dále v této souvislosti s aktualizací reformy připomenul iniciativy na evropské úrovni určující společný směr změn v postupech hodnocení výzkumných pracovníků, organizací a samotného výzkumu.

Zmíněné iniciativy, jako je Coalition for Advancing Research Assessment (COaRA), Towards an agreement on reforming research assessment a samotná smlouva Agreement on Reforming Research Assessment (ARRA) pod záštitou Evropské komise, tak berou v potaz změny, jako je digitální transformace, vzrůstající role spolupráce a multidisciplinárních přístupů, zvyšující se produkci výstupů a další stále četnější transformace v systému hodnocení. A reagují na negativně vnímané trendy, jako je například používání nevhodných časopiseckých metrik – zejména Impact Factoru a h-indexu jako jediného hodnoticího kritéria. V neposlední řadě pak tyto iniciativy dávají jednotlivým institucím prostor podílet se na případných změnách v systému hodnocení.

„Nemalá část českých výzkumných organizací a vysokých škol do těchto iniciativ vstoupila. Je otázkou, jakým způsobem k nim přistoupit, abychom nezůstali pouze u podpisu s tím, že vše zůstane při starém,“ vyjádřil se k těmto snahám Krištoufek předtím, než první část přednášek uvedl děkan Přírodovědecké fakulty UK Jiří Zima.

Pohled nejen Odborných panelů na hodnocení na národní úrovni

V dopoledním bloku promluvili nejen zástupci Odborných panelů. V prvním vystoupení zaměřeném na problematiku hodnocení v přírodních vědách se ujali slova Stanislav Kozubek, člen Komise pro hodnocení výzkumných organizací a ukončených programů, a místopředseda Odborného panelu 1 Natural Sciences Bohuslav Rezek, který představil konkrétní obtíže převažující zejména v modulech 1 a 2, jako je například nedostatečné zdůvodnění podílu (významu) autorů za předkládající instituci.

Ve zmíněném vystoupení dále zazněly klíčové body v systému hodnocení a další specifika či případné sporné body. Tedy například postavení přírodní vědy v systému věd (převažující základní výzkum v přírodních vědách), postavení peer-review hodnocení coby hlavní metody (s níž jsou spojena možná úskalí, jako je případná subjektivita či střet zájmů), pozice bibliometrie coby pomocné metody a v neposlední řadě směřování hodnocení – jež je spojeno zejména se zmíněnou iniciativou ARRA.

Další blok pojednávající o nástrojích a datové základně pro hodnocení na národní úrovni se – na rozdíl od většiny zbylých výstupů prezentující shromážděná data v rámci hodnocení – zaměřil na technické a administrativní záležitosti, na které byl kladen důraz zejména v rozběhu celého procesu M17+. Slova se v tomto bloku ujali Michal Nekorjak a Ondrej Majer, zástupci Sekce pro vědu, výzkum a inovace Úřadu vlády ČR.

V posledním dopoledním bloku prezentovali nejen dosavadní zkušenosti s hodnocením zástupci odborných panelů – předseda odborného panelu 1 Natural Sciences Petr Štěpnička, předseda odborného panelu 2 Engineering and technology František Štěpánek a místopředseda odborného panelu Agriculture and Veterinary Sciences Luděk Bartoň, kteří dále přispěli svým osobním komentářem a postřehy.

Aktualizace Metodiky 2017+

Odpolední část bloků nabídla vhled do problematiky publikační produktivity, který rozebral člen Komise pro hodnocení výzkumných organizací a ukončených programů Štěpán Jurajda. Následně otázku citační analýzy jako vhodného doplňujícího nástroje pro hodnocení rozebral člen Odborného panelu 5 Social Sciences Daniel Münich.

Závěrečná prezentace byla spojená s Aktualizací Metodiky 2017+. Té se ujal Tomáš Polívka, hlavní koordinátor hodnocení a místopředseda RVVI, který vedle předpokládaného časového harmonogramu popsal i přehled hlavních bodů aktualizace. Ve druhé zmíněné části prezentace pak byly poprvé zmíněny i nové změny – například obměna v periodicitě hodnocení, jež vzbudily pozornost i v navazující závěrečné diskusi.

„Chceme změnit periodicitu hodnocení. O této změně se již mluvilo v posledních šesti měsících. Z pohledu výzkumné organizace by se hodnocení v modulu M1 provádělo jednou za pět let. Dále bychom chtěli oddělit hodnocení v různých segmentech. Vysoké školy, Akademie věd a resortní ústavy by byly hodnoceny v jiném roce. Tím pádem bychom se vyvarovali určitých problémů. Dále budeme usilovat o jednotný systém zveřejňování podkladů a výsledků,“ okomentoval změny Tomáš Polívka, přičemž uvedl, že obměna v periodicitě hodnocení odstartuje již v tomto roce. V letošním roce by se tak podle záměru a návrhu sbírala data do modulu M1 pouze pro vysoké školy.

Videozáznam z konference naleznete zde. 

Foto: Martin Kivader, Univerzita Karlova

Autor: Jan Michal (Vědavýzkum.cz)