Začíná se psát rok 2018 a začíná horká fáze Hodnocení 2017. Zítra (4.1.2018) se totiž poprvé sejde hodnotící panel pro oblast společenských věd, jehož jsem členem. Hodnocení'17 má poprvé probíhat podle nové Metodiky 2017+. Podle původního harmonogramu (str. 25) měla horká fáze hodnocení začít již v létě 2017 a výsledky Hodnocení'17 měly být projednány a schváleny Radou již v polovině prosince 2017. Jak už ale u nás bývá zvykem, harmonogram hodnocení nabral řádné zpoždění.

Do nového hodnocení jsou ale i nadále vkládány jisté naděje, že nahradí pochybný kafemlejnek. Jak to ale všechno nakonec dopadne se teprve uvidí. Hodnocení'17, to co právě začíná, je totiž hodně osekanou verzí plnohodnotného hodnocení, do kterého by se mělo vyvinout během několika let.

Panely

Pro hodnocení budou klíčové tzv. odborné panely, celkem 6. Panely budou výzkumné organizace hodnotit jednak na základě vybraných nejlepších tzv. bibliometrizovatelných výsledků (tzv. Modul 1) a dále na základě bibliometrických ukazatelů výsledků (bibliometrizovatelných) - tzv. Modul 2.

Nebibliometrizovatelné výsledky

Letos se mají formou peer-review budou hodnotit pouze tzv. nebibliometrizovatelné výsledky VaV. Tedy všechny druhy výsledků základního či aplikovaného výzkumu, kromě "bibliometrizovatelných" článků v časopisech a sbornících indexovaných datábázemi WoS a Scopus. Své nejlepší nebibliometrizovatelné výsledky předkládaly výzkumné organizace loni (2017) v létě. Má jít pouze o výsledky z roku 2016. Každá organizace mohla předložit maximálně 10 % nebibliometrizovatelných výsledků. V Hodnocení'17 se bude hodnotit pouze společenská relevance výsledků. V letech dalších se má hodnotit navíc i jejich přínos k poznání.

Hodnotitelé

Odborné panely nejdříve výsledky přidělí tzv. hodnotitelům, ke každému výsledku dva. Hodnotitelů musí být mnohem více než panelistů a nikdy se navzájem neuvidí ani neuslyší. Pouze na dálku přidělené výsledky zhodnotí, oznámkují a známku odůvodní. Letos jsou hodnotitelé dominantně našinci. V dalších letech ale mají dominovat cizinci. Pokud se to má stihnout, už aby se pomalu začali shánět...

Panelisté posléze informace od dlouhé řady hodnotitelů nějakým způsobem shrnou. Částečně podle pravidel, částečně podle své úvahy a nalezené shody. Hodnotící náročnost panelů by měla být stejně přísná. Jak to bude zajištěno jsem docela zvědav.

Odborné panely a hodnotitelé mají mít k dispozici internetovou aplikaci pod názvem POPR. Zatím jsme jí neviděli, ale že by možná zítra?

Bibliometrizovatelné výsledky

Jak bude bibliometrická zpráva vypadat zhruba naznačuje původní dokument. Nakolik to bude srozumitelné, přehledné a informativní se teprve uvidí. V jistém ohledu by to mohlo vypadat jako naše web udělátko. Bibliometrické zprávy měly být na světě již v září 2017, ale něco se asi někde seklo. Odborné panely však bibliometrické zprávy pouze písemně okomentují.

A co potom

Shrnutím zhodnocení nebibliometrizovatelných výsledků a komentářů bibliometrických ukazatelů role odborných panelů a hodnotitelů do velké míry skončí. Výsledky předají sekci pro VaV na Úřadu vlády. Tam se z toho nějak (zatím netuším jak) vyrobí zprávy za jednotlivé výzkumné organizace (ale i obory). Nad těmito zprávami proběhne jednání s dotyčnými výzkumnými organizacemi, kde budou kromě mnoha dalších přítomni i předsedové a členové odborných panelů. S ohledem na absurdně vysoký počet organizací u nás to nebude žádná legrace. Výsledkem jednání bude známka udělená výzkumné organizaci jako celek. Napadá mě zde podobně jako vás spousta otázek, ale nechám si je na příště.

Shrnutím zpráv za VO vzniknou navíc zprávy pro úroveň poskytovatelů (MŠMT, AV ČR, MPO, atd). Tato zpráva bude podkladem pro jednání sekce pro VaV s dotyčným poskytovatelem.

Pokud by to tímto vše skončilo, nedošli bychom o moc dál než s kafemlejkem. V dalších letech mají být však navíc zavedeny další 3 moduly hodnocení:

Modul 3: Společenská relevance (jiná než v Modulu 1)
Modul 4: Viabilita (kvalita řízení)
Modul 5: Strategie a koncepce

Toto hodnocení ale mají dělat již sami poskytovatelé, nikoliv odborné panely při Úřadu vlády. Připraven je na to dnes pouze jeden z poskytovatelů a to Akademie věd. Druhý klíčový poskytovatel, MŠMT, měl podle původního harmonogramu do konce prosince 2017 vládě předložit příslušnou prováděcí metodiku hodnocení. Nevím o tom, že by se tak stalo, ani že by se na úrovni akademické obce vysokých škol něco takové projednávalo. Zatím jsou jen náznaky.

Úvahy

Uvažuji o tom, co se bude zítra na prvním zasedání našeho odborného panelu dít. Odhaduji, že dostaneme podepsat slib mlčenlivosti, přiznání o znalosti pravidel konfliktu zájmů a dohodu o pracovní činnosti. Budu mile překvapen pokud obdržíme i bibliometrické zprávy a dostaneme přístup do informačního systému POPR.

Každopádně odhaduji, že pokud bude Hodnocení 2017 úspěšně dokončeno, bude to přinejmenším s půlročním zpožděním někdy v létě 2018. Ale určitě lepší později než nikdy. Když se navíc zároveň podaří připravit rozšíření Hodnocení 2018 (které ani nevím kdy začne, protože o něm na webu není ani slovo), bude to ještě lepší. Ale také se vše může politicky či z úřední nefunkčnosti zaseknout a dojít k návratu k kafemlejnku.

Autor: Daniel Münich

Článek byl publikován 4. 1. 2018 na webu metodikahodnoceni.blogspot.cz.