Blíží se nám polovina roku 2019 a Hodnocení'18, které má posoudit vědecké výsledky z roku 2017, se snad blíží do poločasu. Jde o druhý ročník zbrusu nového hodnocení podle tzv. Metodiky 2017+, která nahradila metodiky dřívější, známější pod názvem kafemlejnek. Od kola letošního se čekala mnohá poučení z kola minulého.
V případě Modulu 1 k některým dílčím zlepšením došlo. V případě realizace Modulu 2 se nabralo velké zpoždění a zatím se o nové podobě bibliometrických zpráv neví skoro nic.
Loňský první ročník hodnocení dle nové Metodiky 2017+ byl inzerován jako polo-závazná zkouška zbrusu nového systému institucionálního hodnocení výzkumných organizací. Zatímco základní kontury mají hlavu a patu, vypovídací schopnost většiny výsledků prvního běhu byla malá a někdy až zavádějící (více zde).
Průběh a výsledky Hodnocení'18 totiž odhalily řadu nedostatků. Ne náhodou měly výsledky hodnocení v akademické obci poměrně malý ohlas. Pokud jde o obsah i formu jejich zveřejnění [1|2|3|4] je totiž jejich interpretace složitá, nedostatečná a někdy dokonce zavádějící. Například o pozici (kvalitě a rozsahu) českého výzkumu v oborech ve světě nám toho moc neřekly.
Asi největší průšvih pak byl, jakým způsobem s výsledky Hodnocení'18 naložilo ministerstvo školství. Zpracovalo je totiž nesmyslně do agregátních publikačních profilů a jejich tvary potom převedlo do známek a finančního navýšení. Naštěstí navýšení dostatečně malého, že se to pro jednou asi přežije.
Aktuální stav hodnocení v Modulu 1
Hodnocení v tzv. Modulu 1 obnáší posuzování zhruba 10 % vybraných vědeckých výsledků hodnotiteli. Těm výsledky přiřazují členové panelů. Zatímco loni se hodnotil pouze společenský a ekonomický přínos výsledků, což je velmi těžké. Letos (tedy v Hodnocení'18) bylo možno nechat výsledky zhodnotit alternativně podle jejich přínosu vědeckého, což by mělo být o něco jednodušší.
Výrazným zlepšením proti loňsku je, že členové panelu si mohou přes web aplikaci navzájem koukat pod ruce a vidět, jak a komu kdo výsledky ke zhodnocení přiřazuje a jak se vyvíjí zpětná vazba od hodnotitelů. Technicky byla tato možnost letos spuštěna s výrazným zpožděním, ale buďme rádi za ní. Umožňuje naplnit a využít jeden za základních atributů panelového hodnocení.
Původní záměr Metodiky 2017+ byl, že složení panelů se bude postupem let internacionalizovat (Metodika 2017+ na str. 9 říká: Odborné panely budou podle možností, tedy tam, kde je to vhodné a účelné, tvořeny zejména nezávislými zahraničními odborníky. Zatím to tak vůbec nevypadá. Stejně tak většina hodnotitelů zůstávají Češi a případně Slováci. Jde také o mix vědců. s nevyrovnaným renomé. Někteří hodnotitelé, kteří se nechali nominovat, přistupuje k hodnocení laxně. Buď včas nedokončují hodnocení a nebo přidělené výsledky hodnotit odmítají. Hodně tedy závisí na dohledu a přísnosti předsedů panelů. Myslím si, že by Rada měla na proces výběru dělat systematičtěji a zpřísnit nároky. A chtělo by to větší důraz na internacionalizaci a tedy větší nezávislost, byť to samotné kvalitu hodnotitelů a panelistů nutně nezlepší.
Kvóty počtu vybraných výsledků (stanovené ještě na parametrech z kafemlejnku) zůstaly stejné jako loni. Organizace, které loni prokázaly výrazně vyšší kvalitu výsledků, měly bývaly mít kvótu zvýšenu a ostatní sníženu. Na druhé straně to nutí organizace se špatnými výsledky vyjít s nimi na světlo.
Zůstává problematické, že i letos musí hodnotitelé posuzovat společenský nebo ekonomických přínos výsledků spíše na základě předpovědí, než reality. Hodnocené výsledky z roku 2017 totiž byly do hodnocení zařazeny zhruba před rokem, takže těžko mohly být jejich reálné dopady něčím doloženy. Hodnocení dopadů by se prostě melo dělat s výrazně větším odstupem než jeden rok, třeba 3 až 5 let, kdy už je možno dopady vidět a doložit.
Jak teď vypadá hodnocení v Modulu 2?
Hodnocení v Modulu 2 - výkonnost výzkumu nese mnohem vznešenější název než je realita. V praxi totiž jde o posouzení pouhé podmnožiny výsledků - článků v časopisech na indexů databází Web of Science a Scopus. Informačním podkladem pro hodnocení českých vědních oborů a pracovišť mají být jako loni bibliometrické zprávy. Ty však dosud panely nemají k dispozici. Poslední informace říkají, že zprávy snad budou k mání koncem května. V minulém hodnocení panely přišly biblio zprávy také pozdě, ale bylo to již v únoru [1|2]. Doufejme, že i díky zpoždění bibliometrické zprávy doznají oproti loňsku výrazných zlepšení. Psal jsem o tom již dříve zde. Je totiž velmi žádoucí aby:
- byly výsledky vstupující do zpráv byly precizně ověřeny s pohledu existence, autorství a příslušnosti autorů k hodnoceným pracovištím,
- byl zohledněn autorský podíl hodnocených pracovišť,
- se zprávy oprostily od sledování mediánů impakt faktorů, což přináší více škod než užitku,
- byla oborová srovnání dělána vůči vybraným zemím EU a ne celému světu,
- zprávy podaly alespoň hrubou informaci o velikosti hodnocených organizací a jejich oborů po stránce lidských zdrojů,
- se z pravěké technologie zaZIPovaných tabulek přešlo na uživatelsky vstřícné interaktivní web-rozhraní. Inspirace již existujícími aplikacemi IDEA a FLÚ AV ČR se samy nabízí.
Pokud má název Modulu 2 - výkonnost výzkumu dostát slovům, musí se dořešit problém s tím, že se hodnocení v Modulu 2 i letos soustředí jen a pouze na časopisecké publikace v časopisech na indexech WoS a Scopus. Tím je na vedlejší kolej stále postaven výkon například oborů humanitních věd, jakoby opět neexistovaly, jejichž výsledku jsou dominantně publikovány formou monografií a časopisů, které na uvedených indexech nejsou. Zhodnotit výzkumné organizace v těchto oborech pouze pomocí Modulu 1 je totiž krajně nedostatečné.
Autor: Daniel Münich
Článek byl publikován na webu metodikahodnoceni.blogspot.cz.
