Stále běží horká fáze Hodnocení 2017 podle nové Metodiky 2017+. Jako člen jednoho z šesti odborných panelů sleduji cvrkot a dělím se o zkušenosti, názory a otázky, které visí ve vzduchu. Úvod pro méně znalé jsem sepsal v 1. dílu. V 2. dílu jsem popsal první dojmy, v 3. dílu praktické zkušenosti. Dnes shrnu dosud nabyté zkušenosti, jak jsem je zaznamenal.
O zkušenostech z dosavadního průběhu Hodnocení 2017 se hovořilo na nedávných konferencích v Olomouci a Praze. Těm, co se procesu hodnocení přímo neúčastní, možná pomohly pochopit složité detaily. Z toho, co zaznělo, vybírám dle mého soudu to nejdůležitější. Zbytek jsou spíše drobnosti a nebo ještě nějaký čas státní tajemství.
Hodnocení vědy je hračka
Že je hodnocení vědy hračka, že se dá pořídit za pár šestáků, a že se dá dělat smysluplně každý rok, tak to jsou iluze, na jejichž základě se zrodil kafemlejnek. Ty samé iluze ho ostatně stále udržují při životě na vysokých školách. Nový způsob hodnocení, dle Metodiky 2017+, má potenciál se od těchto iluzí odpoutat. Letos podle ní probíhá Hodnocení 2017 (ano, probíhá v roce 2018) a jde hlavně o pilotní ověřování. Praktické zkušenosti už odhalily mnohé, co bude třeba upravit. Bylo by však velkou chybou zjištěné nedostatky zapírat a nepoučit se z nich.
Připomínám, že hodnotící panely oborových skupin mají letos dva rozdílné úkoly: (i) okomentovat oborové bibliometrické zprávy a (ii) přiřadit vybrané tzv. nebibliometrizovatelné výsledky vzdáleným hodnotitelům. Detaily v blogu č.2.
Bibliometrie nás nespasí
Panelisté dostali desítky oborových bibliometrických zpráv a již k nim i sepsali připomínky. Zprávy se zatím nesmí zveřejnit a rozebírat zde něco, co nevidíte, dost dobře nejde. Mohu se tedy zatím pouze podělit o obecnější dojmy.
Pro bibliometrii je mimo jiné důležité srovnání, tedy existence vhodných benchmarků, aby čtenář získal představu o tom, co je málo a co je hodně. Jedním z benchmarků by měla být informace o relativní velikosti oboru vůči kulturně, velikostí a polohou srovnatelným zemím. Dalším benchmarkem by měl být počet vědců jednotlivých organizací, kteří se výzkumem v daném oboru zabývají. A třetím benchmarkem by měl být kvalitativní profil publikačního výkonu nám blízkých zemí, s vynecháním publikací v místně vydávaných časopisech, jejichž počty se ve WoS velmi liší. Ani sebelepší bibliometrické zprávy však nebudou představovat více než pouhou informační oporu pro oči znalých lidí. Kdo čeká, že bibliometrické zprávy řeknou konečné slovo, ten bude velice zklamán.
Popokatepetl a nebibliometrizovatelné výsledky
Jako problém se ukazuje interpretace škály (viz blog č.2), podle které mají hodnotit vybrané nebibliometrizovatelné výsledky (čti jiné výsledky než články v časopisech indexovaných WoS a Scopus). Problém zesiluje skutečnost, že vzdálení hodnotitelé jsou izolováni, každý si interpretuje škálu tak trochu po svém a panel už nemá šanci jejich verdikt korigovat. Zároveň hodnotitele k osobní zodpovědnosti nic moc nenutí, protože jejich verdikty zveřejněny nebudou (což je dobře). Stávající pravidla panelistům prostě vymezují spíše roli robota. Panely nejsou vybaveny kolektivní zodpovědností sjednotit hodnocení výsledků podle stejně přísného metru, tedy možnosti posudky a návrhy hodnotitelů korigovat.
Jednoho překvapí, že nemálo hodnotitelů výsledky odmítá hodnotit, neplní termíny a nebo dokonce vůbec nereaguje. Někteří, zdá se, ani pořádně nevěděli, že je před časem jejich organizace jako hodnotitele nominovala. Přitom má být práce hodnotitelů solidně honorována. Má-li se do budoucna tým hodnotitelů internacionalizovat, pak to bude chtít hodně pečlivosti při jejich výběru a kvalitní vysvětlování, co se od nich vlastně čeká.
Ve vzduchu také visí otázka, zda by se do hodnocení společenské relevance nemohly do budoucna předkládat i bibliometrizovatelné výsledky. Nikde totiž není napsáno, že bibliometrizovatelné výsledky (články v časopisech indexovaných WoS a Scopus) nemohou být společensky relevantní a že obsahují jen a pouze přínos poznání. Na konferenci padla mimo jiné stará známá naivní otázka, kdy už někdo konečně definuje rozdíl mezi základním a aplikovaným výzkumem. Nikdo soudný to dosud neudělal, protože ta hranice je velmi rozmazaná. Striktní dělení na základní a aplikovaný výzkum, na které jsme si u nás díky kafemlejnku zvykli na základě typologie výsledku (článek, kniha, patent, užitný vzor), v reálně praxi nedává moc smysl.
Každopádně je nejvyšší čas posbírané zkušenosti analyzovat a zužitkovat je v pravidlech pro Hodnocení 2018, jehož záložka se musí co nevidět objevit na webu.
Autor: Daniel Münich
Článek byl publikován na webu metodikahodnoceni.blogspot.cz.
