Prof. Jiří Málek, který kdysi prosadil dodnes používanou verzi kafemlejnku dle tzv. Metodiky 2013-2016, letos publikoval článek o tom, jak "hodnotit kvalitu a výkonnost výzkumu na univerzitách" pomocí bibliometrických ukazatelů. Ačkoliv se hned v úvodu článku kriticky zmiňuje o sčítání bodů z kafemlejnku, v článku navrhuje to samé jen v bledě modrém. Pouze svůj přístup zamlžil zdánlivě složitým vzorcem.
Akční vláda v demisi
Končilo jaro roku 2013 a Jiří Málek, tehdy místopředseda Rady vlády pro VaV, vedl její poradní Komisi pro hodnocení výsledků výzkumných organizací (KHV). KHV tehdy dokončila návrh dalších záplat neskutečně děravé Metodiky 2011. Například šlo o a zrušení paušálního hodnocení knih a zavedení jejich peer-review hodnocení, o zavedení hodnocení vybraných výsledků ve 2. pilíři a o výrazné omezení uznávaných typů výsledků v některých oborových skupinách. S vládním schválením Metodiky 2013 to ale tehdy vypadalo špatně. Vláda Petra Nečase totiž tehdy měla spoustu jiných starostí než nějaké hodnocení VaV. Když vláda po zásahu policie na Úřadu vlády podala 17. června demisi, vypadalo to, že je s Metodikou 2013 konec. Jaké bylo překvapení, když vláda v demisi 19. června Metodiku nejen schválila, ale rovnou s prodlouženou platností až do roku 2015. Také proto se jí říkalo Metodika 2013-2015. Role Jiřího Málka v přípravě a schvalování Metodiky byla tehdy myslím poměrně klíčová. Kosmetickými úpravami harmonogramů z Metodiky 2013-2015 vznikla později ještě Metodika 2013-2016. Ale to jen nedávná historie.
Příprava nového hodnocení VaV na vysokých školách
Jiří Málek od letošního jara vede pracovní skupinu České konference rektorů (ČKR), která má přizpůsobit Metodiku 2017+ pro potřeby hodnocení vysokých škol. Na jaře v Buletinu, příloze časopisu Chemické listy (impaktovaný WoS s hodnotou impakt faktoru 0,387), publikoval článek Jak hodnotit kvalitu a výkonnost výzkumu na univerzitách? Článek obsahuje návrh a ukázku, jak pomocí bibliometrických ukazatelů hodnotit kvalitu a výkonnost výzkumu na univerzitách. Ačkoliv se hned v úvodu článek kriticky zmiňuje o sčítání bodů z kafemlejnku, navrhuje to samé v bledě modrém. Jediný rozdíl je, že výpočet je okořeněn ledabyle popsanými vzorci, což tuto skutečnost běžnému čtenáři zastírá. Pokud má být tohle podstatou nového hodnocení VaV na VŠ připravovaného pracovní skupinou ČKR, pak se vítej již téměř odepsaný kafemlejnku!
Vzorečky jako kouřová clona
Popis vzorečků v článku obsahuje neurčitosti, které si musí čtenář domyslet sám. Zde se snažím o vysvětlení vzorečků bez těchto neurčitostí a navíc s vysvětlením, proč jde o převlečený kafemlejnek. Jiří Málek nejdříve definuje publikační profil Xi instituce i v určité oborové skupině OS podivně dlouhým vzorečkem:
kde N1D, N2D,..., N10D, jsou počty článků instituce i v dané oborové skupině OS v příslušné decilové skupině časopisu 1 až 10 stanovené dle hodnoty jeho impakt faktoru v rámci oboru (WoS Category), kam je časopis zařazen. Už zde je několik problémů:
- Xi profilem není, protože jde o jedno jediné číslo za instituci v oborové skupině OS.
- Do počtů N1D, N2D,..., N10D se počítají články ze všech oborů dané oborové skupiny OS. Tím se dohromady míchají obory s velmi odlišnou publikační praxí, tedy především s odlišnou přirozenou publikační frekvencí.
- Ani náznakem není zmíněno, odkud se ve formulce vzaly hodnoty vah 200, 100, ... 5, 1. Jde však o starou známou kafemlejnkovou konvexní bodovou funkci (popsanou v poslední Metodice 2013-2016 v příloze na str. 39). Jediný rozdíl je, že zde nejde o spojitou funkci relativního pořadí časopisu, ale o nespojité hodnoty pro každý decil zvlášť. Jasně to je vidět v níže uvedeném grafu. Naplno to vynikne v posledním matematickém kroku.
Aby Jiří Málek získal hodnotící údaj za celou instituci i v dané oborové skupině OS, přenásobí výše uvedenou hodnotu Xi poměrem Ni/Nos, tedy podílem počtu článků dané instituce ve všech oborech dané oborové skupiny OS na všech výsledcích v zemi v oborové skupině OS:
Když si to však rozepíšeme, výraz vypadá takto:
Součet v čitateli závorce není tedy nic jiného, než součet kafemlejnkových bodů dané instituce za články ve všech oborech dané oborové skupiny OS. Že je závorka vydělená Nos (celkovým počtem článků v Česku v dané oborové skupině OS) je zcela irelevantní. Jde totiž o konstantu pro celou srovnávanou oborovou skupinu OS. Taková konstanta při srovnávání různých institucí v oborové skupině OS mezi sebou navzájem nehraje vůbec žádnou roli. Roli hrají opět jen staré známé kafemlejnkové body v závorce v čitateli.
V článku následně uvedené grafy ukazují hodnoty ukazatele Pi pro různé instituce, kde se dělá chemie. Jde tedy o prachobyčejné srovnání kafemlejnkových bodových výnosů. Zastřeno je to pouze několika zdánlivě sofistikovanými matematickými vzorci.
Kromě již zmíněného problému se sčítáním hrušek a jablek z oborů s různou publikační frekvencí je zde i další klasický problém kafemlejnku. Srovnání pomocí Pi umožňuje, aby hodnocená instituce snadno navyšovala hodnotu Pi vysokou kvantitou článků. V Česku se to dělá publikováním článků ve vlastním či spřízněném lokálním a světu vědy neznámém časopise. Příště si zde tedy posvítíme na jeden takový, vydávaný shodou okolností Univerzitou Pardubice. Oblíbeným se stává také publikování v obskurních zahraničních časopisech, které díky pochybným citačním praktikám vygenerovaly vysoké impakt faktory.
V úvodu článku Jiří Málek píše
Hodnocení realizované doposud v ČR v rámci platného Zákona o podpoře výzkumu (130/2002 Sb.) bylo založeno na sumární bodové hodnotě za jednotlivé typy výsledků bilancované na úrovni součástí jednotlivých výzkumných organizací. Zejména v pozdějších fázích tohoto hodnocení byly akcentovány především impaktované publikace indexované v databázích Web of Science nebo Scopus. Kumulativní součty bodů pak byly některými považovány za obdobu žebříčků výkonnosti a kvality v českém prostředí. Spíše však se jednalo o měřítko velikosti instituce a jejího úhrnného publikačního výkonu bez výraznějšího oborového zohlednění kvality.
Nemohu si pomoci, ale srovnání institucí a jejich pracovišť v oborové skupině 09-Chemie, které Jiří Málek v tomto článek propaguje, je přesně tím, co v tomto úvodu kritizuje.
Autor: Daniel Münich
Článek byl publikován 30. 11. 2017 na webu metodikahodnoceni.blogspot.cz.
Přečtěte si také náš nedávný rozhovor s Jiřím Málkem nejen o hodnocení vědy a Metodice 2017+.
