Co nám dalo Hodnocení'17

Hodnocení'17 je téměř dokončeno. Šlo o první ročník podle nové Metodiky 2017+. Šlo o kolo veskrze ověřovací. Získané zkušenosti jsou mnohem cennější než výsledky samotné. Teď ještě aby vládní Úřad pro výzkum a ministerstvo školství s vedením vysokých škol dokázali z výsledků Hodnocení'17 něco smysluplného vyčíst. Lehké to nemají. Ale hlavně je třeba se z Hodnocení'17 poučit.

O průběhu Hodnocení'17 víte z předchozích blogů [1|2|3|4]. Týkalo se pouze vědeckých výsledků z roku 2016 a výsledky mají podobu:

Bibliometrických zpráv za obory
Bibliometrických zpráv za výzkumné organizace
Zprávy z peer-review vybraných 'nebibliometrizovatelných' výsledků

Bibliometrické zprávy za obory

Psal jsem o nich zde. Jsou zajímavé, ale nic zásadně nového a užitečného z hlediska hodnocení oborů myslím nepřináší. Až příliš pozornosti zprávy věnují tvaru kvalitativního profilu publikací. Tvar profilu je však do velké míry určen podílem publikací malého významu v málo vlivným časopisech. Takové články je stejně snadné levně produkovat (když se za ně počítají čárky), jako je snadné je do hodnocení přestat hlásit, když se tvar profilu nějakým omylem stane důležitým ukazatelem kvality oboru či pracoviště.

Znát kvalitativní profil oboru v ČR je tedy sice zajímavé, ale nesmí se vydávat za ukazatel kvality oboru. Byla by to podobná chyba jako nerozlišovat mezi rychlostí a zrychlením. A když už české oborové profily s něčím srovnávat, pak s vhodně vybranými evropskými zeměmi, po zohlednění jejich rozdílných velikostí. Například jako v těchto on-line aplikacích [1|2] Srovnání se zbytkem světa, jak to je ve zprávách z Hodnocení'17, mi prostě informativní a užitečné nepřipadá.

Srovnání kvalitativního publikačního profilu ČR se zbytkem světa nám o kvalitě (produktivitě) českého oboru nic neřekne. (https://hodnoceni17.rvvi.cz/www/biblio-obory)

Profily jsou navíc v některých oborech zkresleny tím, že nebyly zohledněny autorské podíly na článcích. Příští rok v rámci Hodnocení'18 by zrovna tohle mohlo být již ošetřeno. A raději se už nevrtám v tom, že příslušnost autorů k dané organizaci a uvedení patřičné afiliace autorů v otištěném článku se před zpracováním bibliometrických zpráv asi moc nekontrolovalo.

Jako další věc k zamyšlení je nepřehlednost zpráv. Probírat se desítkami PDF dokumentů, navíc zabalených v ZIP balících, stovkami stránek, kde jsou informace velmi neúsporně a namnoze zdvojeně poskládány, je obtížné a nepřehledné. Interaktivní aplikace jako tato by byla pro uživatele mnohem přehlednější, umožnila by mnohem více parametrických nastavení, voleb oborového členění a způsobů započítávání autorských podílů.

Bibliometrické zprávy za organizace

Ve starším blogu jsem podrobněji vysvětlil jejich drobnější nedostatky jako jsou nezohledněné autorské podíly na článcích a nerozlišené velké autorské kolaborace. V nadcházejícím Hodnocení'18 by to mohlo být snadno ošetřeno.

Jistá informační hodnota srovnání oborového kvalitativního publikačního profilu organizace se světem je užitečná v tom, že odhalí neúměrně vysoké soustředění organizace na nevýznamný a potenciálně málo kvalitní výzkum. Vysoký podíl málo významného výzkumu však nutně neznamená, že daná organizace je v oboru špatná a neefektivní. To je totiž dáno něčím jiným - počtem (nikoliv podílem) výsledků ve špičkových časopisech v poměru k velikosti pracoviště. O velikosti pracovišť v hodnocených oborech však ve zprávách informace není. Takže o kvalitě pracovišť (efektivitě) zprávy vlastně nic nevypovídají.

Je na níže uvedeném grafu Univerzita Karlova (UK) v oboru basic medicine dobrá či špatná proto, že má v 1. a 2. kvartilu menší podíl publikací než ve zbytku světa? To se nedá říci! Museli bychom vědět, kolik špičkových článků to vlastně představuje, kolik vědců se na UK výzkumem v tomto oboru zabývá a kolik peněz na bádání v tomto oboru UK dává, jak na tom UK je ve srovnání se zbytkem ČR.

Příklad srovnání kvalitativního publikačního profilu Univerzity Karlovy v oboru 'basic medicine' se zbytkem světa. O kvalitě (produktivitě) organizace UK to bohužel nevypovídá vůbec nic. (https://hodnoceni17.rvvi.cz/www/biblio-vo)

Jako zbytečné až zavádějící považuji srovnávání mediánů AIS (Article Influence Score časopisů) českých organizací se světem. Bibliometrické zprávy tomu však zbytečně věnují velký prostor.

Srovnávání národních a světových mediánů AIS dané organizace jsou k ničemu. Důvody rozdílů mohou být totiž velmi různé. (https://hodnoceni17.rvvi.cz/www/biblio-vo)

Užitečný je ve zprávách ukazatel o počtu špičkových publikací v určitém oboru a podíl, jakým ta která organizace přispívá k celkovému špičkovému publikačnímu výkonu celé ČR. Trochu paradoxně však tento údaj člověk nenajde ve zprávě za danou organizaci, ale ve zprávě oborové. Psal jsem o tom podrobně již v létě'18.

To, jak ta která organizace přispívá k celkovému špičkovému publikačnímu výkonu celé ČR, člověk paradoxně musí hledat v oborové zprávě. Ve zprávě za organizaci to nenajde. (https://hodnoceni17.rvvi.cz/www/biblio-obory)

Ve zprávách nejsou informace o velikosti organizace v daném oboru (co do počtu vědců či objemu finanční podpory). Pokud deset článků ve špičkových časopisech vykáže malé pracoviště s deseti vědci, je to přece něco úplně jiného, než když jde o velké pracoviště se stovkami vědců. Ze zpráv to nevyčteme.

Na vysokých školách existuje očekávání, že na základě bibliometrických zpráv z Hodnocení bude možno smysluplně rozdělovat peníze institucionální podpory mezi vysoké školy a mezi jejich součásti. Technicky to jistě nějak půjde, ale logiku to mít nebude. I kdyby se na základě výsledků Hodnocení'17 rozhodovalo pouze o navyšování prostředků:

Navýšení by se muselo dělat podle podílů vysokých škol na špičkových publikacích v oboru (viz tabulka výše), nikoliv na základě tvaru publikačního profilu.
Navýšení by se muselo dělat oborově. Sčítat publikační profily napříč obory by totiž bylo jako prodávat melouny a borůvky za jednu cenu od kusu.
Pro navyšování by musela být známa výchozí základna té které vysoké školy v tom kterém oboru. Tedy jak velký je na dané vysoké škole případně fakultě ten který obor, buď co do počtu vědců nebo dosavadní finanční podpory. Jenže to se dnes neví a zprávy o tom mlčí. Výchozí základna by se zhruba dala odhadnout, paradoxně díky kafemlejnku. Jak MŠMT, tak většina VŠ, totiž doposud rozdělovala peníze podle kafemlejnku, přesněji podle bodů za výsledky zařazené do oborů. Do budoucna to ale možné nebude, protože MŠMT s kafemlejkem skončilo a vysoké školy budou muset skončit také. Smysluplný systém rozdělování finanční podpory mezi vysoké školy bude tedy do budoucna vyžadovat, chtě nechtě, zavedení systému ve vykazování počtu vědeckých pracovníků podle oborů nebo alespoň hrubé odhady rozdělení finanční podpory mezi obory v rámci vysokých škol. Ani to však nebude to pravé ořechové, protože rozdělování veřejné podpory by se mělo řídit i jinými hledisky než je oborová produktivita pracovišť. Třeba veřejný zájem na existenci některých vědních oborů nebo oborů nových.

Zprávy z peer-review vybraných 'nebibliometrizovatelných' výsledků (link)

Připomínám, že šlo pouze o 'nebibliometrizovatelné' výsledky z roku 2016, tedy vše, co nepředstavovalo články v časopisech indexovaných databázemi WoS a Scopus. Navíc se hodnotila pouze společenská relevance výsledků (komerční nebo společenské užitečnosti), nikoliv vědecký přínos. O práci panelů a vzdálených hodnotitelů jsem již psal podrobně. Jde jednak o zprávy za oborové skupiny a potom souhrn za všechny skupiny.

Zdroj: https://hodnoceni17.rvvi.cz/www/nebiblio

Tento způsob hodnocení jde správným směrem. Avšak vypovídací hodnota výsledků z prvního kola Hodnocení'17 je dost omezená:

Zhodnocených výsledků bylo pouze 1 500. To je dost málo na celou Českou republiku, kde působí více než stovka výzkumných organizací a kde v roce 2016 vznikly desítky tisíc vědeckých výsledků. Většina organizací tak předkládal pouze jednotky, maximálně desítky výsledků. Ale zhodnocených výsledků by mělo každým dalším rokem přibývat. Nízká kvóta počtu výsledků založená na počtu čárek organizací v opuštěném kafemlejnku však nedala dobrým pracovištím možnost ukázat vše dobré co mají. Na druhé straně to přinutilo špatné organizace, zaměřené na nekvalitní kvantitu, odhalit karty. Do budoucna by organizace, které prokázaly vyšší kvalitu výsledků, měly mít zvýšenu kvótu předkládaných výsledků, a naopak. Prověření systému hodnocení bylo jistě užitečně.
Je třeba připomínat, že výsledky se daly hodnotit pouze z pohledu potenciální, tedy odhadované budoucí společenské relevance (komerční nebo společenské užitečnosti). V zimě 2018 totiž šlo o celkem nedávné výsledky (z roku 2016), které většinou neměly čas svou užitečnost prokázat. Bylo to dost věštění z křišťálové koule. Lepší by bylo do budoucna společenskou relevanci výsledků hodnotit s odstupem 4-5 let.

Letopočtový hokej

Desatero doporučení jak zlepšit bibliometrické zprávy jsem popsal na konci zářijového blogu. Mohla by se promítnout do dalšího kola Hodnocení'18 podle Metodiky 2017+, které proběhne v roce 2019 a bude hodnotit mix výsledků publikovaných v letech 2016 a 2017. Trošku letopočtový hokej, že. Prováděcí principy Hodnocení'18 totiž byly schváleny poměrně nedávno a konec roku 2018 je na spadnutí. Ale to vše je nakonec vedlejší. Mnohem důležitější je, zda a jak se získané doposud získané zkušenosti zužitkují.

V dokumentech z posledních dvou jednání RVVI [1 | 2] najdeme dva, které popisují, jak má Hodnocení'18 vypadat. Dá se z nich odhadovat, co se proti Hodnocení'17 změní. Vylepšení tam zřejmě budou, ale zásadnější změny asi ne. Provětrám to tedy v nějakém z příštích blogů.