Díky překladu z dílny Strategie AV21 se českým akademickým rybníkem šíří Leidenský manifest o měření výzkumu (český text | video). Český překlad tak přibyl k překladům do dlouhé řady dalších jazyků. Jde o deset stručných doporučení, jak používat nebo spíše nepoužívat bibliometrické indikátory k hodnocení vědy. Pro Česko, které před deseti lety nasedlo na celosvětovou vlnu posedlosti bibliometrií, jsou to zásady poučné. Jednou z hlavních příčin posedlosti bibliometrií v Česku je systémová neschopnost kombinovaná se skepsí a neochotou akademiků provádět hodnocení výzkumu jinak [1 | 2]. V sérii blogů se chci postupně zamyslet nad každým z doporučení ve světle zavedené české praxe, hlavně hodnocením výzkumných organizací.

Bylo by však obrovskou chybou Leidenské principy interpretovat tak, že bibliometrie je k ničemu, a že ji máme zahodit do koše. Opak je pravdou. Že by měla bibliometrie sloužit jako informační opora hodnocení vědy je ostatně zdůrazněno hned v úvodu prvního Leidenského principu, který dále komentuji.

A nebo jinak. Při každé kritice bibliometrie si nezapomeňme na jednu misku vah položit její levnost a rychlost (byť s nedostatky) a na druhou misku vah velmi drahé a velmi zdlouhavé hodnocení "peer-review" (navíc také s nedostatky). Házet celou bibliometrii do koše kvůli jejím nedostatkům, když nemáme v záloze reálně lepší alternativu, je velmi nezodpovědné. Někdy však je kritika bibliometrie spíše rafinovanou zástěrkou odporu k hodnocení VaV jako takovému.

1. Leidenský princip:  Kvantitativní hodnocení by mělo sloužit jako podpora kvalitativního, odborného posouzení. Kvantitativní měření může zabránit zaujatosti při „peer review“ a pomoci při rozhodování. To by mělo „peer review“ posílit, protože posuzovat kolegy bez dostatku relevantních informací je obtížné. Hodnotitelé však nesmějí být v pokušení přenechat rozhodování číslům. Indikátory by neměly nahradit informované posuzování. Všichni nesou odpovědnost za svá hodnocení.

Na začátek jedna poznámka. Celý Leidenský manifest, včetně jeho prvního principu, hovoří o hodnocení vědy, ale již nezmiňuje čeho konkrétně. Principy sice platí všeobecně, ale spolehlivost bibliometrie se výrazně liší podle úrovně a typu hodnocení. Při aplikaci principů je třeba rozlišovat, zda bibliometrii používáme pro hodnocení jednotlivých vědců, týmů, pracovišť, institucí nebo oboru jako celku na národní úrovni. Čím nižší a menší jednotka hodnocení resp. čím menší počet vědeckých výsledků zahrnutých do hodnocení, tím ošidnější je vypovídací hodnota bibliometrických ukazatelů.

Příkladů není nikdy dost

V dalším mít často na mysli hodnocení výzkumných organizací a jejich pracovišť. Tedy vyšší úrovně, kde je bibliometrie poměrně spolehlivá. Pro ilustraci uvedu pár z mnoha příkladů, ze kterých bude zřejmé, že čím nižší úroveň hodnocení, tím potřebnější je doprovodný dohled očí věci znalých hodnotitelů:

• Stává se to zřídka, ale i skvělý a posléze slavný objev se může objevit v provinčním časopise, což bibliometrie neodhalí. Naopak i nevýznamné články, někdy dokonce díky omylům, se mohou dostat do špičkového časopisu. Stává se to zřídka, ale stává.
• Spoluautorský přínos článku v některých oborech může mít pouze formu dodání místního vzorku dat (např. o pacientech) a málo již k výzkumu samotnému. To bibliometrie zpravidla odhalit nedokáže.
• Teoretické články se v průměru rodí déle než články empirické, zaobírající se měřením. Rozdíly v přirozené publikační frekvenci na autora tedy mohou být diametrální.
• I časopisy impaktované WoS dokáží šikovnou redakční politikou uměle navyšovat svůj impact faktor. Do takového detailu již zpravidla bibliometrické podklady nejdou a je na očích znalce, aby ověřil úroveň - tedy význam, vliv a náročnost daného časopisů.
• Neblahé publikování v redakčně spřáteleném nebo dokonce ve vlastních časopisech, včetně těch indexovaných WoS a Scopus, také spíše odchytí znalé oči hodnotitelů.
• Články typu meta-analýz, tedy přehledy existujících poznatků na dané téma, jsou zpravidla diametrálně více citované, byť jejich přínos často není tak velký, jak by se na základě citovanosti mohlo zdát. Jiní vědci si prostě rádi ve vlastních přehledech literatury usnadňují práci a odkazují se na meta-přehledy, aby je nemuseli dělat sami.
• Z žádného standardního bibliometrického ukazatele nevyčtete, za jakých materiálních, finančních a lidských podmínek výsledek vznikl. Stejně tak z nich nevyčtete, že pracoviště bádá v nově se formujícím oboru a zda by do něj mělo pracoviště svůj výzkum dále směrovat.

Kafemlejnek

Autoři Leidenského manifestu zmiňují příklady zemí, které podlehly pokušení číselného automatismu takto: Ve Skandinávii a v Číně přidělují některé univerzity finance na výzkum nebo odměny na základě čísel: kupříkladu přidělují zvláštní zdroje na základě skóre impaktu nebo udělují výzkumníkům odměny za publikaci v časopisech s impakt faktorem vyšším než 15. Slůvko 'zvláštní' skrývá skutečnost, že v těch zemích jde pouze o relativně malou část celkového balíku peněz. Pokud však někde ve světě existuje dokonalý příklad toho, jak podlehli pokušení přenechat rozhodování číslům, potom je to Česko se svým kafemlejnkem. Tak velké předání rozhodování bibliometrickým číslům asi nikde jinde na světě nenajdeme.

Proč autoři v manifestu Českou republiku nezmínili? Možná v obavě, že by něčemu tak extrémnímu soudní čtenáři ve světě nevěřili. Body z kafemlejnku (Hodnocení 2016), dominantně určované bibliometrií, totiž rozhodují o rozdělení skoro celého balíku institucionální podpory VaV mezi vysoké školy. A není to zdaleka vše. Body z kafemlejnku jsou velmi významným tzv. ukazatelem kvality, který dlouhé roky vstupoval do formulky pro rozdělení institucionální podpory vzdělávací činnosti na vysokých školách a také podpory na specifický výzkum (doktorandy). V současné době je sice systém hybernován ve stavu kam dospěl po letech aplikování kafemlejnkových bodů, ale co bude dál se teprve uvidí.

Divte se

Vysoké školy spolkly vládní kafemlejnek i s navijákem. Čísla z kafemlejnku na řadě z nich rozhodují od střech až po sklepy. Zajímalo by mě, co se asi honí hlavami mnohých vysokoškolských činovníků, když si v Leidenském manifestu čtou následující kritická slova údivu: Některá pracoviště požadují po kandidátech jejich H-index. Řada univerzit rozhoduje o povýšení pracovníků na základě jejich H-indexu a počtu článků publikovaných v časopisech s vysokým impakt faktorem. Výzkumníci, zejména v oblasti biomedicíny, se těmito skóre chlubí ve svých životopisech. V podstatě všude chtějí školitelé po doktorandech, aby publikovali v časopisech s vysokým impakt faktorem a získali externí financovaní ještě před završením studia.

První princip manifestu je trefně zakončen lakonickým, ale u nás široce přehlíženým či zlehčovaným konstatováním, že všichni nesou zodpovědnost za svá hodnocení. Zde je dlužno zmínit, že pokušení nechat rozhodovat čísla v Česku podivuhodně odolala Akademie věd.

A co nová Metodika 2017+?

Na první pohled se může zdát, že hodnocení podle nové Metodiky 2017+ se už prvnímu Leidenskému principu nepříčí. Bibliometrie v něm má být pojata jako zdroj podpůrných informací pro hodnotící panely. Teprve se však ukáže, jakým způsobem se bibliometrie promítne do rozhodování panelů a jak se pak zhodnocení promítne do financování.

Již letos, v rámci Hodnocení 2017*, se v rámci tzv. druhého modulu hodnotí pomocí bibliometrie. Pokud jde o zhodnocení badatelského výzkumu, nic jiného než bibliometrie a komentáře k ní ze strany panelů, možná použito nebude. Půjde o bibliometrické zprávy za obory, oborové skupiny v celé ČR. Tyto zprávy mají být podkladem pro zpracování zpráv za jednotlivé výzkumné organizace. To už ale nebude záležitost panelů, ale odboru pro VaV. Do jaké míry v tom bude hrát roli pouze bibliometrie, jakým způsobem a jak se do výsledků hodnocení promítnou další informace o materiálních a finančních podmínkách organizací a oborů, tak to se teprve ukáže.

Z materiálu Postup hodnocení výsledků v roce 2017 (str. 22)

* Hodnocení 2017 má probíhat ještě nemalou část roku 2018.

Autor: Daniel Münich

Článek byl publikován 26.2. 2018 na webu metodikahodnoceni.blogspot.cz.

Přečtěte si také aktuální blogy Daniela Münicha, v nichž průněžně píše o stavu Hodnocení 2017+ (1, 2, 3). O Leidenském manifestu jsme psali také zde. Podívejte se i na zprávu z konference, na které vystoupila Sarah de Rijcke, jedna z autorek Leidenského manifestu.