Leidenský manifest Česku (4.díl)

4. 4. 2018

Deset principů Leidenského manifestu vysvětluje, jak by se měla a neměla používat bibliometrie k hodnocení vědy. Principy nastavují kritické zrcadlo dosavadní české praxi. Přináším další v řadě [1|2|3] krátkých zamyšlení nad dalším principem. Čtvrtý Leidenský princip hovoří o potřebě transparentních dat pro hodnocení vědy. Tento princip se na národní úrovni dosud poměrně dobře dodržoval, na rozdíl od prvních tří. Krapet se však bojím, zda tomu bude i nadále.

4. Leidenský princip: Sběr a analýza dat by měly být otevřené, transparentní a jednoduché. Tvorba databází potřebných pro hodnocení by se měla řídit jasnými a dopředu stanovenými pravidly. Po desítky let to byla běžná praxe akademiků a komerčních skupin, které se podílely na tvorbě metodologie bibliometrických hodnocení. Tyto skupiny se odkazovaly na metodiky publikované v recenzovaných časopisech. Taková transparentnost umožňovala pečlivý dohled. Nikdo by neměl akceptovat hodnocení, jehož mechanismus není transparentní. Jednoduchost je předností indikátoru, protože umožňuje transparentnost. Zjednodušující měření však může zkreslit data (viz princip 7). Hodnotitelé musejí usilovat o rovnováhu – používat jednoduché indikátory, které vystihují složitost výzkumného procesu.

Mocný RIV

Transparentnost, otevřenost a jednoduchost sběru a analýz bibliometrických dat byly v Česku dosud možná až překvapivě dobře zajištěny. Informace o výsledcích výzkumu a vývoje (VaV) takto celonárodně pěkně pohromadě v zahraničí totiž většinou nemají. Pravidla pro naplňování databáze RIV (Registr Informací ve Výzkumu) sice nejsou známá v době kdy výzkum probíhá, ale jsou jasná v okamžiku, kdy se výsledek do RIVu vkládá. Takže až sem fajn.

Nemocný kafemlejnek

Něco jiného pak jsou pravidla, podle kterých se dosud každoročně bodovaly vybrané výsledky z RIVu, čemuž se zvyklo říkat kafemlejnek. Tam už to tak transparentní nebylo. Například:

Nebylo a není kde zkontrolovat výpočet relativního pořadí časopisů podle jejich impakt faktorů (IF), ani zda bylo zohledněno pravidlo o redukci sebecitací (str. 31).

Graf munich

Není jasné, zda byl u výsledků naplněn požadavek, že autor měl uvedenu afiliaci vykazující organizace a zda byla naplněna podmínka, že měl autor u dané organizace v době realizace výzkumu pracovně-právní vztah, jak požaduje metodika (str. 5).

grafmunich2

Výsledky Hodnocení jsou veřejnosti dostupné pouze jako zavěšené Excel tabulky za jednotlivé výzkumné organizace. Je proto extrémně obtížné (pro běžné smrtelníky nemožné) ověřit, zda byly správně stanoveny korekční koeficienty při výpočtu bodů a zda byl ten který výsledek správně rozdělen mezi výzkumné organizace.

Zpropadeně nevytěžená data

Zde je dobré připomenout, že problém kafemlejnku rozhodně nespočívá v tom, že je založen na datech. Naopak je skvělé, že ta data jsou pohromadě. Problém dokonce není ani v tom, že se poměřují počty články podle impaktu časopisů, kde články vyšly. Problém kafemlejnku totiž spočívá v tom, že:

Bibliometrické informace jsou slepě převáděny na finanční body, za které potom ministerstvo školství vysokým školám slepě posílá peníze na podporu vědy a vzdělávací činnosti. Ne náhodou 4. Leidenský manifest říká, že: Hodnotitelé musejí usilovat o rovnováhu – používat jednoduché indikátory, které vystihují složitost výzkumného procesu. Hovoří tedy o hodnotitelích jako uživatelích bibliometrických ukazatelů. Ti jsou potřební proto, aby případně odhalili zjednodušující měření zkreslující data. Takovým zjednodušeným měřením je relativní pořadí časopisů podle jejich impakt faktoru nebo prostý součet článků v neimpaktovaných časopisech. Důležití hodnotitelé ale v prvním a zdaleka nejdůležitějším pilíři kafemlejnku absentovali.
Velmi cenná data o publikačních výsledcích zůstávají informačně nepochopitelně nevytěžována. Například informace o oborových publikačních profilech, které se dají konstruovat právě jen díky existenci dat z Hodnocení (ne bodů!), jsou velmi cenné a namnoze představují jediný solidní zdroj informací o úrovni základního výzkumu na pracovištích podle oborů v ČR.

Co s námi bude

Již nějakou dobu si však kladu otázku, zda budou výše uvedená data dostupná i poté, co bylo kafemlejnkové bodování ukončeno. Například v rámci probíhajícího Hodnocení 2017 už u výsledků informace o autorských podílech jednotlivých pracovišť nebyla. Víte někdo, zda se třeba ověřovalo, že autoři článků byli v době vzniku výsledku skutečně pracovníky hodnocených výzkumných organizací a zda bylo zkontrolováno uvádění afiliací autorů u výsledku?