Bibliometrické zprávy pro Hodnocení 2017 výzkumných organizací byly zveřejněny. Jsou zajímavé, ale nakonec se z nich toho moc nedozvíme. Srovnání publikačního výkonu oborů a organizací bez znalosti jejich zdrojů toho moc neřekne. Publikační profily podle vlivu vědeckých článků by informovaly o zacílení na špičkový výzkum, kdyby nebyly ovlivněny řadou dalších, bohužel neodlišených faktorů.
Zajímavá je informace o podílu organizací na článcích v nejvlivnějších časopisech, ale i tam se nedostává informací o velikosti pracovišť.
Hodnocení na základě bibliometrických ukazatelů představuje jeden ze dvou pilířů hodnocení [1 |2 |3] výzkumných organizací v roce 2017 podle nové Metodiky 2017+, které vesele běží ještě teď v polovině roku 2018. Poměřováno dosavadní praxí data-na-hromadě jde jistě o posun kupředu. Je ale třeba včas tlumit přehnaná očekávání. Bibliometrické zprávy nám toho v jejich současné jednoduché podobě o výsledcích českého výzkumu a organizacích zas tak moc neřeknou.
Existují celkem tři druhy bibliometrických zpráv: (i) oborové, (ii) za skupiny oborů, (iii) za výzkumné organizace. První dvě již lze vidět, třetí právě připomínkují výzkumné organizace. Obsah zpráv bych zde mohl komentovat až do konce života. Mnohé si ale můžete přečíst v komentářích hodnotících panelů. Takže se dotknu jen zásadních věcí. I tak je toho dneska na čtení poměrně dost.
Tajemství publikačních profilů
Bibliometrické zprávy obsahují výhradně informace o publikačním výkonu, tedy o počtu článků v Česku působících autorů v časopisech indexovaných světovou databází WoS. Je třeba předeslat, že tento výkon ani náznakem nevypovídá o publikační produktivitě, kterou by většina čtenářů chtěla znát především. Publikační produktivita je totiž publikační výkon vztažený ke zdrojům, tedy k finančním prostředkům a lidským zdrojům - počtu vědců. O tom se však ve zprávách nedočteme ani náznakem.
Dominantní součástí zpráv je srovnání oborů a organizací v oboru formou publikačních profilů se zbytkem světa. Jeden takový profil, pro obor Basic Medicine, vidíte níže. Do oboru jsou zařazeny časopisy z deseti* menších podoborů WoS. Profil ukazuje procentní podíly článků ve skupinách vědeckých časopisů oboru podle oborově specifického vědeckého vlivu časopisů. A vědecký vliv časopisů je potom odvozen od hodnot citačního indexu Article Influence Score (AIS). Časopisy jsou podle hodnot AIS rozděleny do čtyř stejně velkých skupin (kvartilů). V prvním kvartilu se nachází nejvlivnější časopisy oboru na světě, ve čtvrtém kvartilu nejméně vlivné. Navíc jsou jako úplná špička rozlišeny časopisy v horních deseti procentech časopisů - I. decil.
Výše uvedený profil nám samozřejmě neřekne nic o tom, zda publikační výkon Česka odpovídá výši finanční podpory a počtu lidských zdrojů v něm soustředěných. Na druhé straně ale profil jasně odhaluje, že české výzkumné organizace publikují v nejméně vlivném IV. kvartilu časopisů WoS mnohem intenzivněji (36 % článků) než zbytek světa (jen 20 % článků). Zdá se, že český výzkum v tomto oboru se neúměrně soustředí na málo vlivné výzkumy. Jenomže tvar profilů spoluurčuje celá řada dalších faktorů, o kterých se ve zprávách nedočteme, a na které se často zapomíná.
Zase ty místní časopisy
Tvar publikačního profilu oboru ovlivňuje (ne)existence místních vydávaných česko-slovenských časopisů indexovaných databází WoS. Takových časopisů je téměř 60. V některých oborech je takových časopisů více, v některých ani jeden. Tyto lokální časopisy mají až na vzácné výjimky nízké hodnoty AIS. Přítomnost lokálních časopisů v oboru ovšem výrazně zvyšuje podíl českých článků ve spodních kvartilech a profily tím vizuálně zhoršuje. Naopak v oborech bez česko-slovenských WoS časopisů vychází profily zdánlivě lépe, tedy vychýlené k vyšším hodnotám AIS. Vůbec to však nemusí znamenat, že se český výzkum v oboru zaměřuje na kvalitu! Český výzkum v takovém oboru totiž může vykazovat záplavu článků v časopisech neindexovaných WoS (t.j. Jsc, Jrec, Jneimp), které do profilů vůbec nevstupují.
Příkladem výše uvedené mnohoznačnosti tvaru profilu budiž již zmíněný obor Basic Medicine. Do tohoto oboru patří hned dva české časopisy: Physiological Research a Česká a slovenská neurologie a neurochirurgie. Oba časopisy ročně tisknou poměrně vysoké počty článků a mezi autory dominují ti z Česka. Druhý časopis dokonce publikuje většinu článků v češtině. Není potom ani divu, že oba časopisy mají velmi nízké hodnoty citačních indexů AIS i IF. Spolehlivě patří do nejspodnějšího IV. kvartilu vědeckého vlivu. Jenže existence těchto časopisů je pro české vědce poměrně snadná příležitost publikování a přispívá k onomu abnormálně vysokému podílu Česka ve IV. kvartilu na obrázku. Kdyby tyto dva časopisy neexistovaly nebo prostě nebyly indexovány WoS, vycházel by publikační profil Česka pro obor Basic Medicine mnohem "lépe".
Horizontální čára ve 'whisker' grafu ukazuje pozici časopisu Česká a slovenská neurologie a neurochirurgie podle výše impakt faktoru mezi dalšími časopisy světa indexovanými databází WoS v oboru neurosciences.
Svět je laskavý benchmark
Oborový publikační profil českých výzkumných organizací je v grafech srovnáván s profilem celého světa. Do světa patří nejen ekonomicky nejrozvinutější země jako Česko, ale také záplava zemí rozvojových, například obrovská Čína, Rusko, země Latinské Ameriky atd. A tyto země výrazně přispívají k publikačnímu výkonu v těch nejméně významných časopisech s nízkým AIS. Takže srovnání českých profilů s celým světem ve zprávách jsou pro Česko a jeho výzkumné organizace poměrně laskavá. Na místě je více ambicí a srovnání českých profilů s vybranými zeměmi nebo prostě s EU.
Už jen na okraj, že pokud je u nás v některém oboru standardem, že doktorand musí mít před obhajobou něco publikováno v časopise WoS, bez ohledu na vědecký vliv časopisu, bude ČR v takovém oboru vykazovat také vysoký podíl článků v časopisech z nízkým AIS. Takový obor se bude jevit hůře než jiný, kde se od českých doktorandů žádné publikace nepožadují.
Rozdílné tvary publikačních profilů Česka oproti zbytku světa spoluurčuje řada faktorů, které však není možno ve zprávách odlišit. I proto toho profily v současné podobě moc neřeknou a mohou mást. Takže bacha na ně!
Medián v reportu a zmatek v duši
Kapitolou samou o sobě je ve zprávách srovnání publikačních profilů na základě mediánů AIS časopisů. Srovnáván je medián pro články české a články celého světa. Interpretace příčin rozdílů v mediánech je stejně nemožná jako v případě tvaru profilů. Jako příklad si opět vezmu obor Basic Medicine. Proč tento obor v Česku vykazuje oproti oborům Clinical Medicine a Health Sciences tak nízký medián AIS (viz graf níže)? Jednoduše kvůli existenci již zmíněných dvou českých časopisů s nízkými hodnotami AIS, kde vědci z Česka hodně publikují. Kdyby se jejich články nepočítaly, vyšel by český medián výrazně vyšší, jako je to v dalších dvou oborech.
Mediány jsou prostě ještě jednodušší ukazatele než publikační profily. Srovnání Česka se zbytkem světa pomocí mediánů nadělá v hlavách lidí více zmatku než užitku. Mylně z nich odvozují něco o kvalitě či produktivitě oboru či výzkumné organizace. Na mediány AIS by prostě asi bylo lepší ve zprávách úplně zapomenout.
Tento blog se mi nakonec nečekaně protáhl, takže ho dokončím až příště. Bude to o tom, že pominutí míry spoluautorství u článků není prkotina, že publikační podíly organizací na nejvlivnějším publikačním výkonu v oboru jsou asi nejužitečnější informací z bibliometrických zpráv, a že ten, kdo bude výzkumné organizace na základě těch bibliometrických zpráv hodnotit, bude nutně potřebovat řadu dalších informací.
Autor: Daniel Münich
Článek byl publikován 7. 7. 2018 na webu metodikahodnoceni.blogspot.cz.
*Obor Basic Medicine zahrnuje menší obory WoS: anatomy and morphology, chemistry, medicinal immunology, medicine research; experimental neurosciences, pathology, pharmacology and pharmacy, physiology, psychology, clinical toxicology
