Bibliometrické zprávy, jako podklad pro realizaci Hodnocení 2017 výzkumných organizací, byly zveřejněny. Jsou zajímavé, ale nakonec se z nich moc užitečného nedozvíme. Můj minulý blog byl spíše skeptický. Toto pokračování je mírně optimistické. Srovnání organizací podle publikačního výkonu pouze ve vědecky nejvlivnějších časopisech je užitečné, ale je třeba brát v potaz velikost těchto organizací.
Nezohlednění autorských podílů na článcích může být problém, a to jak pro srovnání Česka se světem, tak organizací a pracovišť mezi sebou.
Pro pochopení následujícího textu je užitečné seznámení se s obsahem prvního dílu.
Podíly na významných publikačních výsledcích
V prvním díle blogu jsem osvětlil, jak s tvarem publikačního profilu vědního oboru České republiky dokáže zahýbat existence či neexistence lokálních časopisů a hromadné publikování českých autorů v nich. Ve hře je opět ošidnost mediánu a průměru bibliometrických indexů mnou popsaná již před mnoha lety. Lokální časopisy mohou být také užitečné, ale vědecký vliv a význam mají až na výjimky malý až zanedbatelný. Některé z těchto časopisů navíc publikující většinu článků v češtině (a zde nemyslím specifické obory jako je bohemistika!), čímž zásadně omezují okruh svých čtenářů, přínos světovému poznání a samozřejmě také možnost kritických ohlasů.
Pokud nás zajímá vědecky světově vlivný výzkum podrobený kritickému pohledu vědců celého světa, musíme pozornost soustředit na publikační výkon v časopisech s vysokými hodnotami Article Influence Score (AIS). Musíme tedy odhlédnout od dvou až tří čtvrtin méně vlivných časopisů a věnovat se publikačnímu výkonu v časopisech s vysokým AIS (horní 1. decil = horní desetina nebo 1. kvartil = horní čtvrtina). V případě hodnocení jednotlivých článků případně autorů by to košer nebylo, protože v malých počtech mohou hrát výjimky z pravidel větší roli. Ale v případě hodnocení celých organizací jako je Hodnocení 2017, kde jsou ve hře desítky až stovky článků, si takovou redukci dovolit můžeme. Je navíc dobře známo, že vědecky nejvlivnější články se koncentrují ve velmi malém počtu vlivných časopisů, vedle obrovské masy článků bez zásadnějšího významu a vlivu.
Takto níže tedy vypadá tabulka z jedné bibliometrické zprávy, která ukazuje organizace s nejvyššími publikačními podíly ve vědecky nejvlivnější čtvrtině časopisů v oboru Basic Medicine (řazeno podle hodnoty jejich AIS). Peleton s velkým náskokem 24 % vede Univerzita Karlova, za ní pak s odstupem Masarykova Univerzita s 9 %.
Takové oborové srovnání má určitě smysl. Jednak organizací schopných publikovat ve špičkových časopisech už u nás zdaleka není tolik a hlavně takové srovnání nezkresluje (ne)přítomnost místních časopisů. Ale i zde by se hodilo mít alespoň hrubé údaje o velikosti veřejné finanční podpory a lidských zdrojích organizací, která se na nejvlivnějším výzkumu podílí. Jsem přesvědčen, že rozdíly mezi jejich publikačními výkony a vstupy budou velké, někdy až diametrální.
Spoluautorství není prkotina
Publikační výkon v bibliometrických zprávách bohužel nezohledňuje míru spoluautorství. Články se prostě počítají kus jako kus. Stačí tedy jeden jediný český autor z rozsáhlého mezinárodního výzkumného týmu, aby byl článek Česku započten úplně stejně, jako článek, kde je český autor solo-autor. Rozdíly potom mohou být větší než malé.
Asi nikoho nepřekvapí, že mezinárodně spoluautorované články vychází v průměru ve vlivnějších časopisech, tedy s výrazně vyššími hodnotami citačního indexu Article Influence Score (AIS). Kdyby se tedy spoluautorství v profilech zohlednilo (tzn. zredukoval podíl organizace nebo Česka na článku), vyšla by většina publikačních profilů diskutovaných v 1. dílu pro Česko znatelně méně příznivě. A v případě megakolaborací desítek až stovek spoluautorů mohou být tyto rozdíly diametrální.
Roli spoluautorství ukáži na oboru Basic Medical Research*. Do této skupiny časopisů s vysokým AIS žádný lokální časopis myslím nespadá. Nedostatkem údajů v uvedené tabulce je, že nezohledňují autorské podíly organizací na článcích. Kus se počítá jako kus. A vliv autorství ze zpráv nezjistíme.
Citlivost výsledků na spoluautorství ale umožňuje vysledovat web aplikace IDEA (připravuje se její zveřejnění). Odlišnosti údajů v ní od vládních bibliometrických zpráv jsou dány hlavně jiným obdobím (2011-2015), než za které jsou zprávy (2016). Následující Graf A ukazuje, na jakém podílu všech článků s českým autorem se jednotlivá pracoviště podílela. V extrémním případě může být podíl každého z pracovišť 100 %. Jde o ukazatel blízký tomu v tabulce výše. V tomto srovnání vykazuje nejvyšší podíl na publikačním výkonu 13,3 % 1. Lékařská fakulta Univerzity Karlovy následovaná dalšími fakultami téže univerzity.
Graf A: Podíly pracovišť na českém publikačním výkonu oboru Basic Medicine v nejvlivnější čtvrtině oborových časopisů na světě v letech 2011-2015. Nejsou zohledněny autorské podíly.
Pokud však autorské podíly na článcích zohledníme, a budeme se v Grafu B ptát po podílech pracovišť na celkovém publikačním výkonu v horním čtvrtině oborových časopisů (po zohlednění jak spoluautorství domácího, tak zahraničního), vykáže nejvyšší podíl Farmaceutická fakulta UK v Hradci Králové na úrovni 7,7 % a pražské Lékařské fakulty UK najdeme až od šestého místa dále.
Vysvětlení rozdílů vyžaduje podrobnější rozbor. Je například možné, že autoři z 1. - 3. Lékařské fakulty UK mnohem častěji než jiní přispívají do rozsáhlých autorských mezinárodních konsorcií daty o pacientech, takže se (i) velmi malým autorským dílem podílejí na (ii) vysokém počtu vlivných studií. To by vysvětlilo obrovské rozdíly mezi pořadím pracovišť v Grafech A a B.
Graf B: Podíly pracovišť na českém publikačním výkonu oboru Basic Medical Research v nejvlivnější čtvrtině oborových časopisů na světě v letech 2011-2015. Jsou zohledněny autorské podíly metodou používanou vládní Metodikou.
Když v Grafech A' a B' obdobně srovnáme publikační podíly na úrovni celých organizací, rozdíly se již nejeví tak velké. Spoluautorská specifika 1. - 3. Lékařské fakulty a Hradecké fakulty UK se zřejmě nějak kompenzují. Na druhé straně rozdíly v pořadí organizací může někdo i zde považovat za významné.
Graf A': Podíly výzkumných organizací na českém publikačním výkonu oboru Basic Medical Research v nejvlivnější čtvrtině oborových časopisů na světě v letech 2011-2015. Autorské podíly nejsou zohledněny.
Graf B': Podíly výzkumných organizací na českém publikačním výkonu oboru Basic Medical Research v nejvlivnější čtvrtině oborových časopisů na světě v letech 2011-2015. Jsou zohledněny autorské podíly metodou používanou vládní Metodikou.
Slovo závěrem
Nezapomínejme, že bibliometrie sama o sobě nám zhodnocení výzkumných organizací nezajistí. Hodnocení musí provést lidé, dobře znalí hodnocené matérie, kteří budou mít k ruce nejen bibliometrické informace, ale řadu dalších. Je asi zřejmé, že stávající bibliometrické zprávy bude třeba příště výrazně doladit a doplnit. Ale ani potom nepřestane platit, že se bibliometrie nesmí používat slepě, a že při jejím používání je třeba opatrnosti.
*Do FORD oboru Basic Medical Research jsou zařazeny tyto obory WoS: anatomy and morphology, chemistry, medicinal immunology, medicine research; experimental neurosciences, pathology, pharmacology and pharmacy, physiology, psychology, clinical toxicology
Autor: Daniel Münich
Článek byl publikován 17. 7. 2018 na webu metodikahodnoceni.blogspot.cz.
