Nová aplikace odhaluje publikační svět české vědy

„‎Samotná aplikace mapující publikační výkon českých vědeckých pracovišť není novinkou, pracujeme na ní již několik let a stále ji na základě zpětné vazby uživatelů zlepšujeme. Ke konci roku 2021 ale doznala řadu výrazných vylepšení – z pouhého generátoru tabulek se tak stal komplexní analytický nástroj,“ říká Daniel Münich z think-tanku IDEA při CERGE-EI.

Aplikace je v řadě parametrů jedinečná a nabízí nejrůznější využití. Především umožňuje analyzovat publikační výkon s rozlišením vědeckého vlivu, a to i s ohledem na diametrální rozdíly v personální velikosti pracovišť na oborové úrovni, což doposud nebylo možné zohlednit. „Od uživatelů dostáváme pozitivní zpětnou vazbu, a to především z malých kvalitních pracovišť, která získala nástroj, jak ukázat svou špičkovou publikační kvalitu a publikační efektivitu. Doposud se i v Národním hodnocení zohledňoval počet publikací bez ohledu na personální zázemí jednotlivých oborů, což zvýhodňovalo velká pracoviště s větším počtem publikujících autorů.“

Personální kapacity jednotlivých oborů na Univerzitě Karlově podle počtu publikujících autorů. Pro zvětšení klikněte na obrázek.

Aplikace vychází z bibliometrických dat Web of Science a vládní databáze RIV (Registr informací o výsledcích) v období let 2017 až 2020. Nastavovat lze řadu parametrů; například zda vás zajímá publikační výkon a počty publikujících autorů na konkrétní fakultě nebo všech českých výzkumných organizací v konkrétním oboru či například jen na vysokých školách. Stejně tak aplikace umí rozlišit první i korespondenční autory či běžné spoluautorství, což je pro řadu oborů klíčový ukazatel přínosu. Dále je možné odfiltrovat vliv studií mezinárodních spoluautorských megakolaborací, kde přínos jednoho pracoviště není zřejmý.

Aplikace také umožňuje srovnávat články podle oborů, kam je zařadila samotná pracoviště, která nejlépe ví, kam daný výzkum patří (doposud bylo srovnávání založeno na oborovém řazení časopisu). Lze filtrovat i podle publikací v Open Access časopisech nebo sledovat, jaké jsou trendy daného pracoviště v publikační aktivitě v letech 2017–2020. Kromě toho aplikace například nabízí rozlišení publikací v top časopisech podle odborníky sestaveného Nature indexu (více o Nature indexu a (co)neříká se dočtete na blogu Daniela Münicha zde a zde). Podrobnosti o samotném fungování aplikace a nastavení nejrůznějších parametrů vysvětluje Daniel Münich v půlhodinovém videoprůvodci nebo na blogu.

Oborové srovnání vědy na Univerzitě Karlově. Pro zvětšení klikněte na obrázek.

Informace do reportů i upozornění na skryté fenomény

Aplikace je cenným zdrojem informací pro všechny, které zajímá kvalita a zaměření české vědy, stejně jako poskytuje užitečné informace pro nejrůznější reporty, hodnotící zprávy a strategie rozvoje. „Aplikace na jedné straně na základě dat potvrzuje řadu sdílených domněnek a pocitů, ale také odhaluje mnoho fenoménů, které by napadly jen málokoho,“ říká Daniel Münich a vysvětluje, že aplikace sama o sobě neodhalí příčiny fenoménů, ale poukáže, na co se ptát a co dále zkoumat. Někdy to jsou až úsměvné příběhy, kdy se na základě zvláštních výsledků v aplikaci například odhalily systematické chyby knihovníků při zadávání výsledků do databáze RIV.

Podobná aplikace v zahraniční neexistuje, není ani potřeba

„Mám pocit, že ve světě nic takového nemají, ale mohu se mýlit. Ve vědecky vyspělejších zemích jsou běžná peer-review hodnocení a akademická komunita ze všech oborů tam velice dobře ví a rozliší, co je dobrá a špatná věda. Tento přístup k hodnocení vědy ale v Česku a v dalších postkomunistických zemí opakovaně selhával. Navíc taková hodnocení bývají zdlouhavá a drahá. Bibliometrické ukazatele také nejsou zdaleka ideální, ale jsou celkem levnou a rychlou alternativou a nejlépe doplňkem,“ vysvětluje Daniel Münich. A hned dodává, že samozřejmě existují univerzální analytické nástroje například na Web of Science nebo Scopus, ty ale nejsou tak promyšlené a uzpůsobené specifikům českého prostředí a jejich použití je v řadě ohledů limitované. „Naše aplikace je tvořena specificky pro české prostředí a potřeby,“ zdůrazňuje.

Daniel Münich se svými kolegy tuto aplikaci a znalosti mimo jiné využili při přípravě bibliometrické zprávy pro velké interní mezinárodní hodnocení vědy na Univerzitě Karlově, které proběhlo v loňském roce. „Při každém hodnocení zaznívá kritika na proces, která pomáhá zdokonalovat další kola hodnocení, to je přirozenou součástí procesu hodnocení. Na ten report a vlastně celé hodnocení jsem docela pyšný, protože takto komplexní a odvážně náročné a otevřené hodnocení velké veřejné výzkumné organizace jsem v Česku dosud neviděl.“

Cenná, ale ne všemocná, bibliometrie

Poměrně častá je i paušální kritika používání bibliometrických údajů, které jsou podle kritiků nepřesné a zavádějící. „Bibliometrie je užitečná a poskytuje cenné informace pro hodnocení, jen se musí správně používat a interpretovat. Paušální kritika je často účelová a zaznívá buď od lidí neznalých nebo těch, co se hodnocení bojí,“ míní Daniel Münich a ve svém blogu upozorňuje, na co si dávat pozor:

• Srovnávat aplikací cokoliv v humanitních oborech a některých společenskovědních postrádá věrohodnost, protože v nich články v časopisech na indexu WoS pokrývají jen malý díl celkové vědecké publikační produkce.
• Zjištění založená na malých počtech publikací nebo autorů mají velmi omezenou věrohodnost. To platí obzvlášť pro malá mezi- a víceoborová pracoviště. Nemluvě o hodnocení jednotlivých vědců.
• Srovnání publikační produktivity ústavů Akademie věd ČR a vysokých škol je ošemetné s ohledem na jiné funkční uspořádání a institucionální nastavení.
• Dávejte si pozor na větší výskyt autorských megakolaborací. Například v některých oborech fyziky elementárních částic, astronomie a medicíny jsou obrovské autorské kolektivy spíše pravidlem než výjimkou.

Autor: Pavla Hubálková 

Foto: archiv, D. Münich, Shutterstock

Článek vyšel v online magazínu Univerzity Karlovy Forum.