Vánoční dárek pro vědce

V IDEA jsme pro tento účel aktualizovali a výrazně rozšířili on-line aplikaci mapující publikační výkon a personální velikost výzkumných organizací včetně součástí vysokých škol. Z původně jednoduchého udělátka na generování tabulek se stává komplexní analytický nástroj. Nabízím tedy pár ukázek z nespočtu dalších vhledů, které apka nabízí.

Unikátní informace

Aplikace z nepřehledné hromady dat destiluje přehledné informace, ze kterých mohou uživatelé vytěžit mnohé užitečné znalosti. Aplikace je dokonce v řadě ohledů unikátní, protože:

• Pracuje s daty o článcích včetně roku 2020. Tedy s články, které budou předmětem vládního hodnocení až během roku 2022 s výsledky zveřejněnými až na jeho konci.
• Dává informace o personální velikosti pracovišť podle vědních oborů. Byť jde o informace pro řízení vědy a určení vědních priorit zásadní, dosud je nebylo kde získat.[1]
• Umožňuje rozlišovat korespondenční, první, druhé a další autory. V řadě oborů je totiž pozice autora velmi důležitá. Konečně je tedy možno s touto informací pracovat.
• Poskytuje srovnání na základě toho, do kterých oborů články zařadila pracoviště. Dosud, včetně vládního hodnocení, byla srovnání založena na oborovém řazení časopisů.
• Nabízí rozlišení časopisů z expertně sestaveného Nature indexu. To pro ty, kteří moc nevěří bibliometrické identifikaci nejvlivnějších oborových časopisů.[1 | 2]

První setkání

Apka se spouští ve výchozím nastavení:

• Pro můj FORD obor Economics and Business
• Se zařazením článků do oborů pracovišti
• Za publikační období 2017 až 2020
• Zohledňující spoluautorské podíly pracovišť na článcích
• Ukazující výsledky na úrovni celých výzkumných organizací
• S odhadem vlivu časopisů váženým průměrem percentilového pořadí v oborech WoS

Levá část tabulky aplikace ukazuje v procentech celonárodní oborové podíly pracovišť na článcích podle vědeckého vlivu časopisů. Pravá část tabulky ukazuje celonárodní oborové podíly pracovišť na autorech. Sloupcové národní podíly tedy sčítají do 100 %. Ale přehlednější než spousta čísel v tabulce je přeci jen graf. Ten po kliku v menu uživateli zobrazí jím vybranou dvojici sloupců z tabulky. Obrázky převzaté z aplikace do tohoto blogu se po kliknutí zvětší.

Na Obrázku 1 tak vidíme situaci v oboru Economics and Business: na ose X je národní podíl pracovišť na autorech, na ose Y je národní podíl na článcích v nejvlivnější čtvrtině časopisů. Diagonála tedy vymezuje průměrnou publikační produktivitu oboru v Česku. Pracoviště s nadprůměrnou produktivitou najdete nad diagonálou. Čím více proti směru hodinových ručiček, tím produktivnější dané pracoviště je.

Obrázek 1: Národní podíly pracovišť na autorech (osa X) a článcích v horní čtvrtině nejvlivnějších časopisů v oboru Economics and Business

Vidíme, že pracoviště v oboru Economics and Business se diametrálně liší jak v počtu publikujících autorů (osa X), tak v publikační produktivitě (poměr pozic na osách Y a X).

Zdaleka nejvyšší produktivitu (ve světle růžovém segmentu) vykazují Univerzita Karlova (UK) a Národohospodářský ústav AV ČR (NHÚ). Zatímco UK je personálně středně velká, NHÚ patří k pracovištím malým. Za pozornost stojí, že v oboru autorsky největší Vysoká škola ekonomická a Mendelova univerzita v Brně vykazují produktivitu podprůměrnou. Existuje však řada dalších pracovišť, která mají v oboru produktivitu ještě nižší, nebo dokonce nulovou. Nezapomeňme totiž, že sledujeme pouze články v nejvlivnější čtvrtině časopisů.

Jde o exemplární příklad toho, proč vedle publikačního výkonu musíme vždy přihlížet i k personálním kapacitám pracovišť v oboru. Například již zmíněná VŠE má zhruba 10x větší počet autorů než NHÚ (stačí si přepnout přepínač "Zobraz počty").

Personální kapacity jsou alfou a omegou

Informace o personálních oborových kapacitách pracovišť je zásadní. Bez ní není k čemu vztahovat publikační výkon pracovišť a ptát se na jejich výzkumnou produktivitu. Přesto v Česku dosud nebyly oborové personální kapacity sledovány. Nikdo o nich tedy dosud nic nevěděl. Proto jsme přišli s metodou odhadu na základě počtu publikujících autorů. Protože jde pouze o odhady, aplikace nabízí několik metod výpočtu. Jejichž podstata je podrobněji popsána v instrukcích. Zde uvedu jen to klíčové.

Kromě jediné Metody Y, autora započítáváme pracovišti v oboru, pokud v něm výrazněji publikoval, tedy většinu nebo více než 30 % svých publikací. Jediná Metoda Y rozděluje 'úvazek' každého autora mezi obory v poměrech oborové příslušnosti jeho publikací.

Odhad počtu autorů je možno počítat buď na základě článků v časopisech na indexu WoS (Metody 1 až 3) nebo na základě všech typů publikací (Metody X a Y). Je logické, že metody X a Y zpravidla dávají odhady vyšší.

Obrázek 2 ukazuje jako příklad počty autorů v oboru Chemical Sciences, který je personálně obrovský. Jen na VŠ působí v Česku 2800 autorů, na AV ČR dalších téměř 1200 (sloupec Metoda X). Výzkum v chemii se u nás ve větším měřítku dělá na deseti organizacích (sedmi vysokých školách a třech ústavech AV ČR), kde najdeme více než po 100 publikujících autorech. V dalších srovnáních budu pro jednoduchost používat pouze Metodu Y.

Obrázek 2: Počty autorů dominantně publikujících v oboru Chemical Sciences (sloupec Metoda Y napravo)

Kdo cílí na excelenci

Aplikace snadno odhalí, která pracoviště v oboru výrazně cílí na excelenci (tj. publikace v nejvlivnějších časopisech), a která naopak publikují spíše v lokálních a vědecky málo vlivných časopisech. Podívejme se takto na obor Electrical, Electronic and Information Engineering.

V Obrázku 3a na ose X vidíme celonárodní podíl pracovišť na článcích v nejméně vlivné čtvrtině časopisů, na ose Y potom v nejvlivnější desetině časopisů. Vidíme obrovské rozdíly mezi čtyřmi vysokými školami, které v oboru personálně dominují. Výrazně je na excelenci zaměřena Západočeská univerzita v Plzni (ZČU) a za ní ČVUT v Praze. Naopak je tomu na VUT v Brně a na VŠB-TUO v Ostravě. Zdaleka nejvíce na excelenci cílí Ústav teorie informace a automatizace AV ČR, ale ten svou personální kapacitou v oboru představuje kapku v moři.

Obrázek 3a: Národní podíly pracovišť na článcích v nejméně vlivné čtvrtině (osa X) a nejvíce vlivné desetině (osa Y) časopisů v oboru Electrical, Electronic and Information Engineering

Situaci v tom samém oboru si lze zobrazit i na úrovni fakult VŠ v menu vpravo nahoře. Situaci ukazuje Obrázek 3b. Pěkný je příklad ZČU, která je vnitřně rozdělena na velmi produktivní Fakultu aplikovaných věd a podprůměrnou Fakultu elektrotechnickou. Podobně se dělí ČVUT na Český institut informatiky, robotiky a kybernetiky a Fakultu elektrotechnickou nebo brněnské VUT na Středoevropský technologický institut a Fakultu elektrotechnickou.

Obrázek 3b: Národní podíly pracovišť na článcích v nejméně vlivné čtvrtině (osa X) a nejvíce vlivné desetině (osa Y) časopisů v oboru Electrical, Electronic and Information Engineering [na úrovni součástí VŠ]

Jak si vede jedno pracoviště v různých oborech

Pro managementy velkých multioborových vysokých škol může být zajímavé srovnání jednoho pracoviště napříč obory. V takovém případě má ale smysl srovnávat jen celonárodní podíly a nikoliv celkové počty, protože to by se sčítaly hrušky a jablka. Podívejme se takto na Univerzitu Palackého v Olomouci (UPOL).

V Obrázku 4a vidíme, že UPOL je nejproduktivnější (desetina nejvlivnějších časopisů) v oborech Natural Sciences, Other Natural Sciences a Computer and Information Sciences s tím, že poslední jmenovaný je personálně poměrně malý (celonárodní podíl 1,2 %). Naopak personálně diametrálně větší obory Other medical Sciences (celonárodní podíl 23 %) je jen lehce nadprůměrně produktivní. A personálně velký obor Psychology and Cognitive Sciences (16.9 %) dokonce vykazuje produktivitu nulovou. Opět nezapomeňme, že se díváme pouze na články v nejvlivnější desetině časopisů.

Společenskovědní obory, kromě výrazného Education a ještě Social and Economic Geography, nemají na UPOL v nejvýznamnější desetině časopisů jediný zářez. Ale i v případě dvou zmíněných oborů za národními podíly UPOL stojí velmi nízké počty článků, takže s interpretací opatrně. Dobré postavení UPOL v těchto oborech je dáno i slabou konkurencí ze strany ostatních výzkumných organizací.

Obrázek 4a: Národní podíly pracovišť Univerzity Palackého na autorech (osa X) a na článcích v nejvlivnější desetině časopisů (osa Y)

UPOL nám také nabízí dobrý příklad rozdílných odhadů počtu autorů v oborech. Obrázek 4b srovnává odhad počtu autorů Metodou 2 a Metodou Y. Vidíme velmi silnou shodu obou odhadů kromě oborů Other Medical Sciences, Education, Psychology and Cognitive Sciences, Media and Communications. Rozdíly jsou dány tím, že ve jmenovaných oborech nezanedbatelný podíl autorů na UPOL nepublikoval ani jeden článek ve WoS. Publikovali tedy jinde, například v časopisech na indexu Scopus či jiných, sbornících a dále monografie a kapitoly v nich.

Obrázek 4b: Národní oborové podíly autorů dominantně publikujících na Univerzitě Palackého na základě Metody X (osa X) a Metody 2 (osa Y)

Trendy

Vývoj v čase může být někdy důležitější než průměrný stav posledních let. Změny v celonárodních podílech i počtech článků se zobrazí v tabulce aplikace po aktivaci přepínačem "Zobrazit růst". Obrázek 5 jako příklad ukazuje trendy v oboru Mathematics. Vidíme, že Univerzitě Karlově a Ústavu teorie informace a automatizace AV ČR se mezi obdobími 2017-2018 a 2019-2020 snížil národní podíl ve všech skupinách časopisů (viz červené šipky u údajů v procentních bodech). Naopak ve všech skupinách časopisů se zvýšily národní publikační podíly Matematického ústavu AV ČR, ČVUT a Masarykovy univerzity (viz zelené šipky).

Obrázek 5: Národní podíly článků a autorů pracovišť oboru Mathematics. Údaje označené šipkami ukazují trend: tj. rozdíl v podílech mezi roky 2017-2018 a 2019-2020 v procentních bodech.

Klíčová role prvního autora

V některých oborech o přínosu autorů pracoviště vypovídají role autorů. Mnohdy to může mít dost podstatný vliv na výsledky pracovišť. Jako příklad jsem vybral obor Clinical Medicine na Univerzitě Karlově, která nabízí luxus hned pěti medicínských fakult. Význam autorství v medicínském výzkumu je popsán například zde. Zcela zásadní roli hraje tzv. první autor.

Obrázek 6 srovnává počty fyzických článků z pracoviště. Spodní panel uvádí počty bez ohledu na druh autorství, horní panel počty článků s prvním autorem z dané fakulty. Z logiky věci je zřejmé, že údaje v horním panelu musí být menší. V tomto případě jsou nižší diametrálně. Článků s prvními autory z medicínských fakult UK je prostě výrazně méně, než všech článků. Nejpatrnější ten rozdíl je ve vlivnějších skupinách časopisů. Všimněme si, že relativní rozdíly mezi fakultami ve skupině nejvlivnější desetiny časopisů jsou v případě prvního autorství výrazně menší než když typ autora nezohledníme. Například článků s prvními autory mají 1. a 2. Lékařská fakulta (LF) skoro stejně (20 a 19). Ale bez ohledu na první autory má článků 1. LF diametrálně více (280) než 2. LF (184). 1. LF se zřejmě výrazněji podílí na článcích, kde její autoři nemají hlavní výzkumnou roli.

Sami se můžete podívat, jako roli to potom hraje v publikační produktivitě. Vřele to doporučuji. Je to příklad analytických možností aplikace.

Obrázek 6: Srovnání počtu fyzických článků medicínských fakult Univerzity Karlovy v oboru Clinical Medicine. Horní panel ukazuje počty článků s prvními autory z pracoviště, spodní panel počty bez ohledu na typ autorství.

Aplikace nabízí řadu dalších možností. Zde je seznam důležitějších:

• Místo se spoluautorskými podíly na článcích lze počítat s fyzickými počty článků.
• Lze zjistit, která pracoviště více či méně publikují v tzv. Open Access žurnálech.
• Lze vyloučit články velkých spoluautorských konsorcií.
• Výsledky je možno zobrazit v jemnějších oborových typologiích než je typologie FORD a to podle oborového zařazení časopisů.
• Vliv časopisu je možno odvozovat jinými metodami, například tou z vládního hodnocení.
• Místo bibliometrického určení nejvlivnějších časopisů je možno pracovat s nejvýznamnějšími časopisy přírodní věd na základě expertního seznamu Nature Index.[1|2]

A jako vždy varování

Srovnávat cokoliv ve většině humanitních oborů postrádá věrohodnost, protože v nich články v časopisech na indexu WoS pokrývají jen malý díl celkové publikační produkce.
Podíly a trendy založené na malých počtech publikací a autorů mají velmi omezenou věrohodnost. To platí obzvlášť pro malá mezi- a víceoborová pracoviště.
Srovnání produktivity ústavů AV ČR a vysokých škol je ošemetné s ohledem na jiné funkční uspořádání a institucionální nastavení.
Dávejte si pozor na větší výskyt autorských megakolaborací. Například v oborech nukleární fyziky, astronomie a medicíny jsou velké autorské kolektivy spíše pravidlem než výjimkou.

Co říci závěrem

Mnohdy se vám stane, že aplikace ukáže něco zajímavého až divného. Může jít samozřejmě i o důsledek chyb v datech či výpočtech, ale mnohem pravděpodobněji to poukazuje na nějaký fenomén, o kterém jste dosud nevěděli, a který je hoden vaší pozornosti a dalšího zkoumání.

Autor: Daniel Münich 

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz