Základní výzkum na Univerzitě Karlově: co (ne)odhalí bibliometrie

Zjištění se týkají primárně základního výzkumu a oborů, kde jsou standardem publikace v časopisech databáze WoS.

Má zjištění jsou ve stručnosti tato:

• Mezi kmenovými obory jsou na CUNI diametrální rozdíly v personálním zázemí. Jak co do absolutního počtu publikujících autorů, tak v celonárodních oborových podílech.
• Zdaleka nejvíce autorů i publikací na CUNI vykazují medicínské a přírodovědné obory. Daleko za nimi jsou obory společenskovědní. Humanitní obory se zatím nedají bibliometricky posuzovat.
• Autorsky největší oborová skupina CUNI (absolutně i relativně v rámci ČR), medicínská, patří v rámci ČR k těm publikačně méně produktivním.
• Nejproduktivnější (uvnitř oboru v rámci ČR) jsou na CUNI obory společenskovědní: Education, Political Sciences, Economics a Economics and Business. V posledním jmenovaném, mém oboru, na CUNI působí jeden z nejmenších počtů autorů a jde o kmenový obor, kde má CUNI celonárodně nejnižší podíl na autorech.

Uvedení do obrazu

Nový nástroj IDEA umožňuje poprvé nahlédnout do oborové struktury našich výzkumných pracovišť co do počtu publikujících autorů a časopiseckých publikací (WoS) s rozlišením vědeckého významu a ve vazbě na publikační produktivitu. Nedávno jsem zde bibliometricky proklepl základní výzkum na Masarykově univerzitě. Dnes si beru na paškál mou Univerzitu Karlovu (CUNI).

Předem přiznávám a varuji, že bibliometrické ukazatele nejsou dokonalé. Někdy mohou být i hodně nepřesné nebo nekompletní. Nedokonalé, byť jinak, je ale i hodnocení peer-review, které je navíc velmi zdlouhavé a nákladné. Pro hodnocení samotné je proto nejlepší kombinovat oba přístupy. Tak to ostatně jednou za pět let dělá AV ČR a poprvé v historii dokončuje CUNI. Jediné, chyb prosté hodnocení, je nehodnocení, ale to je pak chybou kardinální.

Jak to funguje

Blog jsem koncipoval tak, aby čtenáři poradil, jak nástroj používat při zkoumání jiných výzkumných organizací či součástí vysokých škol. Základní popis nástroje IDEA jsem převzal z minulého blogu. Takže znalí z vás mohou tuto sekci přeskočit. A koho nezajímá, jak grafy replikovat v aplikaci, ti mohou přeskočit i instrukce psané kurzívou.

Aplikace IDEA mapuje publikační výkon (počet článků) a počet jejich autorů na výzkumných organizací a součástech vysokých škol. Unikátnost aplikace spočívá mimo jiné v tom, že poskytuje hrubý odhad počtu vědců daného pracoviště v tom kterém oboru. Bez toho totiž není možno určit publikační produktivitu. Ta představuje počet publikovaných článků připadající na jednoho autora. Publikační výkon a publikační produktivita jsou totiž dvě rozdílné veličiny. Něco jako rozdíl mezi rychlostí a zrychlením.

V předešlém blogu jsem pomocí této aplikace dával příklady relativně malých, ale vědecky velmi produktivních pracovišť, která jsou pro svou menší velikost v národních hodnoceních přehlížena.

Aplikace je přísně oborová. Ale při jednom nastavení dává zajímavý vhled napříč obory v rámci vybrané organizace. Ukazuje nejen to, které vědní obory se v organizaci výrazně praktikují, ale hlavně to, jak si daná organizace v těchto oborech vede v celonárodním srovnání.

Když budu v dalším psát o autorech, mám na mysli publikující autory v letech 2017-2019.

Univerzita Karlova na sál!

V horním menu aplikace jsem vybral jedinou organizaci, Univerzitu Karlovu (CUNI). V sousedním menu nepožaduji rozlišení podle fakult (součástí). Pouze při takovém nastavení totiž uvidím v tabulce a grafech všechny obory najednou. V menu jsem nechal oborové členění FORD na základě zařazení výsledků pracovištěm. Pro přehlednost se budu zabývat jen kmenovými obory, kde CUNI za tři roky 2017-2019 publikovala alespoň 20 článků (po zohlednění podílu na spoluautorství).

Počty publikujících autorů

Jak už jsem zmínil, každé smysluplné srovnání musí brát ohled na rozdíly v personálním zázemí organizace v oborech. Bez toho nám počty publikací moc neřeknou. Stejně jako musíme výkon pekárny poměřovat s počtem pekařů. Vládní hodnocení organizací, které s informacemi o lidských zdrojích nepracuje, o produktivitě a tedy kvalitě výzkumných organizací moc nevypovídá. V takovém hodnocení, hlavně Modulu 2, pak hraje roli spíše velikost organizace než její publikační produktivita.

Nejdříve se tedy podívám, kolik publikujících autorů v kmenových oborech na CUNI působí. To se mimochodem poprvé zjišťovalo v právě dobíhajícím interním hodnocení VaV na CUNI. Nástroj IDEA nám v tabulce napravo nabízí počty autorů odhadnuté Metodami 1 až 3 a X. Mně dále poslouží jen poslední dva odhady. O ostatních si můžete v aplikaci přečíst sami.

Obě metody identifikují autorův obor jako ten, kde autor publikoval největší podíl svých publikací. Metoda X započítá každého autora, který v letech 2017-2019 vykázal alespoň jednu vědeckou publikaci (v databázi RIV). Metoda 3 započítává jako autory pouze ty, kteří vykázali alespoň jeden článek v časopisu na indexu databáze WoS. Druhá metoda tedy dává nižší počty autorů. Větší odchylky jsou v oborech a na pracovištích, kde se výrazně publikuje mimo časopisy databáze WoS. Pokud by si někdo dal tu práci a sečetl autory CUNI ve všech oborech, získal by celkový počet autorů publikací na CUNI. Jinými slovy, každý autor je zařazen právě do jednoho oboru. Zobrazené počty autorů nezávisí na zvolené metodě započítání článků ani na výběru pracoviště. Fyzické počty autorů se mi ukáží, pokud přepnu přepínač v menu na 'Zobrazit počty'. Lepší je si údaje zobrazit v grafu. Pro tento účel si oba sloupce zatrhnu a nechám je zobrazit pomocí 'Rozptylový graf'.

Obrázek 1 ukazuje počty autorů CUNI v hlavních oborech. Na horizontální ose vidíte počty autorů všech publikací CUNI, na vertikální jen autorů článků WoS. Většina oborů leží na 45stupňové ose. Obě metody totiž dávají podobné počty autorů. Výjimkou je obor Clinical Medicine a řada oborů společenskovědních. Vysvětlení je jednoduché. Mnoho autorů ve zmíněných oborech nemá ani jeden článek ve WoS časopise. Publikovali však články v časopisech na indexu Scopus nebo i mimo něj, ve sbornících anebo publikují v knihách.

Obrázek 1: Srovnání počtu publikujících autorů v oborech na CUNI

Na ose X vidíme, že mezioborové rozdíly v počtech autorů na CUNI jsou obrovské. V Clinical Medicine jde o 2666 autorů, v Biological Sciences a Basic medicine 1243 a 1457 autorů. Ve čtvrtém největším oboru Physical Sciences 616. Ve srovnání s tím jsou společenskovědní obory personálně malé: Education (375), Sociology (301), Political Sciences (187), Economics and Business (167), Psychology and Cognitive Sciences (149).

U vysokých počtů autorů v medicínských oborech (musíme sečíst autory v Basic Medicine, Clinical Medicine a Health Sciences, což dělá dohromady bratru 4500 autorů) si musíme uvědomit dvě věci. Jednak má CUNI celkem pět medicínských fakult plus fakultu farmacie. To je velmi ojedinělý úkaz nejen v Česku. A navíc se v medicínských oborech masivně vyskytují nízké vědecké úvazky. Řada autorů totiž působí také jako lékaři ve fakultních nemocnicích. Pro detailní srovnání medicínských oborů na VŠ proto doporučuji srovnávat CUNI hlavně s dalšími VŠ a fakultními nemocnicemi. A i proto v dalším pracuji s celonárodními podíly CUNI v oborech, což oborová specifika do určité míry reflektuje.

A rovnou se na ty celonárodní podíly autorů z CUNI podívejme na Obrázku 2 [vypnout Zobrazit počty]. Pozice některých oborů v grafu se výrazně změnily. Stále vidíme celonárodně velmi vysoké podíly autorů CUNI v medicínských oborech Basic Medicine (podíl v ČR 50.6 %) a Clinical Medicine (podíl v ČR 40.5 %). Ano, každý druhý autor v oboru Basic Medicine publikuje mimo další za CUNI. Mathematics a Physical Sciences zaujímají pozici zhruba ve středu. Výrazně vyskočily některé společenskovědní obory. K personálně nejmenším oborům (v národním srovnání) na CUNI patří Economics and Business (podíl autorů CUNI v ČR je pouhých 6,5 %), Computer and Information Sciences (11.4 %) a Chemical Sciences (13.7 %).

Zde si ale musíme uvědomit, že za celonárodně nízkým podílem nemusí nutně stát nízké počty autorů. Závisí totiž na tom, kolik autorů v daném oboru působí jinde v Česku mimo CUNI. Takže například za relativně nízkým podílem v oboru Chemical Sciences se na CUNI skrývá úctyhodných 472 autorů (kteří publikují dominantně v tomto oboru).

Obrázek 2: Srovnání celonárodních oborových podílů publikujících autorů na CUNI

Informativní je i pozice oborů z pohledu hodinového ciferníku. Čím je obor v grafu situován více severozápadně, tím výrazněji než zbytek ČR se obor CUNI zaměřuje na publikování v časopisech WoS. Nejvýraznější jsou v tomto ohledu na CUNI obory Economics and Business a Education. Vlastně pouze v Health Sciences a Sociology je CUNI na časopisy WoS méně orientovaná, než je český průměr (protože leží pod 45 stupňovou osou grafu).

Publikační výkon a produktivita

Konečně se dostávám k publikačnímu výkonu, jeho kvalitě a publikační produktivitě. Budu srovnávat celonárodní oborové podíly CUNI na autorech s celonárodními oborovými podíly na článcích. A budou mě zajímat jen články publikované ve vědecky vlivnější polovině oborových časopisů.

V tabulce pod menu jsem pro osu grafu X vybral celonárodní oborový podíl autorů z CUNI Metodou X. K zobrazení na ose Y jsem vybral celonárodní oborový podíl publikací CUNI v horní polovině vědecky nejvlivnějších časopisů na světě po zohlednění autorských podílů. Pokud v dalším neuvedu, tak vždy používám toto základní nastavení.

Výsledek ukazuje Obrázek 3. Poměr hodnot uvedených ukazatelů pak zhruba odpovídá relativní publikační produktivitě CUNI v tom kterém oboru, relativně vůči průměrné produktivitě oboru v Česku.

Obrázek 3: Srovnání celonárodních oborových podílů publikujících autorů (X) a článků ve významnější polovině časopisů (Y) na CUNI

Obory, kde CUNI vykazuje průměrnou produktivitu, vidíme blízko 45stupňové osy. Obory v růžovém severozápadním segmentu jsou na národní úrovni publikačně výrazně nadproduktivní (více než dvojnásobek celostátního průměru oborové produktivity). Naopak obory v jihovýchodním šedém segmentu vykazují produktivitu na národní poměry výrazně podprůměrnou (menší než poloviční).

V severozápadní lehce růžové trojúhelníkové zóně vidíme jako relativně neproduktivnější obory na CUNI Economics and Business a Education. Publikační produktivita přírodních věd CUNI, Biological Sciences, Physical Sciences a Chemical Sciences, se pohybuje plus mínus kolem celonárodního průměru. Nejproduktivnější obor přírodních věd je pak Mathemathics. Za pozornost stojí, že produktivnější jsou na CUNI obory s relativně vysokým celonárodním podílem na autorech. Jde o všechny tři medicínské obory a Sociology.

Alternativní pohledy

Bylo by chybou tvrdit, že výše popsaná zjištění vypovídají o všem. Že to není pravda, ukáži na změnách sledovaných ukazatelů.

Kvalita vs. kvantita

Užitečnou, ale jen doplňkovou informací je, ve kterých oborech se na CUNI upřednostňuje kvalita publikací před kvantitou. Jde v podstatě o vládním hodnocením zbožňovaný tvar kvalitativních publikačních profilů. Již mnohokrát jsem psal, proč nám toho moc neřeknou [1 | 2 | 3 | 4 | 5 | 6]. Výraznou roli zde hraje, zda je v daném oboru nějaký český časopis indexován databází WoS.

V tabulce údajů pro zobrazení v grafu v menu aplikace vyberte sloupce celonárodních oborových podílů na všech článcích a pak článcích v horní polovině významnějších časopisů.

Obrázek 4a na horizontální ose ukazuje celonárodní podíly CUNI na celkovém počtu článků v oboru. Na vertikální ose nadále vidíme podíly CUNI ve vlivnější polovině časopisů. Nejvíce jsou na kvalitu očividně zaměřeny obory Economics and Business a Education. Z předešlého by snad mělo být zřejmé, že relativně vysoká publikační produktivita CUNI v obou oborech a hlavně v oboru Education je dána i nízkou produktivitou ostatních výzkumných organizací v ČR.

Většina ostatních oborů CUNI se nachází blízko celonárodních oborových standardů, tedy v blízkosti 45stupňové osy. Relativně nejvíce se na CUNI akcentuje kvantita na úkor kvality v oborech Health Sciences a Social and Economic Geography (nacházejí se pod 45stupňovou osou), ale odchylka není nijak zásadní.

Obrázek 4a: Srovnání celonárodních oborových podílů všech článků (X) a článků ve významnější polovině časopisů (Y) na CUNI

Vědecká excelence

Publikování ve vlivnější polovině žurnálů je fajn, ale nelze to automaticky považovat za známku vědecké excelence. Člověk se musí podívat, jaká je produktivita oborů CUNI ve vědecky nejvlivnějších časopisech oborů. Obrázek 4b ukazuje to samé jako Obrázek 4a s tím rozdílem, že na vertikální ose je podíl na článcích v nejvlivnější čtvrtině časopisů. Zásadní změny v rozložení oborů na CUNI nevidíme. Spíše se ještě rozevřely nůžky mezi více a méně produktivními obory CUNI.

Obrázek 4b: Srovnání celonárodních oborových podílů publikujících autorů (X) a článků v nejvýznamnější čtvrtině časopisů (Y) na CUNI

A když už jsme se takto rozjeli, podívejme se na světovou špičku, tedy publikace CUNI v horních 10 % nejvlivnějších světových časopisech na Obrázku 4c. Opět nejde o zásadní změnu: v relativní produktivitě se ještě více propadly Basic Medicine a Clinical Medicine (personálně největší obory na CUNI) a naopak se dopředu znatelně posunul obor Mathematics.

Obrázek 4c: Srovnání celonárodních oborových podílů publikujících autorů (X) a článků v nejvýznamnější desetině časopisů (Y) na CUNI

Zde si opět musíme uvědomit, že pracujeme s celonárodními oborovými podíly na publikačním výkonu. Takže třeba za vysokým 40% podílem Education stojí necelý jeden článek (0,7). Za podobně vysokým 38,5% podílem Mathematics stojí 26,7 článku. Vysvětlení je prosté: v oboru Education jinde v ČR v Top10% časopisů skoro nepublikují. Proto i necelý jeden článek v představuje 40% podíl na oboru. Ano, podíly založené na tak nízkých počtech není radno brát vážně.

Ilustrativní je obor Political Sciences, kde si CUNI mimo nejvyšší publikační špičku vedla velmi dobře, ale v Top10% časopisech nepublikovala nic a má tedy v Česku nulový podíl.

Vliv velkých spoluautorských kolaborací

Velké autorské kolaborace se ve vetší míře vyskytují jen v některých oborech, namnoze v podoborech širokých oborů FORD. Jde hlavně o obory nukleární fyziky (např. obrovská mezinárodní konsorcia stovek spoluautorů kolem CERN), astrofyziky (velká konsorcia pozorující vesmír), medicínských podoborů (velké počty spoluautorů přispívají údaji o svých pacientech, aby se dal dohromady vyšší počet případů). Pro tyto případy bibliometrie moc informativní není a při neopatrnosti může být hodně zavádějící. Být jedním z desítek až stovek spoluautorů článku totiž o reálném přínosu daného autora a jeho pracoviště moc neřekne. Reálný přínos takového spoluautora může být jak zásadní, tak okrajový, a dokonce až papírově formální. Aplikace IDEA tento problém pomáhá tlumit třemi způsoby:

1. U článků je možno zohlednit autorský podíl organizace. Například v případě jediného spoluautora článku z CUNI v týmu dalších 9 autorů, se CUNI započte pouze 1/10 článku [menu Použité jednotky: Autorské podíly]. Takže třeba 100 takových článků se CUNI započte pouze jako článků 10.
2. U některých údajů v tabulce se vám zobrazují vykřičníky. Ty varují, že výsledky s menším než 10% autorským podílem představují více než desetinu zobrazeného publikačního výkonu.
3. V menu lze přepínačem z přehledu vyřadit články s více než 30 spoluautory. Sami si můžete zkusit, že na většinu oborů to má dopad zanedbatelný nebo žádný. Ale dopad v oborech Physical Sciences nebo Clinical Medicine nezanedbatelný není.

Role spoluautorství

Dosavadní grafy ukazovaly publikační výkon po zohlednění podílu CUNI na spoluautorství. Je samozřejmě možné, že u řady výsledků je reálný vědecký přínos CUNI vyšší. Jak to je ve skutečnosti, nám ale bibliometrie prozradit neumí. Avšak na publikační výkon se můžeme podívat i bez ohledu na spoluautorství [menu Použité jednotky: Kusy]. Obrázek 5 je obdobou Obrázku 2, který spoluautorské podíly zohledňoval.

Obrázek 5: Srovnání celonárodních oborových podílů publikujících autorů (X) a kusů článků ve významnější polovině časopisů (Y) na CUNI

Vidíme, že relativní produktivita hlavně medicínských oborů CUNI se změnou posunula do pásma lehce nadprůměrné produktivity (posun proti směru hodinových ručiček). Indikuje to skutečnost, že CUNI autoři v těchto oborech publikují nadprůměrně často, ale jejich aritmetický spoluautorský podíl je relativně nízký.

Jemnější oborové členění

Doposud používané oborové dělení FORD má výhodu v tom, že i v případě velké CUNI nevyžaduje sledování příliš vysokého počtu oborů. Nevýhodou je, že řada oborů FORD je velká a vnitřně dost rozmanitá. To znamená, že vědci a publikace z rozmanitých oborů jsou potom smícháni dohromady a mnohým uživatelům souhrn nic moc neřekne.

Nabízí se tedy zvolit detailnější oborou strukturu Detailed Ford (dFORD) dle zařazení výsledků pracovišti [v menu Oborové členění], jak to vidíme na Obrázku 6. Ale zde platí, podobně jako ve fyzice elementárních částic, že čím detailnější strukturu (oborů) chceme vidět, s tím větší mírou nepřesnosti a chyb měření se musíme smířit. Úzké oborové členění totiž v některých oborech dFORD může zkreslovat skutečné počty autorů (dle Metody 3 a X může být jeden autor započítán jen v jednom oboru). Takže bacha!!!

Obrázek 6: Srovnání celonárodních oborových podílů publikujících autorů (X) a článků ve významnější polovině časopisů (Y) na CUNI v oborech Detailed Ford

Jediný rozdíl Obrázku 6 vůči základnímu Obrázku 2 je tedy použitá detailnější oborová struktura dFord. Proto je počet bodů v grafu výrazně vyšší, až nepřehledný . Každý dílčí obor si zde prostě přijde na své. Připomeňme, že filtr zobrazení stále vyžaduje alespoň 20 publikací v oboru. Celkově vzato, podstata oborové struktury na CUNI vypadá podobně jako v oborech FORD:

• Medicínské obory (zeleně) CUNI stále vykazují velmi vysoký celonárodní podíl na počtech autorů (30 –80 %), ale zároveň celonárodně podprůměrnou publikační produktivitu.
• Obory přírodních věd (červeně) CUNI mají na celonárodní úrovni menší podíl na autorech a většina z nich vykazuje publikační produktivitu blízkou národnímu průměru. Například obor Biochemistry a Molecular Biology má malý podíl autorů a nízkou produktivitu. Za podílem autorů je však nemalý počet 217 autorů. Takže nízký podíl CUNI v tomto oboru je dán velmi vysokým počtem autorů oboru v ČR. Nízká publikační produktivita v tomto oboru na CUNI může být dána i již zmíněnou nepřesností odhadu počtu autorů.
• Jen zdánlivě se změnila pozice oboru Applied Economics and Statistics. Je to mimochodem jediný obor CUNI, který je na hranici růžové zóny velmi vysoké relativní publikační produktivity. Zároveň na CUNI patří k personálně nejméně zastoupeným (nejen absolutně, ale i relativně v rámci celé ČR). Zde si uvědomme, že typologie dFord rozlišuje ještě podobný obor Economic Theory. Ten sice co absolutního počtu autorů (102) na CUNI nedominuje, ale v rámci ČR má CUNI v tomto oboru extrémně vysoký podíl (64.1 %) srovnatelný jen s pár medicínskými Ford obory na CUNI.

Detail fakult

Pokud bych měl pokračovat zvlášť pro každou z kolem dvou desítek fakult CUNI, blog bych dopsal asi až v důchodu. To si prostě musí proklepnout každý sám podle vlastního zájmu a s využitím rad a varování výše. Ale krapánek naznačím:

• V menu napravo si v rámci CUNI vyberu Matematicko-fyzikální fakultu (MFF). Jinak nechám základní nastavení, jako bylo u Obrázku 2. Na Obrázku 7a, pak vidím, že MFF má v ČR nejvyšší a zhruba pětinové národní podíly na autorech v oborech Mathematics (18 %) a Physical Sciences (21.3 %), v oboru Computer and information sciences jen lehce nad 10 %.
• V produktivitě je nad národním průměrem na MFF výrazně obor Mathematics, ale i ostatní obory jsou nadprůměrně produktivní. Právě teď asi mnohé zajímá detailnější oborová struktura dFord. S jistou mírou opatrnosti čtení do ní mohu aplikaci přepnout a dostanu Obrázek 7b.
• Ford obor Matematics se nám rozpadl na několik podoborů, všechny s mírně nadprůměrnou produktivitou. Podobně Ford obor Physical Sciences, jehož podobory naopak vykazují produktivitu mírně podprůměrnou. Ale opět zde musím připomenout riziko větší 'chyby měření'.
• V případě MFF je pěkně vidět, co s obrázkem nadělají publikace velkých autorských konsorcií. Schválně si aktivujte filtr velkých konsorcií a jako použité jednotky si zvolte Kusy výsledků. Dostanete Obrázek 7c. Obory Nuclear Physics a Particles and Field Physics vylétly na grafu proti směru hodinových ručiček do zóny velmi vysoké publikační produktivity. Pokud jste četli dostatečně pozorně, jistě si vysvětlení najdete sami.

Obrázek 7a: Srovnání celonárodních oborových podílů publikujících autorů (X) a článků ve významnější polovině časopisů (Y) na Matematicko-fyzikální fakultě CUNI v oborech Ford

Obrázek 7b: Srovnání celonárodních oborových podílů publikujících autorů (X) a článků ve významnější polovině časopisů (Y) na Matematicko-fyzikální fakultě CUNI v oborech Detailed Ford

A mohl bych pokračovat další na CUNI významnou Přírodovědeckou fakultou na Obrázku 8. 

Obrázek 8: Srovnání celonárodních oborových podílů publikujících autorů (X) a článků ve významnější polovině časopisů (Y) na Přírodovědecké fakultě CUNI v oborech Ford

Autor: Daniel Münich 

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz