Základní výzkum na Masarykově univerzitě: co (ne)odhalí bibliometrie

Pro ukázku toho, co se dá s aplikací v tomto směru dělat, jsem si vybral Masarykovu univerzitu. Nečekejte, že vám aplikace odhalí vše. Také nesmíte hned ze všeho, co zjistíte, dělat definitivní závěry. Ale také uvidíte, že informace z aplikace ve vaší hlavě vyvolají otázky, u kterých se po jistém hledání doberete velmi zajímavých odpovědí.

Aplikace IDEA mapuje publikační výkon a počet autorů českých výzkumných pracovišť. Její unikátnost spočívá mimo jiné v tom, že nabízí odhad počtu vědců daného pracoviště v tom kterém oboru. Bez této informace totiž není možno odhalit publikační produktivitu. Publikační výkon (počet publikací) totiž určuje součin produktivita krát velikost pracoviště, což jsou dvě naprosto rozdílné veličiny. V minulém blogu jsem pomocí této aplikace ukázal příklady relativně malých, ale vědecky velmi produktivních pracovišť, která jsou pro svou menší velikost často v národních hodnoceních přehlížena.

Aplikace je přísně oborová. Ale při jednom nastavení dává zajímavý vhled napříč obory v rámci vybrané organizace. Ukazuje nejen to, které vědní obory se v organizaci výrazně praktikují, ale hlavně to, jak si obory organizace vedou v celonárodním srovnání.

Jako příklad jsem si vybral Masarykovu univerzitu (MUNI). I proto, abych se o výsledcích tamního výzkumu více dozvěděl. Je možné, že v některých ohledech budu vedle jak ta jedle. Ale oni se jistě z MUNI v takových případech v diskusi pod blogem ozvou.

Masarykova univerzita na paškálu

V menu aplikace jsem tedy vybral jedinou výzkumnou organizaci, Masarykovu univerzitu (MUNI). A tohle je klíčové: V menu nepožaduji rozlišení podle fakult (součástí). Jedině při takovém nastavení je totiž možno k zobrazení vybrat všechny obory. V menu jsem si nastavil, že chci použít oborové členění FORD a to na základě zařazení výsledků pracovištěm. A navíc jsem pro přehlednost ze zobrazení odstranil velmi malé obory, kde MUNI za sledované tři roky 2017-2019 publikovala méně než 20 článků.

Pro zobrazení v Obrázku 1a jsem si v tabulce pod menu pro osu X vybral celonárodní oborový podíl autorů z MU¹. K zobrazení na ose Y jsem vybral celonárodní oborový podíl publikací MU v horní polovině vědecky nejvlivnějších časopisů na světě. Pokud v dalším neuvedu, tak vždy používám toto základní nastavení. Poměr hodnot uvedených dvou ukazatelů pak zhruba odpovídá publikační produktivitě MUNI v tom kterém oboru FORD, ovšem relativně vůči průměrné produktivitě oboru v Česku. Obory, kde MUNI vykazuje produktivitu průměrnou, se nacházejí kolem 45stupňové osy. Obory v růžovém severozápadním segmentu jsou výrazně nadproduktivní (více než dvojnásobek celostátního průměru). Naopak obory v jihovýchodním šedivém segmentu vykazují produktivitu výrazně nízkou (menší než poloviční).

Co to vidí moje oči

Vše si můžete nastavit a zobrazit v aplikaci sami nebo sledovat grafy zde. V Obrázku 1a mnohé překvapí, že relativně nejproduktivnější obory na MUNI jsou dva společenskovědní: Political Science a Sociology. Tyto obory se totiž nachází na nejstrmější spojnici s počátkem grafu. Zároveň jde o obory, jejichž celonárodní autorské podíly MUNI patří v rámci MUNI mezi nejvyšší. Blízké celonárodnímu průměru jsou na MUNI personálně Physical Sciences a naopak personálně velký je obor Psychology and Cognitive Sciences. Lehounce podprůměrně produktivní jsou na MUNI Chemical Sciences, Biological Sciences, Clinical Medicine, Health Sciences a Basic Medicine.

 

Obrázek 1a: Nejvýznamnější obory na MUNI

Zde musím ujasnit jednu veledůležitou věc. Obrázek 1a ukazuje relativní oborové publikační produktivity, tedy vzhledem k celostátnímu průměru produktivity oboru. Takže, jestliže MUNI vychází v oborech Sociology a Political Sciences jako relativně produktivní, platí to pouze ve vnitrostátním srovnání. Nutně to tedy neznamená, že tyto obory na MUNI jsou po stránce publikační produktivity nadprůměrné i ve srovnání mezinárodním. A zrovna v případě těchto dvou oborů si jsem jist, že MUNI by ve srovnání s většinou známějších univerzit západní Evropy moc dobře nedopadla. Lze to mimochodem odhalit i z dat posledního národního Hodnocení'19 dle Metodiky 2017+. Obrázek X, který jsem z těchto dat dal před časem dohromady, to dokladuje. Ukazuje, že publikační výkon Česka ve vědecky vlivnějších skupinách společenskovědních časopisů představuje pouhopouhých cca 20 % průměrného výkonu zemí EU15 (po zohlednění rozdílných populací).

Určitě je skvělé být v Česku v oboru nadprůměrně produktivní, a MUNI si za to zaslouží uznání, ale rozhodně to neznamená přední místa v Sociologii a Political sciences v západní Evropě, natož ve světě. Za solidní pozici těchto oborů v rámci Česka totiž MUNI bohužel vděčí hlavně nízké průměrné úrovni a malé velikosti těchto oborů ve zbytku Česka. V tabulce aplikace si můžete všimnout, že celkový počet článků MUNI v těchto oborech je pouze kolem padesátky (za tři roky!) a těch v horní polovině žurnálu jen kolem dvou desítek. I personálně jde vůči oborům přírodních věd o malé počty. Takže pozor na malé počty.

 

Obrázek X: Společenské vědy: Publikační výkon Česka v relaci k průměru zemí EU15 v rámci skupin WoS časopisů dle jejich vědeckého vlivu.

Dá se to říci i jinak. Za velmi dobrý výsledek v oborech Political Science a Sociology MUNI do velké míry vděčí chabé publikační produktivitě v těchto oborech ostatních českých vysokých škol, ústavů Akademie věd ČR a ostatních výzkumných organizací. V Chemical Sciences a Computer Information Sciences má MUNI naopak ve zbytku Česka mnohem větší konkurenci. Tyto posledně zmíněné české obory jsou také mnohem bližší relacím zemí EU15, jak vidíte na Obrázku Y.

Obrázek Y: Přírodní vědy: Publikační výkon Česka v relaci k průměru zemí EU15 v rámci skupin WoS časopisů dle jejich vědeckého vlivu.

Směrem k excelenci

Obrázek 1a na ose Y ukázal publikační výkon v horní polovině vědecky nejvýznamnějších časopisů v oboru. Co když nás ale bude zajímat publikační excelence, tedy podíly v horní čtvrtině časopisů? V tabulce aplikace si stačí k zobrazení vybrat patřičný sloupec a dostaneme Obrázek 1b. Pozice oborů se nám krapet změnily. Výrazný posun do růžové zóny vidíme u Sociology. Naopak do průměru se propadl obor Political Sciences.

 

Obrázek 1b: Na ose Y národní podíl MUNI na publikačním výkonu oboru ve čtvrtině vědecky nejvlivnějších oborových časopisů. Na ose X národní podíl MUNI na počtu publikujících autorů v oboru.

V aplikaci se můžeme podívat, jak si MUNI vede ve špičce časopisů nejšpičatější, tedy v horních 10 % top oborových časopisů. Vidíte to na Obrázku 1c. Zde společenské vědy na MUNI zcela propadají. Je to tím, že MUNI se v nejužší světové špičce časopisů těchto oborů publikovat zatím nedaří. Zbytku Česka se to sice také moc nedaří, ale něco málo špičkových publikací se napříč Českem přeci jen urodí.

 

Obrázek 1c: Na ose Y národní podíl MUNI na publikačním výkonu oboru v desetině vědecky nejvlivnějších oborových časopisů. Na ose X národní podíl MUNI na počtu publikujících autorů v oboru.

Obory pod lupou

Mnohé asi teď napadne otázka, které fakulty MUNI k těm solidním výsledkům ve společenskovědních oborech vlastně přispívají. Není nic snadnějšího, než si v menu aplikace vybrat konkrétní obor a aktivovat zobrazení na úrovni součástí (fakult).

Sociology

Pro obor Sociology dostaneme Obrázek 2a. Za pozoruhodným celostátním výsledkem MUNI v oboru Sociology tedy stojí Fakulta sociálních studií MUNI. Ta dokonce olizuje hranici růžové zóny velmi vysoké produktivity. Všimněte si na ose X, že celonárodní oborový podíl autorů MUNI v tomto oboru činí necelých 10 %, zatímco celonárodní oborový podíl MUNI na publikačním výkonu (ve vlivnější polovině oborových časopisů) činí více než 20 %. Příspěvky Přírodovědecké a Pedagogické fakulty MUNI v tomto oboru jsou pak zanedbatelné.

Ale zde připomínám, co jsem zdůraznil už na začátku, že za solidní úroveň publikační produktivity MUNI v tomto oboru do velké míry vděčí nízké průměrné kvalitě a malému rozsahu oboru ve zbytku Česka.

 

Obrázek 2a: Obor Sociology. Na ose Y národní podíl MUNI na publikačním výkonu oboru v horní polovině vědecky nejvlivnějších oborových časopisů. Na ose X národní podíl MUNI na počtu publikujících autorů v oboru.

Education

Na první pohled se zajímavě na MUNI jeví obor Education - viz Obrázek 2b. I zde se jako vysoce publikačně nadprůměrná jeví Fakulta sociálních studií MUNI, až za ní pak Filozofická fakulta MUNI. Obě fakulty jsou co do národních podílu publikujících autorů v oboru poměrně malé. V šedé zóně grafu velmi nízké produktivity napravo vidíme naopak Pedagogickou fakultu MUNI, kde sice působí více než 14 % autorů publikací v rámci Česka (osa X), ale k celonárodnímu publikačnímu výkonu přispívají pouze necelými 5 % (osa Y). Ale tyto analytické úvahy je lepší hodit do koše, protože diskutované podíly publikací jsou založeny na minimu publikací (celkem pouze 20 a v horní polovině časopisů na 7 - za tři roky).

V tomto oboru na MUNI mimochodem působí 367 autorů. Je jasné, že publikují všude možně, ale skoro vůbec v časopisech JCR WoS. Publikují asi v časopisech na indexu Scopus či formou monografií, kapitol a sborníků. A znalci navíc vědí, že v oboru Education jsou příležitosti k publikování i v solidních Scopus časopisech pro evropské (neamerické) autory výrazně lepší než v časopisech na indexu WoS. Takže u tohoto oboru na silnějšími závěry dávejte velkého bacha! Prostě jakmile ty absolutní počty spočítáte pouze na prstech dvou rukou a dvou nohou, čert ví, co ty výsledné podíly znamenají.

 

Obrázek 2b: Obor Education. Na ose Y národní podíl MUNI na publikačním výkonu oboru v horní polovině vědecky nejvlivnějších oborových časopisů. Na ose X národní podíl MUNI na počtu publikujících autorů v oboru.

Psychology and Cognitive Sciences

Jako další se podívejme na obor Psychology and Cognitive Sciences. I zde za velmi solidní publikační produktivitu může MUNI děkovat již zmiňované Fakultě sociálních studií MUNI. Například Filozofická fakulta MUNI, která má necelou polovinu autorů, nepublikovala v publikacích JCR WoS oboru téměř nic. A Pedagogická fakulta MUNI v tomto oboru, pro mě překvapivě, téměř nemá nejen publikace WoS (v horní polovině časopisů dle vlivu!), ale ani publikující autory.

 

Obrázek 2c: Obor Psychology and Cognitive Sciences. Na ose Y národní podíl MUNI na publikačním výkonu oboru v horní polovině vědecky nejvlivnějších oborových časopisů. Na ose X národní podíl MUNI na počtu publikujících autorů v oboru.

Computer and Information Sciences

Jako poslední obor ke srovnání jsem si v Obrázku 2d vybral Computer and Information Sciences. Zde k publikačnímu výkonu MUNI dominantně přispívá tamní Fakulta informatiky. Její publikační produktivita je zhruba na celostátním průměru: jak celonárodní podíl autorů MUNI, tak podíl článků MUNI, dělají zhruba 10 %. Několik z dalších součástí MUNI sice také přispívá, ale mnohem méně.

 

Obrázek 2d: Obor Computer and Information Sciences. Na ose Y národní podíl MUNI na publikačním výkonu oboru v horní polovině vědecky nejvlivnějších oborových časopisů. Na ose X národní podíl MUNI na počtu publikujících autorů v oboru.

Na posledním Obrázku 2e vidíme všechny významnější fakulty českých vysokých škol právě v oboru Computer and Information Sciences. Pozici MUNI a její fakulty již známe. Velmi podobná velikostí i produktivitou je Univerzita Karlova (CUNI). Oboru však autorskou velikostí dominuje pražské ČVUT, které je autorsky zhruba tak velké, jako MUNI a CUNI dohromady. ČVUT vykazuje publikační produktivitu mírně nadprůměrnou. Za pozornost a další zkoumání v tomto oboru stojí velmi produktivní, ale personálně malinká Univerzita Palackého (UPOL) v růžové zóně (stopa vede na tamní Přírodovědeckou fakultu).

Ale v oborech souvisejících s IT pozor na to, že běžným uznávaným publikačním výsledkem jsou i sborníkové články, které zde zachyceny nejsou, ale jejich autoři ano. Velikost problému do určité míry snižuje to, že se srovnání organizací dělá v rámci oboru.

 

Obrázek 2e: Obor Computer and Information Sciences. Na ose Y národní podíly významných škol oboru na publikačním výkonu oboru v horní polovině vědecky nejvlivnějších oborových časopisů. Na ose X národní podíly na počtu publikujících autorů v oboru.

Political sciences

Tento obor si už v aplikaci proklepněte sami. MUNI vychází relativně dobře hlavně díky tomu, že personálně obrovská pražská VŠE velmi snižuje průměrnou produktivitu tohoto oboru.

Něco může haprovat

Bibliometrie je dobrá, ale neodhalí zdaleka vše a může být i zavádějící. Se silnějšími závěry je proto třeba opatrnosti, protože například:

• Počty, a tedy i podíly, publikujících autorů v oboru mohou být zkreslené. Jde ale hlavně o míru zkreslení. Zde čelíme metodologickému problému, že nic takového jako reálný počet autorů, který bychom více či méně přesně odhadovali, neexistuje. Někteří vědci totiž publikují ve více než jednom FORD oboru, přestože obory FORD jsou poměrně široké. Větší nepřesnosti se dopustíme v případě pracovišť s nízkým počtem autorů a publikací, jako třeba v našem případě Sociology a Political Sciences a tutově v oboru Education. Při větších počtech se totiž chyby spíše +/- pokrátí. I proto jsem z grafů odfiltroval školy s méně než 20 články v oboru, ale i to je na hraně.
• Za články pracoviště v časopisech na indexu JCR WoS do velké míry stojí základní výzkum, byť obsah článků může být i empirický. Na pracovištích se však v různé míře dělá i výzkum aplikovaný, který se do podoby článků promítá výrazně méně. Takže část z pozorovaných rozdílů v publikační produktivitě pracovišť může být dána jejich rozdílným poměrem základního a aplikovaného výzkumu. Podle mé intuice ale na úrovni vysokých škol existuje pozitivní korelace mezi publikační produktivitou základního a produktivitou aplikovaného výzkumu. Takže ve výsledku diskutované zkreslení často pracuje spíše v neprospěch těch lepších pracovišť. Jinými slovy, produktivnější pracoviště na mých obrazcích jsou ve skutečnosti možná ještě produktivnější.
• Podobné zkreslení mohou způsobovat (ne)publikující doktorandi. Škola, jejíž doktorandi publikují, ale ne v časopisech JCR WoS nebo publikují jen v těch méně významných, bude vykazovat více autorů, ale méně špičkových publikací, tedy nižší produktivitu. Naopak vyšší produktivitu bude vykazovat škola, jejíž doktorandi moc nepublikují.
• V některých oborech může publikační výkon v časopisech na indexu JCR WoS dávat příliš zkreslený obrázek skutečnosti:

1. V některých technických oborech hrají významnou roli konferenční sborníky. Hlavně v oborech, kde je dynamika nových objevů a jejich zastarávání velmi vysoká, jako například v oblasti počítačů. Sborníkové články však naše aplikace nepostihuje.
2. V sociologii je i ve světě běžný standard publikovat formou monografií, vedle článků v časopisech na indexu JCR WoS. I zde si ale dovolím tvrdit, že pracoviště publikující část svých věcí v kvalitních časopisech na indexu JCR WoS publikují zároveň i kvalitní monografie. Naopak nebude mnoho pracovišť, která sice publikují skvělé monografie, ale v JCR WoS časopisech publikují málo nebo vůbec.
3. Máme obory jako Law či Education, kde index časopisů JCR WoS dostatečně nepokrývá solidní časopisy, respektive solidní časopisy vydávané mimo USA a orientované obsahově i na svět mimo USA. Ale i zde si dovolím přidat intuitivní názor, že pracoviště schopné publikovat v časopisech indexu JCR WoS bude mít dobré i ostatní typy publikací. Podle mého budeme těžko hledat pracoviště, které sice bude dobré v článcích na indexu Scopus, ale bude špatné v článcích na indexu JCR WoS.
4. V humanitních oborech jsou i ve vyspělém světě články v časopisech na indexu JCR WoS spíše výjimkami než pravidlem. I proto jsem z grafů všechny humanitní obory raději vyřadil, byť by se nad výsledky dumat dalo.
5. Některé velké obory FORD jsou vnitřně hodně heterogenní po stránce organizace a "technologie" výzkumů, jako jsou například velikosti týmů a přirozené publikační. Mám na mysli třeba velké FORD obory Physics nebo Chemistry. Takže srovnání počtu autorů a výsledků napříč podbory může výsledky dost zkreslit (ano, ta o jabkách a hruškách). Pak může být vhodnější se na tyto obory na MUNI podívat v detailnější oborové struktuře WoS Categories. Naše aplikace to umí, takže koukněte na Obrázek 3. Ale po dalších stopách si už musíte jít analyticky sami, protože jsem již psaním vysílen.

Obrázek 3: Na ose Y národní podíl MUNI na publikačním výkonu oboru ve čtvrtině vědecky nejvlivnějších oborových časopisů. Na ose X národní podíl MUNI na počtu publikujících autorů v oboru. (oborová typologie WoS Categories; počty autorů odvozeny pouze z publikací WoS)

 

Autor: Daniel Münich

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz 

---

1. Autoři jsou do oborů přiřazeni jednoznačně tak, že jde o obor, kde autor publikoval většinu svých publikací. Zde je důležité, že pro zjištění dominantního oboru autora se berou v úvahu všechny typy publikací. Tedy nejen články v časopisech na indexu JCR WoS, ale i články v recenzovaných časopisech jako jsou ty ve Scopusu, sborníky, monografie a kapitoly v nich.