Daniel Münich: České výzkumné organizace pod drobnohledem

Třeba, že na Univerzitě Karlově jsou v národním srovnání relativně nejproduktivnější personálně malé obory společenských věd. Jinými slovy: velké a dobře viditelné nutně neznamená kvalitní. A co je špička v Česku, ještě nemusí být špičkou v mezinárodním srovnání.

Podrobné použití aplikace je vysvětleno ve videu dostupném v apce nahoře vpravo nebo pomocí legendy pod značkami „?".

Příbalový letáček

V českém výzkumném prostoru i v hodnocení se často velmi volně operuje s veličinami. Někdy si i renomovaní docenti a profesoři bez uzardění pletou publikační výkon s produktivitou, jakoby ve fyzice nebyl rozdíl mezi rychlostí a zrychlením. Proto raději zrekapituluji 3 veličiny, kterými budu dále operovat.

Publikační výkon: Vyjadřuje počet článků publikovaných za určité období. Vždy jde o výkon v konkrétním oboru, protože sčítat články napříč obory je jako sčítat borůvky a melouny. Navíc vždy rozlišuji publikační výkon podle renomé, respektive vědeckého významu časopisů. Ve vědě totiž více než jinde platí, že kvantita není kvalita. Publikační výkon sám o sobě není měřítkem kvality pracovišť, protože přirozeně koreluje s počtem vědců. Personálně velká pracoviště totiž přirozeně vykazují i hodně publikací.

Publikační produktivita: Publikační produktivita představuje počet článků za určité období připadající na publikující autory určitého pracoviště v určitém oboru.

Počet publikujících autorů: Informace o počtech autorů pracoviště je nezbytná pro určení již zmíněné publikační produktivity. Bez toho nelze produktivitu spočítat. Je absurdní, že v národním hodnocení výzkumných organizací podle Metodiky 2017+ se ještě donedávna organizace známkovaly bez informací o jejich oborových personálních kapacitách. V aplikaci se pracuje s počtem vědců působících na určitém pracovišti s alespoň jednou publikací jakéhokoliv typu (článek, kniha, kapitola) v RIVu. Aplikace nabízí několik metod odhadu. V mém srovnání používám Metodu Y. Ta sčítá personální oborové publikační podíly autorů pracoviště.

Stav oboru Economics and Business

Jako příklad jsem si vybral Ford obor Economics and Business, do kterého osobně vidím nejvíce.

Graf 1a srovnává autorské velikosti pracovišť (na ose X) s publikačním výkonem v horní čtvrtině vědecky nejvlivnějších časopisů (skupina Q1) na ose Y. Na obou osách grafu se ukazují celonárodní oborové podíly pracovišť v procentech. Sklon imaginární čáry směřující od počátku grafu k bodu daného pracoviště pak vyjadřuje jeho publikační produktivitu v časopisech Q1. Čím produktivnější pracoviště, tím severozápadněji (proti chodu hodinových ručiček) se nachází. Zelená přerušovaná čára 'CZ' potom ukazuje průměrnou publikační produktivitu oboru v časopisech Q1 v ČR. Kdykoliv v dalším textu používám termín relativní produktivita, mám na mysli produktivitu pracoviště v poměru k průměru oboru v ČR.

Graf 1a: Počty autorů a článků v nejvlivnější čtvrtině časopisů v oboru (celonárodní podíly)

Vidíme, že personálně největší Vysoká škola ekonomická v Praze (VŠE), s ohledem na svou velkou velikost (cca 13% podíl na autorech oboru v ČR), vykazuje celonárodně lehce podprůměrný podíl článků v časopisech skupiny Q1. Personálně o třetinu menší Vysoká škola báňská-Technická univerzita Ostrava (VŠB-TUO) naopak vykazuje produktivitu mírně nad českým průměrem. Ještě vyšší produktivitu v rámci univerzitního sektoru vykazuje ještě menší Masarykova univerzita. Zdaleka nejvyšší produktivitu v sektoru vysokých škol vykazuje personálně středně velká Univerzita Karlova (UK). Nejvyšší produktivitu v rámci celé ČR ovšem vykazuje Národohospodářský ústav AV ČR (NHÚ; mé pracoviště), který je v oboru personální trpaslík. Na tomto srovnání je vidět, jak může ignorování rozdílů personální velikosti pracoviště zkreslit závěry o kvalitě jejich výzkumu, pokud sledujeme pouze publikační výkon.

Graf 1b nabízí stejné srovnání jako Graf 1a s tím rozdílem, že na osách X a Y vidíme absolutní počty autorů a článků. Sklon imaginární čáry směřující od počátku k bodu daného pracoviště nyní vyjadřuje absolutní publikační produktivitu v časopisech Q1. Ale i zde platí, že čím produktivnější pracoviště, tím severozápadněji se nachází. Relativní pozice pracovišť v Grafu 1b je stejná jako v Grafu 1a, ale nyní v něm odečteme personální velikosti. I zde přerušovaná čára 'CZ' vymezuje celonárodní průměr produktivity v časopisech Q1.

Graf 1b: Počty autorů a článků v nejvlivnější čtvrtině časopisů v oboru (absolutní počty)

V Grafech 1a,b ale absentuje srovnání publikační produktivity oboru se světem. Mezinárodní srovnání je však první novinkou letošní aktualizace aplikace. Vyžaduje ale specifické nastavení, které ukazuje Obrázek 1 a zelená zvýraznění v něm. Musíme se smířit s tím, že:

1. srovnán bude pouze český publikační výkon v posledních dvou letech 2021-2022;
2. se budou počítat fyzické kusy článků;
3. oborové zařazení článků bude odvozeno od oborového zařazení časopisů;
4. odhad počtu autorů bude odvozen pouze od počtu autorů článků v časopisech na indexu WoS.

Obrázek 1: Speciální nastavení pro aktivaci srovnání se zeměmi EU15 a post-com

Při tomto nastavení je Graf 1c obdobou Grafu 1b, ale zobrazuje navíc linie průměrné oborové produktivity v zemích EU15 (červeně) a postkomunistických (post-com, žlutě). Pozice pracovišť jsou oproti Grafu 1b poněkud jiné, protože se změnily parametry (i) až (iv). Například se v grafu nově objevuje České vysoké učení technické (ČVUT) jako personálně malinké, ale vysoce produktivní. Při podrobnější inspekci článků ČVUT v Q1, které si můžete stáhnout pomocí menu vpravo nahoře, se ukáže, že jde většinou o články, které do oboru Economics and Business nevhodně zařazuje vládní převodník oborů WoS<->Ford. Publikační produktivitu nad průměrem zemí EU15 vykazují pouze tři už zmíněné organizace: UK, VŠB-TUO a NHÚ. Také je zřejmé, že průměrná produktivita oboru v ČR je výrazně pod průměrem EU15. Ale zároveň je diametrálně vyšší, než produktivita v post-com zemích. Nízké produktivitě post-com zemí je blízká personálně v ČR největší VŠE a dalších pět vysokých škol, ale personálně mnohem menších.

Graf 1c: Počty autorů a článků v nejvlivnější čtvrtině časopisů v oboru (absolutní počty). Alternativní nastavení podmínek oproti Grafům 1a a 1b

Oborová produktivita pracovišť

Jak jsem vysvětlil v úvodu, oborové produktivity pracovišť jsou zásadní pro zhodnocení výzkumných pracovišť. I proto byla aplikace rozšířena o srovnání publikačních produktivit. Nabízí ho sekce Grafy produktivity. Na ukázku uvádím Graf 2a produktivity pracovišť v nejvlivnější čtvrtině časopisů (Q1) v oboru Economics and Business. Vidíme, že rozdíly v produktivitě jsou diametrální.

Graf 2a: Absolutní produktivita pracovišť v nejvlivnější čtvrtině časopisů v oboru Economics and Business

Aplikace kromě absolutních produktivit nabízí i vyjádření v procentech zemí EU15 a post-com. To první ukazuje Graf 2b. Vidíme, že produktivita prvních čtyř českých organizací je vysoko nad průměrem zemí EU15 (178 % až 350 %). Zde si ale musíme uvědomit, že průměr EU15 zahrnuje i země jako Řecko, Španělsko a Itálie, jejichž publikační produktivita v oboru je nízká.

Graf 2b: Relativní produktivita pracovišť v nejvlivnější čtvrtině časopisů v oboru Economics and Business (vyjádřeno v procentech zemí EU15)

Obory pracoviště: případ Univerzity Karlovy

Jiný vhled aplikace nabízí v případě, že si v menu vyberete pouze jedinou organizaci. V tom případě si můžete srovnat všechny obory v jednom grafu. Jako příklad uvádím mou Univerzitu Karlovu. Graf 3a ukazuje (podobně jako Graf 1a) celonárodní oborové podíly autorů na ose X a podíly na článcích Q1 na ose Y. Jde o všechny větší obory Univerzity Karlovy.

Graf 3a: Počty autorů a článků v nejvlivnější čtvrtině časopisů oborů Univerzity Karlovy (celonárodní podíly)

Nejdříve si všimněme relativní personální velikosti oborů UK na ose X.

• Personálně relativně největší obory na UK představují více než 1/3 všech autorů v oboru v ČR: Law (38,9 %), Basic Medicine (37.6 %) a Media and Communications (35.2 %).
• Nejméně produktivní (v relaci k průměru ČR) jsou na UK obory Law, Sociology a Health Sciences.
• Blízko průměrné produktivitě v ČR jsou na UK obory Basic Medicine, Social and Economic Geography, Biological Sciences, Chemical Sciences, Computer and Information Sciences.
• Relativně nejproduktivnější obory na UK jsou Education, Political Sciences a Economics and Business. Například obor Education je na UK podobně produktivní jako obor Mathematics. Zde si musíme uvědomit, že jde o oborově specifická srovnání produktivit. Výjimečné postavení UK v oboru Education je dáno velmi nízkou produktivitou tohoto oboru ve zbytku ČR. Obory Political Sciences a Economics and Business přitom patří k personálně relativně nejmenším v ČR (viz další odstavec).

I zde je dobré se na situaci podívat očima absolutních počtů autorů a článků. Graf 3b na ose X ukazuje absolutní počty autorů působících v oborech Ford na UK.

Graf 3b: Počty autorů a článků v nejvlivnější čtvrtině časopisů oborů Univerzity Karlovy (absolutní počty)

Zde si musíme pamatovat, že absolutní produktivity (danou sklonem čar) nesmíme napříč obory srovnávat, protože to nedává smysl. Vidíme, že pozice personálně největších oborů se oproti Grafu 2a prohodily. Například na UK relativně největší obor Basic Medicine se v absolutních číslech propadl na třetí místo uvnitř UK. Naopak se na druhé místo v UK vyšvihl obor Biological Sciences. Není to překvapivé, obor Biological Sciences se totiž v ČR pěstuje na velkém počtu v oboru personálně velkých pracovišť. V absolutních číslech je tedy obor na UK velký, ale jeho celonárodní podíl je výrazně menší.

Trendy

Již předchozí verze aplikace nabízela dlouhodobé trendy počtu autorů publikačního výkonu od roku 2008. Nově nabízí i změnový graf, jako je Graf 4a. Stejně jako Graf 1a srovnává celonárodní oborové podíly pracovišť na autorech (osa X) a na článcích Q1 (osa Y). Rozdíl je v tom, že pro každé pracoviště ukazuje změnu mezi obdobím 2007-2011 a 2018-2022.

Graf 4a: Změny celonárodních oborových podílů autorů a článků v nejvlivnější čtvrtině časopisů na Univerzitě Karlově mezi lety 2007-2011 a 2018-2022

Vidíme zajímavé pohyby a stagnace:

• Řada společenskovědních oborů na UK se z extrémně vysokých úrovní produktivity propadla směrem k národnímu průměru (Social and Economic Demography, Education, Psychology and Cognitive Sciences, Political Sciences). Je to dáno tím, že publikační produktivita se v těchto oborech ve zbytku ČR v daném období velmi výrazně zvýšila z velmi nízkých hodnot.
• Relativní produktivitu na UK výrazně zvýšil obor Law, ale jeho produktivita v počátečním období byla nulová.
• Byť obor Economics and Business na UK svůj celostátní náskok v produktivitě v letech 2008-2011 ještě o něco zvýšil, nadále zůstává personálně relativně z nejmenších oborů na UK.

Dlouhodobou personální expanzi oborů na UK ukazuje Graf 4b. Neukazuje národní podíly UK, ale absolutní hodnoty:

Graf 4b: Změny počtu autorů a článků v nejvlivnější čtvrtině časopisů na Univerzitě Karlově mezi lety 2007-2011 a 2018-2022

• K obrovským personálním růstům došlo ve všech přírodovědních oborech UK, od malých, jako Mathematics, až po obrovské personální nárůsty v Chemical Sciences, Biological Sciences a Physical Sciences.
• K obrovským personálním nárůstům, jak absolutně tak relativně, došlo na UK ve všech třech medicínských oborech Health Sciences, Basic Medicine a Clinical Medicine.
• Největší personální expanze na UK v oborech Basic Medicine a Biological Sciences nedoprovázelo zvýšení publikační produktivity v Q1. V oboru Physical Sciences personální expanzi doprovázel výrazný pokles produktivity. Naopak v oborech Mathematics, Earth and related enviromental sciences personální expanzi doprovázel růst produktivity. V oboru Economics and Business narostla produktivita bez personální expanze.
• U většiny personálně malinkých společenskovědních oborů v letech 2007-2011 vidíme na UK spíše další personální stagnaci. Jistý posun je vidět v oborech Law a Media and Communications. Tam se ale zřejmě hlavně zvýšil podíl publikujících akademiků.

A teď hurá, můžete podobně proklepnout pracoviště (až do úrovně fakult) a obory podle vlastního vkusu a zájmu. Ale vězte, že aplikace toho umí mnohem více. Různá alternativní nastavení najdete v menu. Pokud budete mít nápady na nějaké další užitečné funkcionality, napište nám.

 

Autor: Daniel Münich

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz.

Příspěvky z rubriky Blogy a komentáře nijak nevyjadřují názory a postoje redakce.