Které české výzkumné organizace nejvíce přispívají k světově nejvlivnějšímu výzkumu v tom kterém oboru? Kde naopak dominuje kvantita vědeckých článků na úkor kvality? Ve kterých oborech se špičkový výzkum koncentruje na jednom pracovišti a kde je rozptýlen? V jakých oborech se v Česku špičkový výzkum nedělá? Na co si dát pozor, co je smutné, varující a co je paradoxní? Toto a řádu dalších věcí si můžete zjistit a případně ověřit v nové aplikaci IDEA, pracující s údaji z roku 2017.
IDEA spustila novou interaktivní aplikaci srovnávající oborové publikační výkony výzkumných organizací včetně součástí vysokých škol. Za pozornost stojí, že:
- Obsahuje výsledky z roku 2017, aktuálnější než výsledky vládního Hodnocení'17.
- Umožňuje volbu čtyř oborových typologií.
- Rozlišuje publikační výkon v časopisech podle jejich vědeckého vlivu.
- Umožňuje sledovat publikační výkon bez i se zohledněním autorských podílů.
- Umožňuje odfiltrovat publikace velkých kolaborací, kde je přínos pracoviště nejasný.
- Nabízí srovnání celých sektorů vysokých škol, Akademie věd ČR a Ostatních.
Aplikace poprvé v historii nečerpá z dat národního hodnocení výzkumných organizací, ale z databáze RIV. Důvod je prostý. Kafemlejnkový způsob hodnocení skončil Hodnocením'16, které naposled poskytlo konsolidovaná data výsledků z let 2011-2015. Prvního hodnocení podle nové Metodiky'17+, tedy Hodnocení'17, už konsolidovaná data nevyplivlo. K dispozici jsou na webu pouze příliš stručné XLS tabulky (ZIP soubor OBORY Bibliometrie články WoS - komplet zip).
Než si začnete hrát
Aplikace má nově zabudovaného interaktivního průvodce uživatele. Než si však začněte s aplikací hrát je dobré vědět následující:
- Oborová struktura RIV byla státem opuštěna, takže obor RIV lze u nových výsledků zjišťovat pouze pomocí oborového převodníku RIV <--> <--> Ford. Lze si volit mezi aktuálně používanou oborovou typologií Ford, opuštěnou RIV a navíc externí WoS Categories. Ta poslední se ale používá vždy k identifikaci relativního pořadí časopisů v oboru na základě hodnot jeho citačního skóre.
- Aplikace ukazuje pouze a právě publikační výkon (počty publikací v roce 2017), což je něco úplně jiného než by byla publikační produktivita (počet publikací vztažený buď k počtu vědců nebo objemu financí), kterou aplikace rozhodně neukazuje, přestože skoro každý touží vidět právě to.
- Pokud chceme zjistit, kde se v Česku dělá v určitém oboru nejlepší výzkum, pak se jako nejvhodnější ukazatel nabízí oborový podíl pracoviště na publikačním výkonu v horní desetině (Top 10%) či horní čtvrtině časopisů na základě jejich AIS skóre.
Kvalitativní profily publikačního výkonu pracovišť podle oborového pořadí AIS skóre časopisu aplikace neukazuje. Nejsou totiž důležité a jsou zavádějící. Psal jsem o tom již dříve [1|2|3]. Kvalitativní tvar publikačního profilu pracoviště totiž výrazně ovlivňuje například (ne)existence lokálních časopisů ve WoS v daném oboru, (ne)existence článků doktorandů, (ne)vykazování výsledků v málo významných časopisech, atd.
Pokud chcete zjistit, kde se dělá hodně málo-významného výzkumu, nastavte si publikační výkon v méně významné polovině oborových časopisů. Aplikace už vám však bohužel neřekne, proč má určité pracoviště v málo vlivných časopisech tak vysoký publikační podíl. Ale vězte, že to může být dáno například tím, že:
- Pracoviště daný časopis samo (spolu)vydává a nevadí mu v něm výrazně publikovat.
- Pracoviště má hodně doktorandů od kterých se požadují články ve WoS časopisech bez ohledu na význam resp. úroveň časopisů.
- Pracoviště mělo hodně GAČR, TAČR a dalších českých grantů, kde se kladl důraz na počet čárek za publikace než na úroveň časopisů resp. publikovaných článků.
- Pracoviště dojíždí na vlně kafemlejnku a preferuje publikační kvantitu před kvalitou. Na mnoha pracovištích, hlavně vysokých škol, ostatně doporučená habilitační kritéria zahrnují prosté počty článků, takže potom je každá publikace dobrá a ty málo významné se přece dají sekat mnohem rychleji.
- Spíše teoretické vysvětlení je, že pracoviště sice špičkový výzkum dělá, ale ze záhadných důvodů ho ve významných časopisech nepublikuje.
Nature Index jako bonus
Jako specialitku jsme tentokrát přidali i publikační výkon v časopisech tzv. Nature Indexu [1|2|3|4]. Na prvním místě publikačního výkonu je Matfyz Univerzity Karlovy (podíl na publikačním výkonu 26,5 %) s Fyzikálním ústavem AV ČR v těsném závěsu (podíl 24,6 %) a pak Přírodovědeckou fakultou Masarykovy univerzity (podíl 18,1 %) a dále ÚOCHB (podíl 17,2 %). Obr 1a.
Obr 1a: Podíly pracovišť na publikačním výkonu v časopisech Nature Indexu
Zajímavé je, že když odfiltrujeme články velkých mezinárodních kolaborací s počtem autorů 30+ (kde se skutečný přínos pracoviště velmi špatně odhaduje), Matfyz UK (16,7 %) spadne o tři místa propadne a Fyzikální ústav (21,8 %) poskočí na první místo před druhou Přírodovědeckou fakultu MU (17,9 %). Je to tím, že Matfyz UK má disproporčně vysoký podíl publikací mezinárodních megakolaborací, které se vyskytují v oblasti nukleární fyziky a astrofyziky, kde je Matfyz výrazně zapojen. Obr 1b.
Obr 1b: Podíly pracovišť na publikačním výkonu v časopisech Nature Indexu (bez článků s počtem autorů 30+)
Pár příkladů
Exemplární příklad
Jako ukázkový příklad jsem zvolil WoS Category obor Chemistry, Analytical. Česko má i mezi Top 10% časopisů téměř 30 článků. Výrazně nejvyšší podíl na tomto výkonu má sice Ústav analytické chemie AV ČR (18,8 %), ale za ním je dlouhá řada dalších ústavů a součástí VŠ s rovnoměrně rozloženými publikačními příspěvky. Obr 2.
Obr 2: Podíly pracovišť na publikačním výkonu v Top10% časopisech WoS Category Chemistry, Analytical
Paradoxní příklad
Nejvyšší podíl na publikačnímu výkonu v horní čtvrtině časopisů Ford oboru Sociology mají paradoxně pracoviště, která by člověk nečekal. Paradox lze snadno vysvětlit tím, že česká sociologická pracoviště v oborově nejvlivnějších časopisech na světě v podstatě nepublikují. Ten pár publikací, co se do srovnání dostal (sloupeček napravo) byl publikovaný ve víceoborových časopisech, kde kromě dalších vystupuje i sociologie. Jde tedy o publikační příspěvek českých pracovišť a vědců, kteří se primárně sociologií nezabývají. Obr 3.
Obr 3: Podíly pracovišť na publikačním výkonu v horní čtvrtině časopisů ve Ford oboru Sociology
Velmi podobná situace je ve Ford oboru Psychology. Mezi Českou špičku tam kvůli publikační absenci pedagogických a psychologických pracovišť výkon dělá několik málo článků z víceoborových časopisech.
Varující příklad
Jako varující jsem zvolil případ RIV oboru BH - Elementární částice a fyzika vysokých energií. Pořadí dle podílu na publikačním výkonu ve vlivnější polovině časopisů se na prvních místech velmi liší podle toho zda (ne)odfiltrujeme výsledky velkých mezinárodních autorských kolektivů. Obr 4a,b.
Obr 4a: Podíly pracovišť na publikačním výkonu v horní polovině časopisů v RIV oboru BH - Elementární částice a fyzika vysokých energií
Obr 4b: Podíly pracovišť na publikačním výkonu v horní polovině časopisů v RIV oboru BH - Elementární částice a fyzika vysokých energií (bez článků s počtem autorů 30+)
Sebepropagační příklad
V RIV oboru AH - Economics mají nejvyšší podíl v Top10% Národohospodářský ústav AV ČR (36 %) a CERGE UK (28 %), tedy společné pracoviště CERGE-EI (celkem 54 %). Když doplníme Fakultu sociálních věd, také z Univerzity Karlovy s 22,7 %, dostaneme za tato pouhá tři sobě blízká pracoviště 3/4 podíl na celém špičkovém výkonu Česka v oboru. Zvolíme-li měřítko KUSY tak zjistíme, že jak NHÚ AV ČR tak CERGE UK se autorsky podílelo na vysokých 78 % těchto výsledků. Obr 5a,b.
Obr 5a: Podíly pracovišť na publikačním výkonu v Top 10% časopisů v RIV oboru AH - Ekonomie
Obr 5b: Autorské podíly pracovišť na publikacích v Top 10% časopisů v RIV oboru AH - Ekonomie
Smutný příklad
Smutným příkladem je Ford obor Education, kde Česká republika (Komenský atd) nemá ani jediný článek v Top10 %. Když snížíme nároky na celou horní polovinu časopisů, dostaneme jen hubených deset článků. Obr 6a,b,
Obr 6a: Počty článků a podíly pracovišť na publikacích v Top 10% časopisů ve Ford oboru Education
Obr 6b: Počty článků a podíly pracovišť na publikacích v horní polovině časopisů ve Ford oboru Education
Alternativy zatím nejsou
V IDEA podobná srovnání pro veřejnou potřebu děláme již řadu let. První vlaštovkou byla neinteraktivní studie vydaná v roce 2015. Ta předposlední na datech z let 2011-2015 z posledního kafemlejnkového Hodnoceni'16 již interaktivní byla.
Jedinou alternativou k aplikaci IDEA je bibliometrická informační opora nového systému vládního hodnocení výzkumných organizací v podobě zaZIpovaných oborových bibliometrických zpráv z prvního roku hodnocení podle nové Metodiky'17+. Ta jednak obsahuje starší výsledky z roku 2016 a je zatím v rané fázi vývoje. Již dříve jsem zde psal o hlavních nedostatcích:
- Informace jsou rozeseté hluboko ve spoustě PDF souborů a špatně se v tom hledají.
- Publikační výkon nezohledňuje autorské podíly, což někdy znamená podstatný rozdíl.
- Přemíra zbytečných až zavádějících informací (jako například mediánová srovnání).
- Jsou ignorovány případy mezinárodních autorských megakolaborací, kdy publikační výkon počítaný navíc na fyzické kusy nic nevypovídá.
Autor: Daniel Münich
Článek byl publikován na webu metodikahodnoceni.blogspot.cz.
