Daniel Münich upozorňuje v blogu Ekonomický a vědecký publikační výkon zemí na nové mezinárodní oborové srovnání vědeckého publikačního výkonu, jehož je společně s Tarasem Hrendashem, Štěpánem Jurajdou a Stanislavem Kozubkem autorem.
Na rozdíl od předchozího mezinárodního srovnání toto bere kromě rozdílné velikosti zemí v potaz i jejich ekonomický výkon a výdaje na vědu. Také posouvá uvažované časové okno o dva roky na období 2012-2016 a, co je nejdůležitější, zahrnuje daleko širší okruh zemí, včetně těch vědecky nejvýkonnějších. Na konci textu Münich čtenáře sice správně varuje
"A jako vždy důležité varování: Pozor na obory, kde se běžně vyskytují obrovská autorská konsorcia, jako je například nukleární fyzika a astrofyzika a některé medicínské obory. Tam může být spoluautorství země na publikacích hodně zavádějící, protože může a nemusí korelovat s úrovní a rozsahem skutečného přínosu výzkumu dané země."
ale autoři dali své udělátko k dispozici veřejnosti, aniž se pokusili kriticky posoudit smysluplnost výsledků jejich srovnání. Je to podobné, jako kdyby počítačový programu byl dán jeho autorem k užívání, aniž by ho odladil a našel bugy, které jsou v každém programu. To odlaďování se provádí tak, že se program pustí na co nejvíce případů, kde víme, jak má výsledek vypadat. Nic takového autoři udělátka bohužel neprovedli a můj předchozí i tento blog není vlastně nic jiného než „odlaďování“ jejich srovnání. Nejde samozřejmě o hledání formálních chyb, ale posouzení, slovy Dana Münicha „zda srovnání koreluje s úrovní a rozsahem skutečného přínosu výzkumu dané země“.
K předchozímu srovnání jsem napsal kritický blog Mezinárodní srovnání akademického publikačního výkonu: dobrý sluha, ale špatný pán, jehož cílem bylo upozornit na to, že takto zpracované srovnání vede v „mém“ oboru Particles and Fields, k nesmyslným výsledkům, které vážně zkreslují skutečné postavení té které země v mezinárodním kontextu. Nebudu opakovat, jak k tomu v mém oboru dochází, jen připomenu, co jsem uvedl na závěr:
Kdyby bylo do srovnání zařazeno i Německo, vyšlo by z něj ještě daleko hůře než Polsko, které také „trpí“ tím, že je ve srovnání s ostatními zeměmi podstatně větší. A z podobného důvodu je na tom Nizozemsko daleko hůře než ministáty Slovinsko a Estonsko.
Nové srovnání moje očekávání potvrdilo a nutnost kritického posouzení výsledků srovnání v každém oboru ještě podtrhlo. Základní důvod, proč v mnoha oborech toto srovnání nepřináší použitelné informace a spíše případného uživatele zmate, je v tom, že počty článků v dané kategorii (z hlediska identifikace kvalitního výzkumu primárně v prvním oborovém kvartilu časopisů v databázi WOS) jsou normalizovány na počet obyvatel dané země. To může na první pohled vypadat správně a přirozeně, ale ve skutečnosti to často vede k dramatickému zkreslení skutečného významu výzkumu dané země v daném oboru v celosvětovém kontextu. V dnešní globalizované vědě již neplatí, že počet článků dané země v daném oboru je úměrný počtu jejích obyvatel, ale daleko více se odvíjí od počtu mezinárodních kolaborací, které výzkum provádějí. V této situaci má i malá země možnost podílet se na mnoha mezinárodních kolaboracích a vzhledem k tomu, že toto ani jiná srovnání nezohledňují důležitost příspěvku té které změně k danému článku, má tak i malá země možnost dosáhnout srovnatelných počtů článků, jako velké země. Mezi státy zahrnutými do srovnání jsou i USA a Island, který má tisíckrát méně obyvatel než USA. Každý článek, na němž je třeba padesát Američanů a jeden Islanďan má při srovnání tisíckrát menší váhu pro USA než pro Island, konkrétní příklad níže. Podívejme se na výsledky srovnání počtu článků v prvním kvartilu v několika pro naše prostředí důležitých oborech.
Particles & Fields: V tomto oboru se nejvíce projevuje globalizace vědy, jak jsem jí nastínil obecně výše. Za Švýcarskem, pro jehož prvenství je jasný důvod (v Ženevě sídlí CERN, největší světová laboratoř fyziky elementárních částic), je nejlepší Estonsko a Slovinsko. I vědecké instituce ministátů jsou totiž členy velkých mezinárodních experimentů v CERN a výsledky těchto zemí je po normování na počet obyvatel vynesou do čela peletonu. V následujícím hlavním balíku jsou blízko sebe státy se zhruba srovnatelnými počty obyvatel (5-10 milionů) jako je ČR, Slovensko, Řecko, Maďarsko, Rakousko, Švédsko, Finsko, Norsko, které se všechny podílejí na experimentech v CERN a mají proto zhruba stejné výsledky. Velké státy jako jsou Německo, Francie, Velká Británie citelně zaostávají za touto skupinou a jako sedláci u Chlumce dopadly Spojené státy a Japonsko. Ve všech těchto případech je výsledek zhruba nepřímo úměrný počtu obyvatel. Tak například na práci kolaborace ATLAS, v níž byl oznámen objev Higgsova bosonu, bylo 9 autorů z Estonska a 275 z Německa. Přesto tato a každá jiná publikace kolaborace ATLAS přispěla k normalizovanému počtu publikací Estonska 60krát větším číslem než Německu, protože Estonců je 60krát méně než Němců. Skutečnost, že Island je i po normalizaci na počet obyvatel na stejné úrovni jako USA a má tedy tisíckrát méně publikací v prvním kvartilu než USA je důsledkem skutečnosti, že žádná z institucí Islandu se neúčastní experimentů v CERN, USA a Japonsku. Kdyby se nějaké účastnila, byť jediným pracovníkem, byl by Island bezkonkurenčně první.
Astronomy & Astrophysics: Jako v tomto oboru, kde je Island nejlepší, dokonce i před Švýcarskem. USA jsou opět daleko na chvostu, jen o kousek před Estonskem, nic moc ani Francie, Německo a Itálie, tedy právě ty státy, které spolu s USA hrají v této oblasti prim. Vysvětlení je i v tomto případě prosté a názorně ilustruje to, co jsem výše uvedl obecně. G. Jóhannesson, pracovník Centra pro astrofyziku a kosmologii Islandské univerzity v Reykjaviku se podílí jako jediný Islanďan a to ještě jen s poloviční afilací na činnosti velké mezinárodní kolaborace Fermi Large Area Telescope, která na sondě na oběžné dráze kolem Země zachycuje fotony vysokých energií. Tato kolaborace čítá cca 120 fyziků převážně z amerických univerzit. Po normalizaci na počet obyvatel Islandu tohle stačí na to, aby ze srovnání vyšel na prvním místě, čtyři koňské délky před USA. Estonsko ani Slovinsko se žádného takového experimentu neúčastní, proto jsou vzadu. Hodně vysoko je Chile s téměř nulovými náklady, protože Chile lze označit za hlavní město astronomie. V důsledku přírodních podmínek (jasná obloha a vysoké hory) je zde téměř polovina světových astronomických observatoří, které staví a financují ostatní státy a sídlí zde mimo jiné i Evropská jižní observatoř.
Physics, Fluids & Plasmas: opět nejlepší Island před Švýcarskem, Švédskem, Velkou Británií a Nizozemskem, USA o dost vzadu i za ČR, která je na úrovni Německa. Japonsko ještě horší, na úrovni Estonska a Lotyšska. Zcela v rozporu s realitou.
Physics-Condensed Matter: Za Švýcarskem hned Izrael, Korea a Dánsko, USA na úrovni Rakouska a Velké Británie, Francie ztrácí i na Island, ČR těsně za Japonskem na úrovni Řecka dost vzadu.
Geochemistry & Geophysics: tady je Island v důsledku svých přírodních podmínek ideálních pro geofyziku zaslouženě daleko vepředu.
Computer Science-Theory & Methods: daleko vepředu Izrael před Islandem a Švýcarskem, Rakouskem a Austrálií, USA v balíku s Francií, Švédskem, Nizozemskem, Řeckem, ČR. Německo zaostává, Japonsko beznadějně vzadu.
Biology: USA, Německo, Francie za všemi skandinávskými zeměmi včetně Islandu, na úrovni Irska, ČR vzadu před Japonskem.
Molecular Biology: i zde Island před USA, Německem, Velkou Británií a Francií, jež jsou na úrovni Estonska výrazně za všemi skandinávskými zeměmi, Japonsko s Itálii na úrovni ČR daleko vzadu.
Biochemistry & Molecular Biology: USA, Německo, Francie za všemi skandinávskými zeměmi včetně Islandu na úrovni Estonska, ČR s Japonskem, Slovinskem, Itálií a Koreou vzadu.
Evolutional Biology: Island hned za Švýcarskem, USA, Německo i Francie daleko vzadu za všemi skandinávskými zeměmi na úrovni ČR, ale za Estonskem, Japonsko a Itálie v nedohlednu.
Genetics & Heredity: Island opět nejlepší, v tomto případě dokonce o pět koňských délek před celým pelotonem, včetně Švýcarska, USA, Francie a Německo daleko vzadu, Japonsko úplně na chvostu. Estonsko před Velkou Británií a daleko ČR. Nejsem genetik, ale na webu jsem našel informaci o deCode Genetics se sídlem v Reykjaviku, globálním lídrovi ve výzkumu lidského genomu, jejíž publikace jsou i v Nature Index. Island je prý pro genetiky velmi zajímavý, protože jeho obyvatelstvo je geneticky homogenní a existuje rozsáhlá a podrobná lékařská databáze rodin důležitá pro zkoumání role dědičnosti. Takže v tomto případě nejde jen o důsledek normalizace na počet obyvatel.
Plant Science: zde je ČR v popředí na úrovni Rakouska, Švédska, Finska a Nizozemska, daleko před USA, Japonskem a Itálií. Za námi je i Francie a Německo.
Sociology: v čele Velká Británie, Nizozemsko a Dánsko, USA jen těsně před Islandem, Německo a hlavně Francie horší než Estonsko a Slovinsko, ČR na chvostu, ale před Japonskem.
Z předchozího je myslím zjevné, že mezinárodní oborové srovnání vědeckého publikačního výkonu, tak jak je provedeno, nepřináší ve většině oborů smysluplný a použitelný výsledek. Aby mělo popsané srovnání skutečnou vypovídající hodnotu, je minimálně třeba ho doplnit o oborové srovnání počtu článků zemí bez normalizace na počet obyvatel. Jakmile bude mít uživatel k dispozici i toto srovnání, snadno pozná, odkud vane vítr. Vyrobit příslušné obrázky by mělo být triviální.
Aby si uživatel mohl na základě takto doplněného srovnání utvořit kvalifikovaný obraz o skutečné publikační výkonnosti jednotlivých zemí, bylo by ovšem třeba srovnání doplnit o informaci o formách výzkumu a publikační praxi v daném oboru, zvláště s ohledem na mezinárodní kolaborace zhruba v rozsahu mých poznámek k oborům Particles & Fields a Astronomy & Astrophysics. To by sice dalo trochu práce a mělo by smysl dělat jen pro obory, v nichž se u nás provádí nezanedbatelný výzkum, ale určitě by bylo velmi užitečné. Jaký smysl má naopak prezentovat mezinárodní srovnání například v „oboru“ Education – Special, jemuž vévodí zase Island se svými 4 publikacemi (počet na ose y je třeba u Islandu dělit třemi), nebo Engineering – Aerospace, kde je v čele Izrael těsně následován, jak jinak, Islandem, daleko před USA a ČR je na nule? A to nemluvím o tom, že vůbec nemá smysl srovnání v multidisciplinary „oborech“, které nejsou skutečnými vědeckými obory, ale obory časopisů WOS. Jako obvykle, méně by bylo více.
Autor: Jiří Chýla
