Nezávislé informace o vědě a výzkumu

Mezinárodní srovnání akademického publikačního výkonu: dobrý sluha, ale špatný pán

5. 4. 2018
Mezinárodní srovnání akademického publikačního výkonu: dobrý sluha, ale špatný pán

Výrok Francise Bacona: „Peníze jsou dobrý sluha, ale špatný pán“ lze přenést na řadu dalších případů, mimo jiné i na mezinárodní srovnání akademického publikačního výkonu v letech 2010-2014 v časopisech registrovaných ve WOS a jeho dopadů ve vybraných zemích, které provedli Daniel Münich a Taras Hrendash z myšlenkového tanku IDEA při Národohospodářském ústavu AV ČR.

V informaci na webové stránce Akademie věd se praví:

Experti z think-tanku IDEA CERGE-EI při Národohospodářském ústavu AV ČR vyvinuli webovou aplikaci pro srovnání publikačního výkonu. Okruh jejích uživatelů je rozmanitý – od akademiků přes vlády až po zájemce o doktorské studium. Oborové srovnání vědeckého výzkumu zemí na základě rozsahu a významu publikací je v takto uživatelsky flexibilní podobě unikátní.

Podle Daniela Münicha informace v aplikaci mohou hledat akademici při navazování zahraniční spolupráce a vlády při hledání vědních oblastí pro hledání vhodných partnerských zemí pro rozvoj bilaterální spolupráce – například, když chce vláda podpořit rozvoj slabého, ale strategicky důležitého oboru cestou partnerství s jinou zemí, ve které je daný obor na špici. Podobně informativní může být aplikace pro zájemce o doktorské studium v zahraničí.

„Většina lidí včetně akademiků při obrovském nedostatku informací v této oblasti žije do velké míry z dojmů o pozici jejich a dalších zemí, co se týká vědeckého publikačního výkonu a jeho vědeckého významu. Aplikace například přehledně odhaluje, jak publikačně pozadu je zatím náš společenskovědní výzkum, oproti třeba Izraeli či skandinávským zemím. Na druhé straně ale také odhaluje, ve kterých několika málo oborech chemie a průmyslových technologií jsme na tom naopak velice dobře.“

Nemám nic proti tomuto srovnání a jeho autoři odvedli v rámci svých možností solidní práci, ale varuji před bezhlavým využitím výsledků tohoto srovnání bez hlubšího pochopení způsobu výzkumu a publikační praxe v tom kterém oboru. Obzvláště škodlivé by bylo, kdyby výsledky srovnání vzali do ruky vládní úředníci a snažili se na základě toho rozhodovat, který obor je třeba preferovat a který nikoliv. Své varování budu ilustrovat na mém oboru, fyzice elementárních částic, v aplikaci založené na databázi WOS nazývaném Physics, Particles & Fields, v němž, jak uvidíme, dává srovnání drasticky zkreslený obraz, který nemůže pomoci ani akademikům ani vládě a je třeba ho ignorovat.

Nejdříve poznámka k oborovému členění. Je třeba mít na paměti, že obory ve WOS jsou obory časopisů, které nemají jednoznačný vztah ke skutečným vědním oborům. Tak například ve fyzice je „obor“ Physics, multidisciplinary, i když žádný takový obor neexistuje a přitom jsou do něj a jen do něj zařazeny špičkové časopisy jako jsou Physical Review Letters nebo Physics Letters, v nichž existují sekce odpovídající skutečným oborům. K časopisům oboru Physics, Particles & Fields je dále z nepochopitelných důvodů zařazen Living Review of Relativity, který má daleko největší AIS a přitom se jedná o časopis patřící spíše do Astronomy a Astrophysics. Především ovšem jde o časopis, kde se nepublikují původní výsledky, ale výučně přehledné články na pozvání. Podobný charakter má i Annual Review of Nuclear and Particle Physics, který má druhý nevyšší AIS. Tyto dva časopisy tvoří v oboru Physics, Particles & Fields první decil, který je tím pádem pro původní články nedostupný. To je také důvod, proč v prvním decilu nemá v tomto oboru viditelný počet článků žádná ze zahrnutých zemí.

Pro srovnání bylo vybráno 16 zemí: Česko, Belgie, Rakousko, Portugalsko, Švédsko, Chorvatsko, Estonsko, Slovinsko, Holandsko, Nový Zéland, Izrael, Dánsko, Finsko, Slovensko, Maďarsko, Polsko, přičemž počty prací jednotlivých zemí 

  • neberou v úvahu počty autorů dané práce z jednotlivých zemí a
  • jsou přepočteny na počet obyvatel České republiky.

První krok je nutný, neboť počty autorů z jednotlivých zemí nejsou z databáze WOS snadno dostupné. Druhý krok se zdá rozumný, ale jen na první pohled, v případě oboru Physics, Particles & Fields je to v kombinaci s prvním krokem naopak hlavní důvod, proč srovnání podává falešný obraz o relativní výkonnosti/kvalitě tohoto oboru ve vybraných zemích, který je na skutečnou úroveň jednotlivých zemí téměř kolmý. Připomeňme počty obyvatel vybraných zemí (v milionech v pořadí podle počtu):

Polsko 38
Nizozemsko 17
Belgie 11,5
ČR 10,6
Portugalsko 10,3
Švédsko 10
Maďarsko 9,7
Rakousko 8,8
Izrael 8,8
Dánsko 5,8
Finsko 5,5
Slovensko 5,5
Nový Zéland 4,9
Chorvatsko 4,2
Slovinsko 2,1
Estonsko 1,3

Představa, že čím více obyvatel, tím potenciálně více článků, by platila za předpokladu, že články vznikají v malých kolektivech, které se mezinárodně příliš nepřekrývají. V oboru Physics, Particles & Fields je ovšem situace zcela jiná.

A nyní k výsledkům srovnání v tomto oboru. I laikovi je asi na první pohled divné, že z něj vyplývá, že bezkonkurenční jedničkou je Slovinsko, následováno a výrazným odstupem Estonskem a to opět s velkým odstupem Dánskem a těsně za ním Chorvatskem a Portugalskem. Pak vyrovnaná pětice Belgie, Rakousko, Česko, Finsko, Švédsko. Úplně nejhorší je Polsko a i Slovensko je lepší než Nizozemsko a Izrael. Přitom všichni odborníci by se bezpochyby shodli na tom, že skutečná úroveň oboru a jeho význam v mezinárodním srovnání je bezpochyby nejvyšší v Nizozemsku, následovaném trojicí Izrael, Dánsko, Švédsko.

Důvod, proč výše uvedené srovnání vede k tak drasticky zkreslenému dojmu, je jednoduchý a týká se právě způsobu, jak je výzkum v tomto oboru prováděn. Již zhruba třicet let, a v poslední době stále více, je tento obor z hlediska publikačního výkonu dominován několika málo velkými mezinárodními kolaboracemi, které provádějí výzkum v hlavních centrech fyziky částic. V současné době jde především o tři megakolaborace (ATLAS, CMS a ALICE) využívající urychlovač LHC v CERN, kolaboraci BELLE na urychlovači KEK v Japonsku a v období zahrnutém v tomto srovnání i kolaborace D0 na urychlovači Tevatron v USA, který skončil provoz v roce 2011. Každá z těchto kolaborací produkuje či produkovala ročně 50-100 článků publikovaných v nejlepších časopisech a účastní se jí týmy z celého světa. Například publikace kolaborace ATLAS, na němž se významně podílí i ČR, mají více než 3000 spoluautorů z cca 180 institucí z celého světa. Na dvou největších kolaboracích, ATLAS a CMS, se podílí týmy ze všech zemí zahrnutých do srovnání a většina z nich dokonce na obou. V důsledku toho jsou počty článků přepočtené na počet obyvatel zcela irelevantní. Zásadní rozdíl mezi jednotlivými zeměmi pak není v počtu publikací, ale primárně ve velikosti týmů, které na experimentech pracují. Tak například na prácích kolaborací ATLAS a CMS, v nichž byl oznámen objev Higgsova bosonu, bylo 11 autorů ze Slovinska, 12 z Chorvatska, 9 z Estonska, 64 z ČR a 275 z Německa. Kdyby bylo do srovnání zařazeno i Německo, vyšlo by z něj ještě daleko hůře než Polsko, které také „trpí“ tím, že je ve srovnání s ostatními zeměmi podstatně větší. A z podobného důvodu je na tom Nizozemsko daleko hůře než ministáty Slovinsko a Estonsko. Za uvedených okolností by věrnější obraz podávalo srovnání, v němž by počty článků nebyly normalizovány na počet obyvatel. Skutečný věrný obraz ovšem nelze získat jen na základě snadno dostupných bibliometrických údajů bez podrobné znalosti velikosti a významu příspěvků jednotlivých zemí do velkých mezinárodních kolaborací.

Závěr

Výsledky mezinárodního srovnání v oboru Physics, Particles & Fields jsou zcela nepoužitelné pro jakýkoliv smysluplný závěr o relativní úrovni a výkonnosti jednotlivých zemí v oboru Physics, Particles & Fields a je třeba je ignorovat. Jak smysluplné je toto srovnání v jiných oborech, nemohu posoudit, ale domnívám se, že před jejich použitím by se i nad nimi měli zamyslet příslušní odborníci.

 

Autor: Jiří Chýla