Hodnocení'17 výzkumných organizací podle nové Metodiky 2017+ se zamilovalo do kvalitativních tvarů publikačního výkonu oborů. Byla to láska na první pohled. Došla tak daleko, že se tvar publikačního profilu stal jedním z klíčových parametrů celkového hodnocení. Tvar profilu je sice dobré znát, ale jako míra může být velice zavádějící. Určitě věrohodně nevypovídá ani o kvalitě oboru, ani o kvalitě výzkumné organizace.
Naštěstí se výsledky Hodnocení'17 mají považovat pouze za indikativní. V tomto blogu, na základě čísel, polopaticky ukazuji, že tvar publikačního profilu sám o sobě nespolehlivým ukazatelem kvality vědního oboru či výzkumné organizace je (klikem na obrázky se vám tyto zvětší).
Co je to kvalitativní tvar publikačního profilu?
Nejdříve fast-food vysvětlení pro nováčky, kteří se potřebují v tématu nejdříve zorientovat.
Hodnotit vědu podle kvality vědeckých článků není snadné. Hodnocení většího počtu článků jinými vědci je zdlouhavé a hlavně je hodně drahé a nakonec ani není dokonalé. I proto se šiknou bibliometrické ukazatele, které na základě citovanosti a počtu publikací umožňují odhadovat kvalitu, respektive význam vědeckých výsledků také. Byť také nejsou dokonalé, ostatně při hodnocení vědy není dokonalé nic, jejich použití je přinejmenším levné a hlavně rychlé.
Odhadnout kvalitu vědeckého článku lze třeba na základě vědeckého vlivu časopisu, kde byl článek odborně posouzen, přijat a otištěn. A vliv vědeckých časopisů se měří různými indexy, například indexem AIS. Ten odvozuje vliv časopisu ve světové vědecké komunitě na základě citovanosti článků v časopise otištěných. Hodnoty indexu AIS přitom velmi dobře korelují s tím, jak význam časopisů vnímá světová vědecká komunita.
Takže hurá! Teď už to je k vysvětlení kvalitativního publikačního profilu kousek. Řekněme, že nás zajímá český profil v oboru Biological Sciences. Vezmeme tedy články autorů z Česka v časopisech tohoto oboru a seřadíme si je podle hodnot AIS časopisů, kde vyšly. Musíme strpět, že hodnoty AIS jsou spočítány pouze pro významnější časopisy, které vede databáze JCR Web of Science (dále jen WoS). Například nové národní Hodnocení'17 rozlišuje podle vlivu pět skupin časopisů: nejvyšších 10 % a pak čtvrtiny (kvartily) - pomocí zkratek D1, Q1, Q2, Q3, Q4. Pak už jen stačí články českých vědců v biologii zařadit do těchto pěti skupin a zobrazit jejich četnosti v grafu. Dostaneme tak kvalitativní publikační profil oboru. Na Obrázku 1a je porovnán profil České republiky (červený) s profilem světa (modrý). Vidíme, že česká věda ve vlivnější polovině oborových časopisů oboru publikuje v Biological Sciences menší podíl článků WoS než svět. Opačně je tomu například v oboru Civil Engineering na Obrázku 1b.
Obrázek 1a: Příklad kvalitativního profilu oboru Biological Sciences z výsledků Hodnocení'17
Obrázek 1b: Příklad kvalitativního profilu oboru Civil Engineering z výsledků Hodnocení'17
Kromě problému, kterému věnuji tento blog, a který vysvětlím dále, je ještě další veledůležitá věc, kterou nemohu nezmínit. Oborové profily jsou založeny na velmi různém počtu článků. Například ve výše uvedeném oboru Civil Engineering se v Česku ročně publikuje pouze kolem 100 článků. Vedle toho v oboru Biological Sciences článků 2 500, což je diametrální rozdíl (viz Obrázek 1c). O tom, zda je určitý obor v Česku skutečně dobrý nevypovídá tvar profilu, ale srovnání počtu článků v horní polovině vlivnějších časopisů (po zohlednění publikační frekvence atd.) s tím, kolik vědců v oboru v Česku působí a kolik veřejné podpory do oboru směřovalo.
Obrázek 1c: Počty článků vědců z Česka v oborech v roce 2016
Co je a není vidět
Pojďme tedy konečně k jádru tohoto blogu. Jde o drobnost, která však má zásadní význam. Tou drobností je skutečnost, že tvar publikačního profilu výrazně ovlivňuje (ne)existence českých a slovenských časopisů v databázi WoS.
Tvar publikačního profilu můžeme kvantifikovat například jako % podíl článků v horní polovině časopisů, tedy v D1+Q1+Q2. Je v Česku obor A lepší než obor B, když obor A vykazuje vyšší podíl článků v D1+Q1+Q2? Tak tohle vůbec není jasné. Tvar profilu totiž výrazně ovlivňuje (ne)existence českých a slovenských časopisů v databázi WoS v tom kterém oboru. Tyto časopisy totiž mají, až na výjimky, ve světě menší až malý vědecký význam a přirozeně nízké hodnoty AIS, takže spadají většinou do skupin Q3 a Q4.
Přehled českých a slovenských časopisů v databázi WoS uvádí studie IDEA a v její příloze najdete i detaily k jednotlivým časopisům. Relativní oborová pořadí časopisů podle hodnot AIS indexu (na ose Y) těchto časopisů ukazují barevné body Obrázku 1d. Velikost bodů vyjadřuje koncentraci článků českých autorů.
Obrázek 1d
Přítomnost českých a slovenských časopisů v databázi WoS namnoze souvisí s dlouhou tradicí časopisů a jejich oborů v Česku. Čeští autoři v nich přirozeně hojně publikují. Mohou to být výzkumy relevantní a užitečné pro místní prostředí, publikace doktorandů plnících publikační kritéria, ale i výsledky kafemlejnkové honby za RIV body. Co z toho platí však z nízkých hodnot AIS nikdo nevyčte. Každopádně přítomnost těchto časopisů ve WoS výrazně nafukuje dvě spodní části českého publikačního profilu oboru.
V oborech bez českých a slovenských časopisů v databázi WoS však Češi ve vědecky méně významných časopisech publikují samozřejmě také, ale do tvaru publikačních profilů se to nepromítá a 'nekazí to fazónu' profilů.
Není nad polopatický příklad
Že tvar profilu o kvalitě oboru či pracoviště nic nevypovídá jsem se snažil vysvětlit již mnohokrát [1 | 2 | 3 | 4]. S ohledem na použitý způsob škálování dle bibliometrických profilů v Hodnocení'17 očividně marně. Tak si zde na pomoc vezmu reálná čísla a příklady.
Vezměme si dva vědní obory: Energy and Fuels a Mining and Mineral Processing. Jde o různé obory, ale v obou čeští vědci publikují i ve vlivnější polovině časopisů (D1+Q1+Q2). Mezinárodní postavení tohoto publikačního výkonu oborů ukazují Obrázky 2a a 2b z této aplikace.
Obrázek 2a: Publikační výkon zemí ve vlivnější polovině časopisů WoS v oboru Energy and Fuels
Obrázek 2b: Publikační výkon zemí ve vlivnější polovině časopisů WoS v oboru Mining and Material Processing
A teď se na Obrázku 3 podívejme, jak vypadají tvary publikačních profilů těchto dvou oborů v Česku. Na vertikální ose je vyneseno ukazatel tvaru profilu - podíl článků autorů z Česka ve vlivnější polovině oborových časopisů na celkovém počtu článků z Česka v oboru ve WoS. Na horizontální ose je vynesen podíl článků českých autorů v českých a slovenských časopisech WoS oboru, opět jako podíl na všech českých článcích WoS. Co tečka to jeden z více než 200 oborů, do kterých databáze WoS řadí časopisy.
Obrázek 3
V oboru Energy and Fuels žádné české a slovenské časopisy databáze WoS neeviduje a proto se obor nachází na ose Y (šedý kroužek). Naopak v oboru Mining and Mineral Processing v Česku a na Slovensku časopisy WoS vychází a většinově tam publikují čeští autoři (46% podíl na ose X, kterému odpovídá hnědý kroužek). Proto se tento obor v Obrázku 3 nachází výrazně napravo od osy Y. Podle tvaru profilu je tedy obor Mining and Mineral Processing diametrálně horší než obor Energy and Fuels: podíl prvního oboru v D1+Q1+Q2 je pouze 43 %, zatímco druhého je vysokých 86 %. V mezinárodním srovnání to ale vypadalo opačně, že!
Takže pozor, teď přijde klíčová pointa blogu! Představte si, že při výpočtu podílu vyneseného na vertikální ose Y články v českých a slovenských časopisech WoS nebudeme brát v úvahu. To imituje situaci, kdyby bývala databáze WoS české a slovenské časopisy nezařadila. Rázem se podíl D1+Q1+Q2 oboru Mining and Mineral Processing vyhoupne na mnohem vyšší úroveň (zeleně kostkovaný kroužek), která je srovnatelná s oborem Energy and Fuels, kde žádné české a slovenské časopisy databáze WoS neobsahuje. Velký posun oboru Mining and Mineral Processing ukazuje hnědá přerušovaná čára. Odpovídá to výraznému 'zlepšení' tvaru profilu tohoto oboru. Je tedy český obor Mining and Mineral Processing kvůli výrazně nižšímu podílu článků ve skupině D1+Q1+Q2 horší než obor Energy and Fuels? Pokud české a slovenské časopisy v databázi WoS nejsou vědecká žumpa, jako že rozhodně nejsou, pak obor Energy and Fuels rozhodně horší není. Tvar profilu nás tedy svedl na scestí.
Obrázek 3 nabízí obdobný příklad oborů Biology a Construction and Building Technology. Obor Biology má v Česku a na Slovensku řadu časopisů v databázi WoS. Možná je dokonce přítomnost českých časopisů databázi WoS nepřímým příznakem tradice a kvality českého biologického výzkumu. V druhém oboru však české a slovenské časopisy zastoupení ve WoS nemají. Velký dopad (ne)započtení článků v česko-slovenských časopisech WoS na tvar českého publikačního profilu oboru Biology ukazuje zelená přerušovaná čára. Je snad Česko v biologii tak špatné a naopak tak dobré v Construction and Building Technology? Samozřejmě to je další nesmysl, ke kterému svádí chybná interpretace publikačního profilu.
Mezinárodní pozici publikačního výkonu D1+Q1+Q2 Česka v obou oborech ukazují Obrázky 4a,b. V oboru Construction and Building Technology se mimochodem v Česku ročně vyprodukuje pětkrát méně článků než v oboru Biology
Obrázek 4a: Publikační výkon zemí ve vlivnější polovině časopisů WoS v oboru Biology
Obrázek 4b: Publikační výkon zemí ve vlivnější polovině časopisů WoS v oboru Construction and Building technology
Suma sumárum
Na základě tvaru publikačního profilu není radno dělat závěry ani o kvalitě vědního oboru v Česku ani o kvalitě výzkumné organizace, která v oboru působí. Navzdory tomu se v Hodnocení'17 takové závěry dělají a hodně silné.
Uvedl jsem pouze pár příkladů. České a slovenské časopisy databáze WoS však najdeme téměř v každém čtvrtém oboru WoS. Ty v Obrázku 3 reprezentují červené tečky napravo od osy Y. U naprosté většiny těchto časopisů o jejich vědecké solidnosti a užitečnosti není pochyb. Ale většina z nich má prostě z pohledu světové vědy vliv a význam nízký až malý. Najdeme mezi nimi směs solidních, velmi slabých až účelově vydaných článků. Případné rozdíly má šanci odhalit jen lidské oko a vědních oborů znalý úsudek - peer-review.
Snad je teď má kritika používání tvaru profilu k hodnocení kvality oboru či pracoviště jasnější. O kvalitě vypovídá mnohem více počet článků v horní polovině (a výše) časopisů dle AIS, ale musíme to navíc ještě zhruba poměřit s tím, kolik vědců se na tomto výkonu podílelo, respektive kolik veřejné podpory na něj směrovalo. A to už se v Hodnocení'17 nebere v potaz vůbec. Aby dávalo smysl, bude třeba Metodikou'17 použité škálování v dalších kolech hodnocení zásadně změnit a bude k němu potřeba sesbírat i lepší, podrobnější a další, údaje.
Autor: Daniel Münich
Článek byl publikován na webu metodikahodnoceni.blogspot.cz.
