Byla zveřejněna první porce výsledků Hodnocení'18. Oproti loňskému a v podstatě pilotnímu kolu se toho bohužel moc nezlepšilo. Hlavním předmětem bibliometrického hodnocení zůstaly matoucí a téměř zbytečné kvalitativní publikační profily a nesmyslné průměrné citační indexy. Opravdu užitečné informace o tom, jak si české vědní obory vedou, z hodnocení nevyčteme. Užitečné srovnání publikační výkonnosti Česka a zemí EU 15 v časopisech různého vědeckého významu si člověk musí vyrobit sám.
Hodnocení 2018 podle Metodiky 2017+ se snad s příchodem podzimu 2019 konečně chýlí k závěru. Nedávno byla zveřejněna část výsledků. Jednak peer-review zhodnocení vybraných výsledků v tzv. Modulu I [nahlédnout je lze pomocí nevládních aplikací zde a zde] a na bibliometrii založeném zhodnocení výzkumných organizací (zatím nezveřejněno) a oborů v tzv. Modulu II. Hodnocení v Modulu II je založeno na všech vědeckých článcích v časopisech indexovaných databázích Web of Science a Scopus. Jako člen panelu jsem se nechtěl k podkladům hodnocení v průběhu hodnocení veřejně vyjadřovat. Nyní, po zveřejnění, přišel čas. Na úvod si všímám bibliometrického zhodnocení oborů. Příznačné je, že si výsledky musíte nejdříve opět stáhnout jako ZIP soubory a pak otevřít jako soubory PDF. Po nějaké interaktivnosti, kterou nabízí moderní technologie, ani vidu.
Zásadní problém bibliometrických zpráv zůstal
Základem bibliometrických zpráv oborů zůstaly kvalitativní profily publikačního výkonu oborů na obrázku níže. Oproti loňsku pouze přibyl profil starých členských zemí EU15.
Pro zvětšení klikněte
Místo aby se sledovalo, zda české obory adekvátně publikují v časopisech s vysokým impakt faktorem (AIS), tedy v horní desetině časopisů (Decil) a horních dvou čtvrtinách (Q1 + Q2) a nakolik to koreluje s českým personálním zázemím oborů a výší institucionální podpory, je pozornost vládních reportů soustředěna na tvar publikačního profilu a průměrnou hodnotu indexu AIS (to poslední si už najdete jistě sami). Že tyto dva indikátory do velké míry indikují hlavně (ne)přítomnost v Česku či na Slovensku vydávaných časopisů v databázi WoS, jsem zde vysvětloval již mnohokrát [1 | 2 | 3 | 4 | 5]. Ve srovnání s tím jsou známé nedokonalosti impakt faktorů jen slabým odvárkem. Ale je to marný, je to marný, je to marný.
Tvar vládního profilu skoro o ničem užitečném nevypovídá. Přesto se na něj opět soustředila velká pozornost panelů. Jak už jsem zmínil, tvar profilu je zásadním způsobem ovlivněn tím, zda databáze WoS (ne)indexuje lokálně vydávané časopisy v daném oboru. Pokud je v oboru indexován jeden či více česko-slovenských časopisů, obor téměř automaticky vykazuje abnormálně vysoký podíl článků českých autorů ve dvou nejméně významných čtvrtinách časopisů databáze WoS. A podle zákonů trojčlenky, takový obor musí vykazovat nízký podíl výsledků v časopisech významných. V tehdejším blogu jsem si dal na práci a dokonce nakreslil reálný příklad. Ale je to marný, je to marný, je to marný.
Protože problém s vládními profily stále chápe jen málokdo, vyrobil jsem tentokrát ještě polopatičtější příklad. Na obrázku níže vidíte dvě hypotetické situace českého publikačního profilu oboru. Situace #1 ukazuje případ, kdy databáze WoS české oborové časopisy v oboru indexuje, zatímco v Situaci #2 nikoliv. Tvar českých kvalitativních profilů (modře) obou Situací se pak diametrálně liší. Odlišnost je ale dána pouze tím, že v Situaci #2 WoS české nebo slovenské časopisy neindexuje, takže Česko v nejnižší skupině časopisů Q4 vykazuje nízký počet 20 článků. Naopak v Situaci #1 je těchto článků záplava 200 kousků. Reálný rozdíl v publikační výkonnosti Česka mezi Situací #1 a #2 však neexistuje. Srovnání českého a EU15 vládního profilu je prostě k ničemu. Žádný užitečný závěr z tohoto srovnání udělat nelze, spíše lidi mate.
Pro zvětšení klikněte
Důležité naopak je, jak se oproti EU15 Česku daří publikovat v horní polovině, respektive v horních dvou čtvrtinách oborových časopisů (Decil, Q1, Q2). K tomu ale potřebujeme srovnání s publikačními výkony zemí EU15 v Decilu, Q1 a Q2. Pro srovnatelnost navíc musíme zohlednit, že populace Česka představuje pouhých 2,5 % populace zemí EU 15. Takže jsem si takové srovnání musel udělal sám a vidíte ho na grafu níže. Jde také o profily, ale mají úplně jiný význam, než ty ve vládním hodnocení.
Pro zvětšení klikněte
Graf výše ukazuje, že po zohlednění populačních rozdílů mezi Českem a EU15 se celkový publikační výkon Česka ve společenských vědách (sekce CELKEM v grafu napravo) v časopisech podle jejich významu pohybuje v rozmezí pouhých 19 - 49 % průměru zemí EU15. Příčin bude zřejmě celá řada: (i) nízká finanční podpora společenskovědních oborů, (ii) malý počet vědců v této oblasti, (iii) nízká publikační produktivita oborové skupiny. Jakým dílem k tomu jednotlivé faktory přispívají můžeme i s vládním hodnocením v ruce jen hádat.
EU15 dáváme publikačně na frak pouze ve skupině nejméně významných časopisů (šedé sloupce, Q4). Český publikační výkon v nich představuje neuvěřitelných 155 % výkonu EU15. Samozřejmě za to v Česku může i extrémně vysoká intenzita publikování v lokálních časopisech (Q4). V oborově nejvýznamnějších časopisech (tmavě červené a oranžové sloupce; Decil, Q1, Q2) český publikační výkon dosahuje necelých 20 %. Ano, pouhé jedné pětiny normálu EU15. To je hodně velká ztráta na hlavní peleton, o které jsem ale zde již mnohokrát psal [1 | 2 | 3].
Extrémně vysoké šedé sloupce (Q4) vidíme v oborech, kde je v Česku nebo na Slovensku vydáván jeden či více časopisů indexovaných WoS. Jde o obory Economics and Business, Sociology, Psychology, Political Sciences, Social and Economic Geography. V nich totiž čeští autoři snadno a masivně publikují a časopisy někdy vydává i jejich vlastní pracoviště. Pokud by tyto časopisy WoS indexovány nebyly, čeští vědci by v nich skoro jistě publikovali tak jako tak, jen by tyto články nevstupovaly do vládního kvalitativního profilu. To je případ oborů Law, Education, Media and Communication. Proto mají nízké šedé sloupce. Tyto obory ve vládní bibliometrické zprávě podle vládních profilů (pozor, definované plně jinak než ty mé) vycházejí docela pěkně. Ve skutečnosti jsou na tom ale vůči EU15 ještě hůře než obory Economics, Sociology a Psychology.
Seznam českých a slovenských společenskovědních časopisů na indexu WoS
Dalších dílčích nedostatků v bibliometrických zprávách oproti loňsku zůstala dlouhá řada (kdysi jsem sepsal doporučení potřebných změn):
- Panely letos obdržely bibliometrické zprávy s ještě větším zpožděním než minule. Loni to bylo na přelomu ledna a února, letos až v první polovině června. Práce tedy dorazila až v období akademických prázdnin. To sice nevylučovalo práci jednotlivců, ale zásadně to omezilo možnost společného jednání a ladění přístupů.
- Zastaralé technologické zázemí hodnocení se bohužel od loňska nezlepšilo. Bibliometrické zprávy měly nadále podobu neinteraktivních PDF souborů rozesílaných e-mailem. O interaktivní on-line aplikaci, která byla slibována, nebylo a stále není ani vidu, ani slechu.
- V pravidlech hodnocení zůstal nedobrý úzus, že za komentáře k oborové zprávě je zodpovědný jediný člověk-panelista, který svůj pohled na věc s panelem nemusí konzultovat.
- Bibliometrické zprávy nadále ukazují pouze fyzické počty publikací. Nezohledňují tedy autorské podíly. V případě některých oborů to je ale dost podstatné.
- Zprávy nadále operují se srovnáním průměrných impakt faktorů časopisů kde články vyšly, které nenese žádnou užitečnou informaci a lidi spíše mate (i zde za vše může ne-indexace českých a slovenských časopisů WoS).
Vylepšení bibliometrických zpráv oproti loňsku moc není
K podkladovým informacím byly proti loňsku na poslední chvíli doplněny počty vědeckých pracovníků na úrovni výzkumných organizací. Je to lepší než dřívější nic, protože bez informace o rozsahu vstupů se o vědecké produktivitě nedá nic zjistit. U oborově úzce zaměřených ústavů AV ČR je informace o počtu vědeckých pracovníků užitečná. Jenomže srovnávat pak lze jen oborově podobně zaměřené ústavy, které z podstaty neexistují. A pro hodnocení vysokých škol či jejich fakult není údaj o počtu vědeckých pracovníků za celé vysoké školy skoro k ničemu, protože nerozlišuje mezi obory. Jediná úžeji oborově zaměřená vysoká škola u nás je totiž pouze Vysoká škola ekonomická...
Nejsou lidi
Můj pohled je samozřejmě hodně kritický. Cítím se ale povinován uvést, že odbor Rady pro výzkum, vývoj a inovace při úřadu vlády byl s nástupem nové vládní garnitury postupně, ale velmi výrazně omezen ve své činnosti výraznými rozpočtovými škrty a personálním oslabením. Takže možná budeme do budoucna za pouhé udržení současné podoby bibliometrie pro Hodnocení 2019 ještě moc rádi.
Autor: Daniel Münich
Článek byl publikován 15. října 2019 na webu metodikahodnoceni.blogspot.cz.
