Stopařův průvodce národním hodnocením vědy: Modul 2, část A

Polopatičnost snad nepůjde příliš na úkor rigoróznosti. I v zájmu vašeho duševního zdraví si budu všímat spíše jen podstatnějších věcí.

K čemu je dobrý průvodce

Dejte lajk, kdo jste věděl, že zhruba před měsícem byly zveřejněny výsledky každoročního národního hodnocení výzkumných organizací a oborů podle Metodiky 17+. A teď vy, kdo jste si už ty výsledky prošli a máte v nich jasno. Odhaduji, že vás je pomálu. A tuším proč. Důvody vidím čtyři:

• Zveřejnění výsledků není moc propagováno, ani v rámci vysokých škol a AV ČR.
• Výsledky není snadné najít, postahovat, rozzipovat a pak se v nich zorientovat.
• Nemalá část zjištění je buď obtížně srozumitelná, nebo není moc relevantní.
• Reálné dopady dosavadních výsledků hodnocení byly dosud malé, pokud vůbec nějaké.

Začínám proto psát sérii blogů, kde vás uvedu na stopu, upozorním na to důležitější či chybějící, a varuji před chybnými interpretacemi. Můj pohled bude nutně subjektivní. V některých případech budu k současné podobě Metodiky 17+ a ke způsobu zpracování výsledků hodnocení i pozitivně kritický. Chtěl bych ale zdůraznit, že oproti éře kafemlejnku jde o zcela zásadní posun kupředu a další vylepšení Metodiky 17+ jsou už na obzoru. Detaily najdete ve video záznamu z letošní konference k Metodice 17+ a k budoucnosti hodnocení.

Ke kořenům hodnocení dle Metodiky M17+

Současná podoba národního hodnocení podle Metodiky 17+ se datuje od roku 2018. Ta nahradila nechvalně známé hodnocení kafemlejnkové, které se používalo zhruba od roku 2010. Nové hodnocení se dělá každoročně a výsledky najdete zde. Nedejte se zmást číslováním. Například poslední kolo s názvem Hodnocení 2023 reálně proběhlo letos (2024) a byly v něm zhodnoceny vědecké výsledky z let 2018–2022.

Metodika 17+ předepisuje pět různých hodnocení, která probíhají v pěti tzv. Modulech. Já se chci v průvodci věnovat hlavně hodnocení v Modulech 1 a 2. V Modulu 1 panelisté hodnotí malý počet nejlepších vědeckých výsledků vybraných výzkumnými organizacemi (VO). VO jsou primárně vysoké školy, tedy zhruba 30 veřejných a další desítky soukromých a dále zhruba 50 ústavů Akademie věd ČR. V Modulu 2 se hodnotí všechny články ve vědeckých časopisech na seznamu firmy Clarivate, seznamu historicky zvaném Web of Science, nebo prostě WoS. Někdy jsou tyto výsledky technicky značeny také jako typ Jwos (J jako journal, wos jako databáze WoS).

Obr. 1: Web každoročních výsledků hodnocení

Dnešní blog začnu Modulem 2, který mi je bližší. A mé pojednání navíc rozdělím na dva blogy, abych vás nepřehltil informacemi hned na začátku.

Průvodce Modulem 2

Z výsledků hodnocení v Modulu 2 by se člověk měl teoreticky dozvědět dvě klíčové věci:

• Jak na tom ten který vědní obor v Česku je.
• Jak si v tom kterém oboru vedou české výzkumné organizace.

Možná budete překvapeni, ale tyto dvě informace není vůbec jednoduché ve výsledcích hodnocení najít. A když už je najdete, tak není vždy snadné všemu porozumět. Právě tohle se vám pokusím vysvětlit, ale mějte prosím ještě chvíli strpení.

Jak už jsem psal výše, v Modulu 2 se posuzují všechny výsledky typu Jwos, tedy články v časopisech na seznamu WoS. Posuzují se na základě bibliometrických údajů:

• O počtech publikovaných článků.
• O tom, v jak vědecky vlivných časopisech ty články vyšly.
• O tom, kolik vědců má ty články v oboru či ve výzkumných organizacích na svědomí.

Výsledky hodnocení najdete zde v tzv. bibliometrických oborových reportech. Viz Obrázek 2 pro oborovou skupinu společenských věd). Pro každý obor tam najdete tři díly reportu. Důležité jsou ale jen první dva. Reporty obsahují pouze grafy a tabulky bez interpretací. Proto tam za každý obor najdete ještě oborový komentář. V něm panel shrnuje klíčová zjištění z oborového reportů.

Obr. 2: Příklad oborového ZIP souboru (za obor 5.2 Economics and Business). Tři díly reportu a komentář panelu.

A k tomu tam navíc ještě najdete souhrnný komentář za celou oborovou skupinu. Viz Obrázek 3 za oborovou skupinu společenských věd.

Obr. 3: ZIP soubor za oborovou skupinu (společenských věd) obsahuje i souhrnný komentář.

Oborový komentář vychází z informací v již zmíněných třech dílech oborového reportu. Report 1 obsahuje bibliometrické informace o oboru a částečně i o největších výzkumných organizacích (VO) v něm působících. Podle mého názoru ale většina Reportu 1 moc užitečná není. Zde jsou stručné důvody, které v dalším rozeberu podrobněji:

• Dominantní část Reportu 1 se zabývá podíly článků ve 4 skupinách (kvartilech Q1, Q2, Q3 a Q4) časopisů podle vědeckého vlivu. Jde o tzv. publikační profil oboru nebo VO. Ty ale o ničem podstatném nevypovídají.
• Časové řady publikačních profilů navíc ovlivňuje průběžné zařazování a vyřazování časopisů na a z indexu WoS a tyto efekty je poměrně náročně z časových řad odfiltrovat.
• Vedle publikačních profilů Report 1 sice nabízí další ukazatele, ale u nich se nedostává srovnání se zahraničím, takže čtenář nemá ponětí, co je hodně a co málo, co je dobré a co ne.
• Report 1 neobsahuje žádné informace o velikosti výzkumných organizací v oboru.
• Z Reportu 1 zjistíme pouze to, kterých 10 VO v oboru publikovalo nejvíce článků. Bohužel se nic nedozvíme o VO ostatních.
• Články jsou v oborovém Reportu 1 vykázány na základě oborového zařazení časopisů, což v některých případech může publikační výkon oboru či VO velmi výrazně zkreslovat.

Oborové komentáře jsou povinně rozděleny do sekcí 1–9 v tzv. Části A a do sekcí 10–12 v Části B. Mé následující komentáře dostatečně nepochopíte, pokud zároveň nebudete koukat do nějakého oborového reportu a oborového komentáře. Abyste nemuseli složitě prohledávat ZIP soubory, vypreparoval jsem pro vás příklady za obor 1.1 Mathematics (Report 1, Komentář) a 5.2 Economics and Business (Report 1, Komentář). Případně si projděte souhrnný komentář za celou oborovou skupinu (například Přírodní vědy, Společenské vědy).

Sekce č. 1: Publikační specifika oboru

V této sekci byste se měli dozvědět, jaká jsou publikační specifika daného oboru v ČR a jak se případně liší od oborové praxe ve vědecky vyspělém světe. Tohle se ale z Reportu 1 nedozvíte a musíte se spolehnout, že to panelisté popsali správně. Pokud se publikační praxe oboru v ČR odlišuje od té ve světě, je to podezřelé a mezinárodní srovnání českého oboru se světem na základě Modulu 2 může být zavádějící.

Sekce č. 2: Oborový překryv

Věda nezná hranic a řazení článků do oborů je vždy více méně přibližné, byť nezbytné, abychom se v tom všem nějak orientovali. V sekci č. 2 se tedy dozvíte, zda si máte na oborové překryvy dávat bacha a jak se projevují.

Dám příklad: Do Ford oboru 5.4 Sociology jsou oborovým převodníkem zařazeny i články publikované v časopisech zařazených databází WoS do WoS oboru Social Sciences, Mathematical Methods. Jenže do tohoto WoS oboru spadá i řada špičkových ekonomických časopisů, které hojně publikují matematicky, respektive ekonometricky náročné články. Ekonomické články v nich se pak chybně započítají i do Ford oboru 5.4 Sociology. Pokud to čtenář neví, může si o vědeckém výkonu oboru na základě Reportu 1 udělat velmi zkreslené představy.

Sekce č. 3: Personální velikost oboru

Informace o personální velikosti oboru je důležitá z řady důvodů. Třeba pro rozhodování o prioritách rozvoje a podpory vědních oborů na úrovni MŠMT a AV ČR. Nebo pro posouzení toho, nakolik publikační výkon oboru odpovídá jeho personální velikosti, tedy jaká je publikační produktivita oboru. Bez informace o personální velikosti oborů jsme v tomto slepí. Z Reportu 1 se ale o personálních velikostech oborů v ČR nedozvíme nic. Dozvíme se to naštěstí z Reportu 2. O tom ale budu psát až příště. Zde jen poznamenám, že metodika řazení článků do oborů v Reportu 2 se od metodiky použité v Reportu 1 dost výrazně liší. A ani z Reportu 2 se nedozvíme, jak si personální velikosti oborů v ČR stojí vůči světu, či jen zemím EU 15. Tyhle veledůležité věci se prostě z výsledků hodnocení podle Metodiky 17+ zatím nedozvíme.

Sekce č. 4: Profil publikačního výkonu oboru

Jak už jsem zmínil v úvodním shrnutí, informace o publikačním profilu oboru moc užitečná není. Profil je totiž primárně určen tím, kolik se v daném oboru v Česku a na Slovensku vydává časopisů na seznamu WoS. To ale samozřejmě s kvalitou či velikostí oboru v ČR nemá nic společného.

Obrázek 4 ukazuje publikační profil pro obor 5.2 Economics and Business a to pro ČR, země EU 15 a celý svět. Připomínám že procenta v rámci stejné barvy musí sčítat do 100 %. Vidíme, že ČR vykazuje velmi vysoký podíl článků v nejméně vlivné čtvrtině časopisů (Q4). To je mimo jiné dáno tím, že v ČR a na Slovensku vychází vysoký počet časopisů na seznamu WoS. V nich čeští autoři masově publikují. Protože profil musí sčítat do 100 %, není divu, že pak ČR vykazuje velmi nízký podíl článků v nejvlivnější čtvrtině časopisů (Q1). Zda ČR s ohledem na svou populační velikost nebo počet vědců v oboru vykazuje článků v časopisech Q1 hodně či málo, se z tohoto profilu nedozvíme.

Obr. 4: Publikační profil ČR, EU 15 a světa v oboru 5.2 Economics and Business

Časové řady zmíněných profilů pak ovlivňuje průběžné zařazování a vyřazování časopisů z indexu WoS a je poměrně náročné tento efekt z časových řad odfiltrovat. Publikační profily oboru a časové řady prostě o ničem důležitém nevypovídají, byť se jim v Reportu 1 a Komentářích věnuje velký prostor.

Sekce č. 5: Publikační výkon oboru

Sekce č. 5 podle mě patří z pohledu hodnocení oborů k nejdůležitější. Dozvíme se v ní, nakolik publikační výkon ČR v oboru odpovídá průměrnému výkonu v zemích EU 15. Srovnání přitom zohledňuje rozdíly v populačních velikostech zemí, případně v rozdílech personálních kapacit výzkumného sektoru. Ale pozor, jde o celkovou populaci a celkové počty vědců v zemích, a ne v konkrétních oborech. Na můj vkus ale není srovnání v Reportu 1 dost polopatické. Ukazuje ho pro obor 5.2. Economics and Business Obrázek 5. Publikační výkon ČR oboru ve vlivnějších časopisech (Q1 až Q3) je v ČR výrazně nižší, než by odpovídalo populaci a počtu vědců v ČR. Obráceně, a to diametrálně, je tomu v nejméně vlivné čtvrtině časopisů (Q4), kde výkon ČR téměř 3x převyšuje průměr EU 15.

Obr. 5: Poměr ČR/EU 15 v případě publikačních výkonů, populací a počtu vědců.

Z tohoto srovnání však nevyčteme, jak se na nízkém publikačním výkonu oboru v ČR vůči EU 15 ve vlivnějších časopisech podílí následující faktory:

1. Obor je v ČR málo finančně podporován.
2. V oboru v ČR působí málo vědců, což jde ruku v ruce s ad 1.
3. Vědci v oboru v ČR působící jsou málo publikačně produktivní.
   1. Vědci se soustředí více na aplikační a méně na základní výzkum.
   2. Vědci v ČR více učí a mají více jiných povinností než výzkum.
   3. Vědci v ČR se vysilují méně kvalitním výzkumem a publikováním velkého počtu článků v méně vlivných časopisech.

Pro větší přehlednost najdete v komentářích za společenské vědy alternativní Obrázek 6. Ten obsahuje obdobnou informaci jako Obrázek 5, ale pro všechny společensko-vědní obory najednou. Ukazuje, o kolik procent se publikační výkon oboru ČR v dané vlivové skupině časopisů odlišuje od průměrného výkonu zemí EU 15 po zohlednění populačních rozdílů ČR a EU 15. Navíc tam jsou pro každou kvalitativní skupinu časopisů stejnou barvou uvedeny dvě hodnoty, jedna z nich je o dva roky starší, aby byl patrný trend. Je jasně vidět, že publikační výkon ČR ve významnějších časopisech (Q1 žlutá, Q1+Q2 zelená) ve všech společensko-vědních oborech v ČR výrazně zaostává za průměrem EU 15. Naopak v případě málo vlivných časopisů (Q3+Q4 modrá, Q4 šedá) je v některých oborech výrazně nad průměrem EU 15. Jak už bylo vysvětleno v Sekci č. 4, je to důsledek existence většího počtu českých a slovenských časopisů na seznamu WoS. Pokud by tyto vědecky vlivné časopisy na seznamu WoS nebyly, v Reportu 1 by články v nich nebyly ve skupině Q4 vidět.

Obr. 6: Srovnání publikačního výkonu oborů společenských věd ČR vs. EU 15 podle vědeckého vlivu časopisů.

Sekce č. 6 až 9

Tyto sekce mapují fenomény korespondujících, prvních a dalších autorů, velkých autorských kolaborací, mezinárodní spolupráce a obsahu domácího „know-how“ a jazyka výsledků. Podle mého soudu tyto sekce nejsou moc důležité. Report 1 totiž neobsahuje žádné mezinárodní srovnání, takže je těžké posoudit, co je v ČR vůči světu normální a co ne, co je dobré a co špatné.

V příštím pokračování se v rámci Modulu 2 budu věnovat sekcím 10–12 v Části B komentářů. Ty se soustředí na hodnocení výzkumných organizací v oboru působících.

 

Autor: Daniel Münich

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz.

Příspěvky z rubriky Blogy a komentáře nijak nevyjadřují názory a postoje redakce.