Stopařův průvodce národním hodnocením vědy: Modul 2, Report II

První epizodu si můžete přečíst zde.

Nečekejte ale od mého rozboru zázraky. Dosavadní výsledky hodnocení sice výrazně převyšují vše, co bylo k dispozici v minulosti, ale řada důležitých informací buď stále chybí nebo se hledá poměrně obtížně. Prezentace záměrů pro další kolo hodnocení na nedávné konferenci je v tomto ohledu docela slibná. 

Než budete číst dál, vřele doporučuji přečíst si předcházející 1. epizodu + doplňující komentář, které vás uvedou do širších souvislostí. Klíčové věci z minula ale stručně připomenu:

• Bibliometrické informace o každém vědním oboru se nachází v Reportech I až III. Dříve si člověk musel reporty stáhnout v ZIP souborech. Dnes si můžete jejich obsah zobrazit i interaktivně zde, když si vyberete obor. Minule jsem se věnoval obsahu Reportu I v jeho sekcích 1 až 9 a analytické interpretaci jeho obsahu z pohledu hodnoticího panelu v dokumentech zvaných Oborové komentáře.

• Informační obsah Reportu I je sice užitečný, ale až na výjimky jde o informace významu sekundárního. Užitečnější informace pro řízení systému VaV a výzkumných organizací (VO) jsou obsaženy v sekci č. 5: Publikační výkon oboru. Ta odhaluje, jak na tom daný obor v Česku vůči průměru zemí EU15 je z pohledu publikačního výkonu a jeho kvalitativní struktury. Abych vám ušetřil čas, informace roztroušené po desítkách oborových reportů jsem poskládal do jediného grafu v doplňujícím blogu. Bohužel nám sekce č. 5 Reportu zatím neřekne, zda je nízký resp. vysoký publikační výkon Česka v určitém oboru, dán jeho nízkým či velkým personálním zázemím a nebo nízkou resp. vysokou publikační produktivitou. Pro strategické řízení systému VaV a sledování strategických priorit země by se ale tahle informace setsakramentsky hodila.

Report II

Zatímco Report I se věnuje především popisu stavu v oboru,  Report II se ve třech krátkých sekcích věnuje výzkumným organizacím (VO), které v daném oboru působí. Je to mimochodem jediná část hodnocení v Modulech 1 a 2, kde najdeme informace o personální velikosti VO. Je to tedy jediné místo, kde je možné o VO v daném oboru vyřknout nějaký hodnotový soud (viz. také blog zde). Znovu opakuji, že obsah Reportu II si můžete zobrazit i sami zde. V dalším používám příklady grafů z Reportu II za můj obor 5.2 Economics and business. Oborový komentář panelu k Reportu za tento obor pak najdete zde nebo v ZIPech zde.

Sekce č. 1: Počet autorů v oborech oborové skupiny

Tuto sekci reprezentuje jediný graf, jehož příklad přetiskuji jako Graf 1a. Ukazuje počty aktivních vědců v jednotlivých oborech oborové skupiny. Za aktivního vědce se považuje takový, který v letech 2018–2022 vykázal alespoň jednu publikaci v databázi RIV, bez ohledu na typ publikace. Jde pouze o autory, jejichž publikace byly do daného oboru zařazeny většinově. 

Graf 1a tedy poskytuje hrubý odhad personálního zázemí oboru. Je však třeba pamatovat, že jde jen o odhad suplující smutnou skutečnost, že dosud nevznikl registr výzkumných pracovníků. Odhad počtu autorů je proto zatížen řadou nepřesností:

• Počty zahrnují i publikující doktorandy. 

• Počty nerozlišují mezi kmenovými výzkumníky VO a těmi spojenými s VO jen okrajově. Prostě chybí informace o velikosti úvazků.

• Počty nezahrnují vědce, kteří z nějakých důvodů za pět let nevykázali ani jednu publikaci. To může být dáno např. tím, že byli publikačně impotentní nebo na VO působili pouze kratší období.

Na druhé straně lze předpokládat, že řada uvedených chyb se navzájem ruší, a že v rámci oboru a segmentu (VŠ vs. AV ČR) bude případné zkreslení podobného směru a velikosti, takže při srovnání VO uvnitř oboru nebudou chyby odhadů personálních velikostí VO hrát tak zásadní roli. 

Ale musíme si uvědomit další důležitou věc. V Reportu II se při výpočtech vychází ze všech publikací daného autora v RIVu, tedy nejen z jeho článků typu Jwos (články v časopisech na indexu databáze WoS) jako v Reportu I. Za bernou minci oborové příslušnosti výsledku se v Reportu II bere obor FORD, kam daný výsledek zařadila VO. K tomu navíc se do publikací typu Jwos VO v daném oboru zařazují všechny publikace daného autora. Takže když já, jako ekonom, budu mít články v oboru economics a jediný článek zařazen do oboru 1.2 Computer and information sciences, bude i tento článek přiřazen mé VO v oboru 5.2 Economics and business.  V tomto se metodika Reportu II výrazně liší od Reportu I, kde se výsledky Jwos zařazují na základě oborové příslušnosti WoS časopisů, kde články vyšly. I proto se mnohdy statistiky o počtech výsledků v Reportu II liší od těch v Reportu I a čtenáře to mate. Další metodologické podrobnosti najdete případně zde.

Graf 1a odhaluje jako tři autorsky největší obory společenských věd v Česku obor 5.2 Economics and business, 5.3 Education a 5.5 Law. Překvapivě personálně malé jsou na mezinárodní poměry obor 5.1 Psychology and cognitive sciences a obor 5.4 Sociology. To se ale bohužel v této sekci ani v žádné jiné nedozvíte a musíte se jít informovat do naší on-line aplikace IDEA.

Dále v Grafu 1a vidíme, že podíl autorů s alespoň jednou publikací Jwos je diametrálně vyšší v oboru 5.2 Economics and business než v dalších dvou zmíněných oborech. Je to dáno rozdílnými publikačními praxemi v oborech, které najdeme i v západním zahraničí, ale u nás jsou ty rozdíly neúměrně velké. To se však v sekci č. 1 Reportu II opět nedozvíme. Lze to ale dohledat v této polozapomenuté on-line apce, která srovnává Česko s vybranými evropskými zeměmi. Ale pozor, musíte si nejdříve zvolit obor ve špatně postřehnutelném menu nalevo nahoře. Ukázku nabízí Graf 1b.

Proti přírodovědným oborům jsou i ty největší společensko-vědní personálními trpaslíky. Každý ze tří největších oborů přírodních věd je personálně větší než největší společensko-vědní obor 5.2 Economics and Business s 3328 autory: obor 1.6 Biological sciences vykazuje 8283 autorů, 1.4 Chemical sciences 4514 autorů a 1.2 Computer and information sciences 3632 autorů. Tohle však z jednoho oborového Reportu nevyčtete a musíte si případně postupně otevřít Reporty za všechny oborové skupiny (zde).

Takže suma sumárum, sekce č.1 Reportu II sice obsahuje celkem zajímavé informace, ale mohla by být mnohem informativnější.

Sekce č. 2: Deset nejvýznamnějších organizací oboru podle počtu autorů

Na rozdíl od sekce č. 1 se tato nevěnuje všem oborům oborové skupiny, ale oboru pouze jednomu. Z Grafu 2 se člověk dozví dva druhy informací. Jednak se zde opakuje informace z Grafu 1a o počtech autorů v oboru s/bez Jwos článků, ale tentokrát na úrovni VO. Navíc se zde dozvíme, jaké typy publikací mají autoři VO na svědomí. 

Zde ale musím připomenout další metodologickou skutečnost. Už víme, že v Reportu II se autor vykazuje v tom oboru, ve kterém vykázal největší podíl svých výsledků a následně se všechny jeho články zařadí právě do tohoto oboru. Tyto publikace pak vidíme v Grafu 2. Takto určené počty článků v oboru se samozřejmě liší od počtů článků VO uvedené v Reportu I, kde se články řadí podle oboru časopisů, kde vyšly. Tohle většinu čtenářů včetně panelistů mate a považují to za chybu. Podle mě je už zbytečné počty Jwos článků na úrovni VO v Reportu I uvádět. Žádnou podstatnou informaci tam totiž nepřináší a spíše matou. Smysl to asi mělo před lety, když ještě neexistoval Report II.

V Grafu 2 najdeme 10 personálně největších VO v oboru 5.2 Economics and Business . Naštěstí jsou VO podle počtu autorů v grafu seřazeny shora dolů. Personálně největší Vysoká škola ekonomická (VŠE) s 459 autory je 3x větší, než v oboru desátá Univerzita Pardubice se 141 autory. Jenomže v tomto oboru působí více než 20 VO a více než polovina jich tedy v Grafu 2 vidět není. Nevidíme v něm řadu menších až středně velkých VO, které v oboru také působí a mohou být svou publikační produktivitou stejně dobré nebo dokonce lepší, než těch top 10 v Grafu 2.

Sekce č. 3: Nejvýznamnější VO podle podílů Jwos článků a autorů 

Pro hodnocení VO, a to nejen v Modulu 2, je podle mě sekce č. 3 nejdůležitější. Prezentuje tři grafy 10 publikačně největších VO v oboru. Tyto tři grafy ukazují personální velikosti (béžová) a publikační výkony (modrá) v nejvýznamnější desetině časopisů (D1–Graf 3a), čtvrtině časopisů (Q1–Graf 3b) a polovině časopisů (Q1+Q2–Graf 3c).

Poměr počtu publikací VO a personální velikosti VO pak představuje publikační produktivitu VO. Ta v hodnocení VO představuje klíčový ukazatel. Odchylku produktivity VO od celostátního oborového průměru pak dostaneme jako poměr: celonárodní podíl VO na publikacích v oboru / celonárodní podíl VO na autorech v oboru. V Grafech 3 je produktivita zobrazena oranžově a 100 % představuje celostátní oborový průměr. Například v Grafu 3b vykazuje VŠE podobný personální a publikační podíl, takže její publikační produktivita v časopisech Q1 (oranžový sloupec) vychází blízko průměru ČR, 98 %. 

V případě Grafů 3 si všimněme, že obsahují i VO, které v Grafu 2 nenajdeme. Jde o personálně středně velké a malé VO (proto nejsou mezi top 10 v Grafu 2), které vykazují větší publikační výkon. Jde například o Národohospodářský ústav AV ČR, který se personálně do Grafu 2 nevešel, byť vykazuje relativně nejvyšší publikační výkon v oboru. Naopak v Grafu 2 vidíme Univerzitu Pardubice či Vysoké učení technické v Brně, které v Grafech 3 nenajdeme.

V Grafu 3a vidíme, že relativní publikační produktivita Univerzity Karlovy v nejvýznamnějších časopisech D1 se nachází 689 % nad průměrem oboru v Česku. Produktivita Národohospodářského ústavu AV ČR dokonce dosahuje 1217 %. To nejsou nějaká hausnumera*, ale zhruba to odpovídá skutečnosti, kterou, z údaje o počtech článků bez přihlédnutí k personálnímu zázemí VO, neodhalíme. Dlužno uznat, že zrovna v tomto oboru jsou rozdíly relativní produktivity VO diametrálně větší než v oborech jiných. Ale to už se přesvědčte sami v on-line verzi Reportu II zde. 

Za přetrvávající nedostatek současné podoby Reportu II považuji skutečnost, že před očima panelistů i veřejnosti příliš milosrdně skrývá informace o publikačně neproduktivních VO. Například v případě oboru 5.2 Economics and Business nenajdeme Západočeskou univerzitu v Plzni nebo Vysokou školu technickou a ekonomickou v Českých Budějovicích ani v Grafu 2, ani v Grafech 3, byť vykazují více publikujících ekonomů než už zmíněný Národohospodářský ústav AV ČR. Právě takové VO by mělo národní hodnocení na nízkou produktivitu upozorňovat. A právě těmto VO by jejich zřizovatelé (MŠMT nebo AV ČR) a poskytovatelé veřejné finanční podpory měli věnovat zvýšenou pozornost, když už tomu třeba nevěnují dostatečnou pozornost samotné VO.

Na závěr ještě zmíním, že kromě oborových komentářů mezi zazipovanými výstupy z hodnocení najdete ještě  souhrnný komentář k oborové skupině (celkem 6 skupin). Ten se totiž hodnocení VO v oborech oborové skupiny věnuje také, byť stručně. Podle mého soudu se rozsah a informativnost těchto 6 komentářů za oborové skupiny dost liší, hlavně pokud jde o nejdůležitější ukazatel, publikační produktivitu VO. Jako příklad doporučuji komentář za panel společenských věd, kde jsem měl možnost působit a na přípravě reportu se s ostatními panelisty podílet. Reporty za ostatní skupiny pak najdete v ZIPech zde.

Suma sumárum

Výsledky posledního kola národního hodnocení VaV a VO sice výrazně kvalitativně převyšují vše, co bylo k dispozici v minulosti, ale řada důležitých informací buď stále chybí nebo se hledá a dává dohromady poměrně obtížně. Prezentace záměrů pro další kolo hodnocení na nedávné konferenci je v tomto ohledu ale poměrně slibná.

V příštích pokračováních se chci věnovat výsledkům hodnocení v Modulu 1 a také přehledu dalších informačních podkladů hodnocení.

---

*Na obou zmíněných VO v oboru působím, protože tvoří společné pracoviště známé jako CERGE-EI. I proto dobře vím, že na většině jimi vykazovaných publikacích se podílí autoři z obou VO zároveň. Je přetrvávajícím nedostatkem Reportů I a II, že nezohledňují autorské podíly VO na publikacích, takže jedna společná publikace se započte jako celá každé z obou VO. Ale i kdyby byl v případě CERGE-EI vzat jen poloviční publikační výkon UK a NHÚ, bude jejich relativní publikační produktivita nadále vysoce převyšovat celonárodní průměr.

Autor: Daniel Münich

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz.

Příspěvky z rubriky Blogy a komentáře nijak nevyjadřují názory a postoje redakce.