Národní hodnocení je vůči velikosti pracovišť slepé. Klíčové závěry dělá na základě počtu publikací, jakoby bylo lhostejné, kolik vědců za nimi stojí. O umístění pracoviště v národním hodnocení proto příliš rozhoduje jeho velikost.
Kvalita (vysoká produktivita) menších pracovišť pozornosti hodnocení většinou uniká. Zkreslené závěry hodnocení se pak promítají do institucionálního financování. Menší špičková pracoviště plačte. Menší špičková pracoviště ale odhaluje nová aplikace IDEA. Ukazuje, jak zavádějící jsou hodnotící soudy bez zohlednění personální velikosti pracovišť.
V IDEA jsme aktualizovali on-line aplikaci mapující časopisecký publikační výkon a personální autorské zázemí českých výzkumných pracovišť podle oborů. Aplikace mapuje roky 2017-2019. Nedávno zveřejněné výsledky vládního hodnocení přitom sahají pouze do roku 2018 a rok 2019 se bude posuzovat až v dalším kole hodnocení. Aplikace uživatelům nabízí tři různé oborové typologie, volbu mezi výkazy na základě autorských podílů výsledků či fyzických kusů. Aplikace rozlišuje nejen publikační kvantitu, ale také vědeckou kvalitu respektive vědecký význam publikací pracovišť. Vážnějším zájemcům o práci s novou aplikací doporučuji záznam mého webináře. Zde se zastavím u velkého nedostatku současného systému národního hodnocení. Tím je přehlížení informací o oborové velikosti českých výzkumných pracovišť. Důsledky ukazuji pomocí konkrétních příkladů a informací právě z této aplikace.
Jedinečnost aplikace
Velkým přínosem aplikace je, že poskytuje informaci o oborové velikosti pracovišť co do počtu publikujících autorů. Tuto informaci národní hodnocení v důležitém Modulu 2 nebere v potaz. Hodnotící panely tuto informaci nedostávají. Proto národní hodnocení vychází hlavně z počtu publikací. To, že se rozlišuje význam publikací, zdaleka nestačí. Vezměme si dvě personálně diametrálně rozdílně velká pracoviště se stejným publikačním výkonem. Pokud má první 10 vědců a druhé 10x více, tedy 100 vědců, je jasné, že první z pracovišť je diametrálně produktivnější, a tedy diametrálně lepší než to druhé. Z vládního hodnocení, které sleduje pouze publikační výkon, však obě pracoviště vyjdou úplně stejně. To samozřejmě zvýhodňuje velká neefektivní pracoviště a diskriminuje pracoviště menší a špičková.
Příklad z technických oborů
V technických oborech jsem si jako příklad vzal Západočeskou univerzity (ZČU). Nejdříve se pomocí aplikace IDEA orientačně podíváme, v kterých technických oborech působí (Obrázek 1a). Na horizontální ose vidíme celonárodní oborový podíl ZČU na počtu v oboru dominantně publikujících autorů. Vidíme, že v Material Engineering a Mechanical Engineering má ZČU poměrně malé personální podíly lehce nad 5 %. Pouze v oboru Electrical engineering, Electronic engineering, Information engineering dosahuje celonárodní personální podíl ZČU 12.5 %. Na svislé ose vidíme také celonárodní podíly ZČU. Ale v tomto případě publikačního výkonu ve vědecky nejvlivnější čtvrtině oborových časopisů na světě. Čím západnějším směrem se to které pracoviště ZČU nachází, tím je pracoviště v daném oboru produktivnější (vyšší poměr publikačního výkonu k počtu vědců). Růžové pozadí vymezuje oblast velmi nadprůměrné produktivity.
Ve zmíněných třech technických oborech je produktivita ZČU vysoko nad celonárodní průměrem (ten značí 45stupňová úhlopříčka). V oboru Mechanical engineering je ZČU dokonce extrémně produktivní (viz růžovou zónu): zatímco celonárodní personální podíl ZČU v tomto oboru činí pouze 6,8 %, jeho celonárodní podíl na špičkových publikacích dělá vysokých 15,1 %. Publikační produktivita ZČU je tedy více na více než na dvojnásobku národního průměru. To už je obrovský rozdíl. To je jako mít stejně rychlé auto se spotřebou 5 místo 10 litrů.
Obrázek 1a: Celonárodní oborové podíly autorů (osa X) a podíly špičkových publikací (osa Y) Západočeské univerzity v technických oborech FORD
A teď se podívejme, jak se v těchto třech oborech ZČU srovnává se zbytkem českých vysokých škol. Obrázek 1b na osách uvádí to samé jako Obrázek 1a. Rozdíl je, že ukazuje pouze obor Mechanical engineering. Vedle ZČU proto vidíme další vysoké školy v oboru působící. ZČU je v oboru personálně podobně malá (celonárodní podíl vědců na oboru 6,8 %) jako např. Technická univerzita v Liberci (TUL, 4 %) nebo Vysoká škola báňská -Technická univerzita Ostrava (VŠB-TUO, 8,7 %). Avšak publikační výkon ZČU ve špičkových časopisech je protI nim diametrálně vyšší, přibližně 5x. To představuje astronomický rozdíl v produktivitách. Vidíme, že ČVUT i VUT sice vykazují vysoké podíly na publikačním výkonu oboru, ale je to díky jejich velké personální velikosti a nikoliv díky vysoké produktivitě. V národním hodnocení to ale na úspěch stačí.
Obrázek 1b: Celonárodní oborové podíly autorů (osa X) a špičkových publikací (osa Y) vysokých škol v oboru Mechanical Engineering
Je zřejmé, že ZČU patří v oboru Mechanical engineering k personálně menším pracovištím, ale co do publikační produktivity je daleko před VUT i ČVUT. Tohle se ale z národního hodnocení nedozvíme. ZČU v něm ostrouhala - přečtěte si klíčovou část komentáře odborného panelu za Ford: 2.3 Mechanical Engineering v Obrázku 1c. Všimněte si navíc, že text mylně hovoří o publikačním výkonu jako o publikační produktivitě. Tyhle terminologické omyly a neporozumění významu různých ukazatelů se v komentářích bohužel vyskytují velmi často. Podobný obrázek o ZČU dostanete, pokud se v aplikaci podíváte na obor Electrical Engineering, Electronic Engineering, Information Engineering.
Obrázek 1c: Komentář odborného panelu národního hodnocení za obor Ford: 2.3 Mechanical Engineering
Zvídavějším aplikace IDEA umožňuje zjistit i to, která fakulta na ZČU za těmi špičkovými výsledky stojí: je to Fakulta aplikovaných věd ZČU. Držme jí a mnoha dalším podobně menším a dobrým pracovištím palce, aby v budoucnu na svou menší velikost nedoplácela.
Dokud se budou pracoviště posuzovat pouze na základě velikosti jejich publikačního výkonu a dokud se nezačne brát ohled na jejich personální velikost, budou tyto mylné závěry běžné. ZČU a podobná menší špičková pracoviště na to samozřejmě budou doplácet také po stránce financování a budou ještě menší než dosud.
Příklad z Chemical Sciences
Další příklad si vezměme z FORD oboru Chemical Sciences. Personální a publikační podíly v něm působících vysokých škol ukazuje Obrázek 2a. Vidíme, že v oboru se angažuje hodně vysokých škol. Jde o personálně jeden z největších FORD oborů u nás. Na sedmi personálně největších vysokých školách působí na každé od 100 po 460 v oboru dominantně publikujících vědců. Logika Obrázku 2a je stejná jako v případě Obrázku 1b. Co do publikační produktivity vychází nejlépe personálně středně velká Univerzita Palackého v Olomouci (UPOL) a v závěsu na ní personálně druhá největší VŠCHT. Personálně zdaleka největší Univerzita Karlova má produktivitu výrazně nižší a vykazuje až třetí nejvyšší podíl na špičkovém publikačním výkonu. Na druhém konci je Univerzita Pardubice (UPCE), která je sice personálně podobná UPOL, ale vykazuje proti ní publikační výkon pouze třetinový.
Obrázek 2a: Celonárodní oborové podíly autorů (osa X) a špičkových publikací (osa Y) vysokých škol v oboru Chemical Sciences
Když si v menu aplikace zaškrtneme zobrazení na úrovni fakult, tak na Obrázku 2b vidíme, že k vysoké publikační produktivitě VŠCHT a UPOL přispívají Fakulta chemické technologie VŠCHT a Přírodovědecká fakulta UPOL. Ve srovnání s nimi hrají obdobně velké fakulty Chemicko-technologická na UPCE a Přírodovědecká fakulta na MU druhou až třetí ligu.
Obrázek 2b: Celonárodní oborové podíly pracovníků a špičkových publikací součástí VŠ v oboru Chemical Sciences
Aplikace IDEA také umožňuje nahlédnout nakolik personální velikost pracoviště koreluje s publikačním výkonem v málo významných časopisech. V tabulce aplikace je třeba k zobrazení vybrat sloupec ukazující podíly na publikačním výkonu v méně významné polovině oborových časopisů. Výsledek ukazuje Obrázek 2c. Pozice pracovišť na horizontální ose ukazující personální velikosti zůstaly stejné. Změnily se pouze pozice vertikální. Vidíme, že nahoru vyletěla Fakulta chemicko-technologická UPCE, která vykazuje zdaleka nejvyšší celonárodní podíl na málo významných publikacích (skoro 14 %). Na této fakultě UPCE hraje tedy prim spíše publikační kvantita než kvalita.
Obrázek 2c: Celonárodní oborové podíly pracovníků a málo významných publikací součástí VŠ v oboru Chemical Sciences
Aplikace IDEA ukáže i to, s čím pracuje a co je klíčovým ukazatelem národního hodnocení. Tedy relaci mezi publikačním výkonem v hodně a málo významných oborových časopisech. V tabulce je třeba místo zobrazení podílu pracovníků vybrat sloupec s podílem na publikačním výkonu v nejvlivnější čtvrtině časopisů. Výsledkem je Obrázek 2d. Vidíme, že Přírodovědecké fakulty MU a UK mají zhruba průměrné publikační produktivity, byť se co do velikosti diametrálně liší.
Naši dva premianti z VŠCHT a UPOL z Obrázku 2b očividně kladou nadprůměrný důraz na kvalitu před kvantitou. Ale graf nám také ukazuje, že nesmíme pominout diametrálně menší, ale podobně zaměřená pracoviště jako jsou CEITEC při MU, Středoevropský institut při VUT a Farmaceutická fakultu UK (na hranici severozápadní růžové zóny). Ve vzduchu samozřejmě visí otázka, jakou roli v pozici prvních dvou hraje specifické postavení těchto nefakultních institutů při univerzitách.
Obrázek 2d: Celonárodní oborové podíly na málo (osa X) a hodně významných (osa Y) publikací součástí VŠ v oboru Chemical Sciences
Výše uvedené jsou z pohledu hodnocení věci zcela zásadní. Odborný komentář národního hodnocení v oboru Chemical Sciences k tu však v podstatě mlčí (Obrázek 2e).
Obrázek 2e: Odborný komentář národního hodnocení v oboru Chemical Sciences
Economics and Business
Poslední příklad je z oboru Economics and Business. Nám už dobře známý graf národního oborového podílu autorů (osa X) a publikačního výkonu v nejvýznamnější čtvrtině časopisů (osa Y) ukazuje obrázek 3a. Mezi všemi školami vyniká Univerzita Karlova (UK), která vykazuje nejvyšší podíl autorů a ještě vyšší podíl na publikačním výkonu. Jako jediná ze škol se nachází v růžové severozápadní zóně výrazně nadprůměrné produktivity. UK překonává pouze Národohospodářský ústav AV ČR (NHÚ AV ČR). UK spolu s NHÚ AV ČR přispívají celými 55 % ke špičkovému národnímu publikačnímu výkonu, byť jejich podíl personální je pouze 24,5 %, tedy zhruba poloviční.
Obrázek 3a: Celonárodní oborové podíly autorů (osa X) a významných publikací (osa Y) pracovišť v oboru Economics and Business
Obrázek 3a také odhaluje, že na NHÚ AV ČR a UK působí podobné počty publikujících ekonomů jako na každé z cca 10 dalších vysokých škol. Příspěvky těchto vysokých škol ke špičkovému publikačním výkonu země tomu však vůbec neodpovídají, protože jsou zanedbatelné.
Pro případ tohoto oboru jsem výjimečně spočítal počty publikujících autorů i alternativně na základě všech publikací, tedy nejen článků v časopisech WoS. Ukazuje se, že celonárodní podíl publikujících ekonomů na UK představuje v ČR pouhých 1,8 %. To je podíl z národního pohledu zcela zanedbatelný. Přitom tato malá skupinka vyváří 55 % špičkového publikačního výkonu oboru celé země. Zatímco příklady menších přehlížených špičkových pracovišť v oborech technických a chemických věd byly výrazné, zde již jde o nepoměry diametrálně velké.
Námitky možné
V naší aplikaci použitý ukazatel personální velikosti pracovišť dle Metody 3 samozřejmě není dokonalý. Představuje ale solidní první aproximaci velikosti pracoviště v oboru. Méně spolehlivě funguje u velmi malých pracovišť a pracovišť, kde mají jednotliví autoři výrazné mezioborové publikační přesahy. Metoda 3 použitá v aplikaci funguje tím hůře, čím více se v oboru publikuje jinde než v časopisech na indexu WoS. Určitě tedy nefunguje pro humanitní obory. Může být problematická v oborech jako jsou Sociology či Law, kde se běžně publikují i monografie.
Měření výkonu a produktivity ve vědě je mnohem složitější, než měřit teplotu, rychlost nebo elektrické napětí. Už jen proto, že neexistuje ideální měřící etalon, ke kterému bychom se mohli vědomě přibližovat. Pro první přiblížení však uvedená srovnání slouží velmi dobře. Jistě nemá smysl si lámat hlavu rozdíly v řádu procent. Ale rozdíly 2x, 3x, či dokonce větší, která jsme v příkladech viděli, již rozhodně o něčem zásadním vypovídají. Je velmi nezodpovědné oborovou velikost pracovišť v národním hodnocení nadále přehlížet, pracoviště posuzovat bez ohledu na jejich velikost a uživatele výsledků hodnocení uvádět vědomě v omyl.
Závěr
S počty vědců samozřejmě úzce koreluje rozsah veřejné finanční podpory pracovištím. V důsledku absence informací o velikosti pracovišť v národním hodnocení představuje převod výsledků národního hodnocení na objem veřejné finanční institucionální podpory problém nepodobný kvadratuře kruhu. To, že se peníze nakonec vždy nějak rozdělí, ještě nedokazuje, že lze objem kruhu spočítat jen pomocí pravítka a kružítka.
Pokud národní hodnocení nezačne zohledňovat oborovou velikost škol a finanční podpora mezi vysoké školy se bude do budoucna rozdělovat přírůstkovou metodou, dominantní objem nárůsty podpory budou pod sebe stahovat velká, ale mnohdy neefektivní pracoviště, která hodnocení dlouhodobě zvýhodňuje. Menší a malá a vysoce efektivní pracoviště naopak k ještě větší nouzi přijdou. Zájmem těch velkých a vlivných samozřejmě je, aby to tak zůstalo i nadále.
O příkladech dalších menších, ale oborově špičkových pracovištích pište na munichd@gmail.com
Autor: Daniel Münich
Text vyšel na autorově blogu metodikahodnoceni.blogspot.com
