Bez informací o personálním oborovém zázemí výzkumných pracovišť každé jejich hodnocení kulhá. Avšak informace o personálním zázemí je v Česku těžké získat. Vykazovací systémy na to stále nejsou nastaveny. A hodnocení založené pouze na základě počtu výsledků, bez přihlédnutí k velikosti pracovišť, může být velmi zavádějící. Zpravidla to ubližuje menším špičkovým pracovištím, která na sebe nemohou upozorňovat velikostí a počty publikací.
Odhady počtu vědců po oborech na základě autorství článků ukazují, jak zásadní rozdíly mezi publikačním výkonem a produktivitou pracovišť někdy jsou.
V minulém blogu jsem poznamenal, že i někteří renomovaní docenti a profesoři u nás volně zaměňují publikační výkon pracoviště za produktivitu. Jakoby ve fyzice nebylo rozdílu mezi rychlostí a zrychlením tělesa. Pro zhodnocení pracoviště je mnohem důležitější jeho publikační produktivita (počet publikací na autora), než publikační výkon (bez ohledu na počet lidí vědců na pracovišti). Samozřejmě, lze také kvalitativně hodnotit způsob řízení pracoviště a jeho vnitřní fungování. Ale věřte, že se to dělá strašně těžko. Papír totiž snese vše a kratičká návštěva panelistů na pracovišti tyhle věci odhalí jen stěží. Je prostě výrazně snazší posoudit, nakolik vstupy korelují s výstupy. Ale musí být k mání jak informace o vstupech, tak nějaká oborová srovnání (benchmarks) v Česku a zahraničí.
Není nad polopatické příměry
Pouze na základě počtu výsledků, typicky vědeckých článků, kvalitu pracoviště neposoudíte. Musíte vzít v potaz personální velikost. Absence této informace pak představuje zásadní překážku zhodnocení pracovišť. Nabízím několik hodně polopatických příkladů:
- Představte si, že máte spočítat, zda 20 metrů dlouhý nosník unese střechu, ale nevíte, kolik ta střecha bude vážit. No nespočítáte to, dokud vám někdo hmotnost střechy nesdělí.
- Představte si, že vás zajímá spotřeba motoru auta a prodejce vám řekne, že za jízdu spotřebuje kolem 10 litrů benzínu. Pokud vám však neřekne, jak dlouhá ta jízda byla, nedozvíte se o spotřebě auta vůbec nic.
- Představte si, že si u vás někdo objednává seno pro stádo ovcí na zimu, ale neřekne vám, kolik těch ovcí vlastně ve stádě má. Asi si budete ťukat na hlavu.
- Představte si, že máte určit roční rozpočet na platy zaměstnanců firmy, ale nevíte, kolik těch pracovníků bude. Bez znalosti jejich počtu a výše platů nemáte šanci rozpočet připravit.
- Představte si, že sběrači jahod sesbírali za den 200 košů jahod. Je to hodně nebo málo? Nemůžete říci, protože nevíte, kolik těch sběračů bylo.
- Představte si, že pracoviště za rok publikovalo 10 vědeckých článků ve špičkových časopisech. Je to výzkumné pracoviště dobré? Nevíte, dokud nebudete znát počet vědců, kteří na tom pracovišti působí. A až se to dozvíte, budete si muset navíc zjistit, kolik jinde na dobrých pracovištích připadá v oboru článků na jednoho vědce v daném oboru. Teprve potom budete schopni o pracovišti vyřknout nějaký soud.
Není nad polopatický příklad
Za příklad si vezměme Biological Sciences. Když budeme naše vysoké školy posuzovat pouze na základě jejich publikačního výkonu, na celé čáře vyhraje Univerzita Karlova - UK. Ta totiž v desetině nejvlivnějších časopisů vykazuje téměř 2x více článků než Univerzita Palackého v Olomouci - UPOL (Graf 1).
Graf 1: Počty článků vysokých škol oboru Biological Sciences ve vědecky nejvlivnější desetině časopisů. Zdroj: Aplikace IDEA
Jenže si ale srovnejme personální zázemí UK a UPOL. A ejhle, na UPOL v oboru působí pouze třetina autorů UK. Pokud tyto velké personální rozdíly zohledníme, dostaneme výrazně jiný obrázek (Graf 2). Na ose X jsou počty vědců v biologii a na ose Y počty špičkových článků. Sklon čáry vedoucí od počátku k vysoké škole tedy vyjadřuje publikační produktivitu. Čím více proti směru hodinových ručiček, tím publikačně produktivnější vysoká škola v oboru je. Zelená přerušovaná čára pak vymezuje celostátní průměr oborové produktivity.
Graf 2: Počty autorů vysokých škol (osa X) a článků (osa Y) v top 10 % vědeckých časopisů v oboru Biological Sciences. Zdroj: Aplikace IDEA
Teď je zřejmé, že publikační produktivita UPOL znatelně převyšuje tu UK. Zatímco UK je v produktivitě pod celostátním oborovým průměrem, UPOL je výrazně nad ním. Tento typ informací by měl být zásadní například pro MŠMT, které by mělo v rozdělování institucionální podpory VaV brát výsledky hodnocení v potaz. A také by si toho mělo být vědomo vedení obou vysokých škol.
Je samozřejmě možné, že za těmi rozdíly jsou i nějaké nám neznámé rozdíly v tom, jak vysoké školy vědu organizují a jak výsledky vykazují. Problematický může být odhad počtu vědců. Na základě počtu autorů nelze rozlišit, jaké tito mají úvazky a kdo z nich jsou doktorandi. Tyto počty se mohu mezi školami lišit. Ale mějme na paměti, že jde o stejný obor, kde by se praxe neměla nějak výrazně lišit. Případné menší „chyby měření" zásadnějším způsobem nemohou základní zjištění změnit. A pokud je důvod se domnívat, že ta chyba „měření" je podstatnější, pak je to výzva , aby se někdo vydal zjistit, co za tím skutečně je, a proč a zda je to dobře či špatně. Určitě by to neměla být záminka otázku publikační produktivity shodit ze stolu.
Kolik u nás v oborech působí vědců?
Na první dobrou si člověk řekne, že statistiky o počtech vědců najde na webu ČSU. Není tomu tak. ČSÚ sice nějaká data poskytuje, ale pro potřeby hodnocení a odhadu produktivity jsou nepoužitelná, ze dvou důvodů:
- ČSU vykazuje data pouze na úrovni šesti základních vědních oblastí. Takže třeba u nás personálně obrovské obory Chemie, Biologie, Fyzika a řada dalších spadají do jediné vědní oblasti přírodních věd. Podobně třeba obory ekonomie, psychologie a sociologie a další patří do jediné vědní oblasti společenské vědy (Textbox 1).
- Údaje za jednotlivé subjekty, kterými jsou ústavy AV ČR nebo fakulty VŠ, ČSÚ do vědních oblastí třídí na základě tzv. převažující vědní oblasti. Takže všichni vědečtí pracovníci z jednoho ústavu či fakulty jsou hozeni do jednoho koše převažující vědní oblasti pracoviště (Textbox 2).
ČSU neuvádí údaje o počtech vědeckých pracovníků na úrovni stavů a vysokých škol. A ani by to s ohledem na způsob jejich oborového zařazování nemělo moc smysl.
Textbox 1: Z metodologického popisu ČSÚ, jak jsou definovány vědní oblasti
Textbox 2: Z metodologického popisu ČSÚ, jak jsou vědečtí pracovníci zařazováni do vědních oblastí
A pak tu ještě máme celonárodní hodnocení výzkumných organizací. Tam se podařilo údaje o oborové personální velikosti prosadit od roku 2022. Jde však zatím také jen o odhady na základě počtů autorů publikací v RIVu, protože k systematičtějšímu systému vykazování dosud není vůle. Doposud byla informace o personálním zázemí výzkumných organizací v oborech prezentována dost nepřehledně (Graf 3). Mám vážně pochyby, nakolik byla publikační produktivita organizací systematicky brána během hodnocení v úvahu.
Graf 3: Informace o personálním zázemí oborů Univerzity Karlovy. Převzato z bibliometrické zprávy pro UK z národního hodnocení 2022 (proběhlo v roce 2023)
Z výsledků hodnocení se tedy zatím nezdá, že by v něm personální velikosti hodnocených organizací v oborech a publikační produktivita hrály nějakou zásadnější roli. Klidně se zkuste pídit sami. Buď v komentářích k jednotlivým výzkumným organizacím nebo na konci komentářů k oborovým zprávám. Ale pozor, musíte si nejdříve stáhnout příslušný ZIP soubor, rozbalit, otevřít... Moc toho tam o produktivitě zatím nenajdete a pokud přeci, nevím zda to pro vás bude dostatečně srozumitelné.
Autor: Daniel Münich
Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz.
Příspěvky z rubriky Blogy a komentáře nijak nevyjadřují názory a postoje redakce.
