Univerzita Karlova (UK) zveřejnila bibliometrickou informační oporu svého vnitřního mezinárodního hodnocení vědy na UK, jehož popis a výsledky byly nedávno zveřejněny. Obsáhlý report jsme jako IDEA zpracovali s týmem pro interní hodnocení UK. Bylo mi ctí být součástí historicky prvního počinu tak rozsáhlého mezinárodního hodnocení vědy nejen na UK, ale zřejmě i v Česku.
Přináším pár postřehů proč report vypadá tak, jak vypadá. Dokument se snadněji než v prohlížeči čte stažený a otevřený v Adobe Acrobat. Přeji hodně zážitků z poznání a objevování!
Tvrdý oříšek
Velkým oříškem pro nás bylo oborové členění. UK totiž má svou vlastní oborovou typologii, která není srovnatelná s žádnou jinou na světě. A hodnocení muselo být, i s ohledem na vnitřní předpisy, provedeno i v typologii oborů UK. Nejenže typologie nemusí být srozumitelná pro zahraniční panelisty, ale nelze v ní udělat národní a mezinárodní srovnání. Jenomže srovnání je alfou a omegou hodnocení na základě bibliometrických ukazatelů i vědy obecně. Bez srovnání totiž člověku počty publikací, citací a publikační struktura nic moc neřeknou.
Nakonec jsme problém vyřešili tak, že zpráva má pět zpráv dílčích. První dvě, tzv. Structural Reports (oborů a součástí), popisují UK z pohledu její vlastní oborové typologie. Další tři, tzv. Comparative Reports, poskytují Internal, National a International srovnání UK v oborové typologii FORD (OECD). Propojení obou typů reportů zajišťují Fig 1 a Fig 5 Structural obou reportů, ukazující, do jaké míry se oborové struktury výsledků UK a FORD kříží. Structural Reports jsou tak užitečnější pro vedení součástí UK, Comparative Reports pro panelisty.
Obr. 1: Příklad mapování výsledků oboru UK Clinical Medicine na obory FORD
Příliš mnoho informací, panelistova smrt
Bylo třeba brát ohled na to, že panelisté jsou také jenom lidé. Tedy abychom je neutopili v množstvím informací. Potřeba pěti dílčích reportů, pro zhruba dvacet součástí UK a v desítkách oborů totiž znamenala obrovský dokument v rozsahu 658 stránek. Reálně hrozilo, že rozsah reportu většinu panelistů vyděsí a ti kurážnější se v něm záhy ztratí. Velké úsilí jsme proto věnovali přehlednosti. Aby v něm panelisté rychle našli co potřebují a snadno porozuměli tomu co našli:
- Pohyb v dokumentu usnadňuje rozbalovací a klikací obsah nalevo od hlavního dokumentu.
- Úvod postupuje od základních věcí po metodologické detaily pro fajnšmekry, které lze dohledat na konci v přílohách.
- Každý z pěti sub-reportů má jinou barvu.
- Systematicky využíváme barvy grafů k rozlišení ukazatelů. Takže počty osob jsou vždy v odstínu zelené, články databáze WoS v modré, ostatní výsledky jsou pak v odstínu šedé.
- Mezi Comparative Reports lze přecházet v rámci oboru mezi interním, národním a mezinárodním reportem klikem na tlačítkách vespod stránek. Panelista posuzující určitý obor tak nemusí dokumentem složitě listovat.
- Pro snadnou orientaci určitý graf panelista najde u různých oborů a součástí UK na tom samém místě.
- Věděli jsme, že osobnostní nátury panelistů se různí. Proto jsme návod pojali variantně. Pro ty, co jdou rovnou na věc, grafy a tabulky obsahují poměrně vypovídající popisky. Pro jiné jsou k dispozici video průvodci všemi částmi reportu. Jako nejsnadnější se ukázalo nechat videa namluvit čtecími roboty.
Na velikosti záleží
Hodnotit instituci či její fakulty pouze na základě vědeckých výsledků bez ohledu na rozdíly v jejich personálních velikostech je na draka. Panelům jsme proto zprostředkovali alespoň hrubou informaci o počtech autorů UK a jejích pracovišť v oborech.
Srovnejme například UK s Heidelberg University v oboru Psychology and Cognitive Sciences na str. 431 ve Fig 1a a 3a. Na Obr. 2 vidíme, že co do počtu autorů je Heidelberg téměř 2x větší než UK. Ale publikační výkon Heidelbergu ve významnější polovině časopisů je více než 4x vyšší. Heidelberg má tedy v oboru výrazně vyšší publikační produktivitu než UK.
Za pozornost stojí odpovídající tvary publikačních profilů ve Fig 3b*. Ty má Heidelberg, navzdory výrazně vyšší produktivitě, také mnohem lepší než UK. Ale posuzovat obě univerzity pouze podle těchto profilů a ne podle produktivity by mohlo být hodně zavádějící. Něco jako usuzovat na uživatelskou hodnotu automobilu pouze podle tvaru jeho kapoty a přehlížet jeho spotřebu, poruchovost a bezpečnost.
*Profilem zde mám na mysli procentní podíly výsledků v kvartilech a horním decilu oborových časopisů podle výše AIS indexu.
Obr. 2: Příklad toho, že velikost organizace je třeba brát při hodnocení v potaz
Kompromis je základ úspěchu
Úvodní přehledy (Obr. 3) součástí UK na str. 15-17 reportu jsou jediné místo, kde nerozlišujeme obory. Počty akademiků i jejich výsledků jsou tam sesypány na hromady bez ohledu na obor. Není to moc košer, ale uvědomili jsme si, že řada zahraničních panelistů měla zpočátku o vnitřní struktuře UK velmi mlhavou představu, pokud vůbec nějakou. Chtěli jsem jim takto stručně v úvodu zprostředkovat rychlý vhled, aby si uvědomili, jak diametrálně se součásti liší co do počtu akademiků a výstupů.
Obr. 3: Přehled počtu akademiků UK podle součástí
Poněkud nestandardní součástí každého sub-reportu pak je seznam publikací v desetině nejvýznamnějších oborových žurnálů (Obr. 4). Ukázalo se totiž, že tahle informace je z pohledu panelů zcela zásadní. Nám z jiných oborů sice jména časopisů většinou nic neříkají, ale panelisté oboru znalí velmi dobře ví, co ten který časopis a článek v něm publikovaný znamená.
Obr 4: Přehledy článků v top 10 % nejvýznamnějších oborových časopisů
Dejte mi pevný bod ve vesmíru...
Pro vypovídací schopnost bibliometrických ukazatelů je zcela zásadní možnost srovnání, tedy benchmarks. Pro tento účel jsme vybrali přirozené konkurenty UK v ČR, tedy Univerzitu Palackého a Masarykovu univerzitu (Obr. 5). Ostatní vysoké školy jsme s prominutím sesypali do jednoho pytle. Do dalšího pytle všechna pracoviště AV ČR. Mimochodem, další zajímavý vhled na úrovni pracovišť AV ČR by měla v blízké době poskytnout bibliometrická opora velkého hodnocení AV ČR, které bylo nedávno dokončeno. Do posledního zbylého pytle jsme sesypali autory a výsledky zbylých výzkumných organizací, zpravidla resortních výzkumáků.
Obr 5: Příklad národního srovnání UK
Pro mezinárodní srovnání byly přirozenými kandidáty evropské kontinentální univerzity z konsorcia 4EU+, jehož je UK součástí. Většina z nich vyjadřuje ambiciózní cíle UK ve vědě a podtrhuje i přísnost hodnocení (Obr. 6).
Obr 6: Příklad mezinárodního srovnání UK
Není od věci publikační výkon konfrontovat i s jeho citačním ohlasem. To však postihuje pouze mezinárodní Comparative Report. Dělat podobné citační srovnání i pro národní a interní sub-report by totiž znamenalo nejen další práci se získáním a zpracováním citačních dat, ale ještě by zvětšilo již tak velký rozsah reportu.
Všimněte si, že průměrnou citovanost na Obr. 7 uvádíme zvlášť pro články v méně a více významné polovině časopisů. Citace článků ve významnějších časopisech totiž mnohem častěji pochází z vědecky významnějších časopisů, takže je dobré neházet všechny citace na jednu hromadu. Mnohem detailnější citačně založené srovnání, národní a mezinárodní, pak zájemcům nabízí aplikace IDEA.
Obr. 7: Příklad srovnání citačního ohlasu UK
Bibliometrické ukazatele nejsou zázračné a mají řadu nedostatků. I proto hodnocení UK prováděli matérie znalí panelisté a report sloužil jen jako informační opora hodnocení. Abychom panelisty varovali před nejčastějšími nedostatky indikátorů, jsou varování vidět přímo v reportech červeným písmem. Takže například na přítomnost vyššího počtu výsledků založených na autorských megakolaboracích (t,j. LC = Large Collaborations, kde může být bibliometrie dost zavádějící) panelisty upozorňují červené popisky LC *%. Podobně jsou červeně označeny případy malých počtů výsledků, kde nelze moc spoléhat na zákon velkých čísel (tedy že drobné zvláštnosti se v celkových součtech ztratí).
Asi nemusím vysvětlovat, že bibliometrické ukazatele na základě databáze WoS o humanitních oborech skoro nic nevypovídají. Opatrnosti je třeba i v některých oborech společenskovědních a technických. Přesto v reportu humanitní obory vidíte. Šlo nám o to panelistům připomenout a zdůraznit, že i v těchto oborech na UK působí hodně vědců a existuje velký počet výsledků mimo databázi WoS (Obr. 8), jejichž kvalitu reportu bibliometricky nemapuje. Tedy že panelisté musí o to větší pozornost věnovat tzv. peer-review ohodnocení vybraných výsledků na dálku vybranými hodnotiteli, což byla další velmi náročná součást hodnocení vědy na UK. 
Obr. 8: Příklad součásti UK s většinou vědeckých výsledků nepostižených databází WoS
Na stole samozřejmě byla i otázka, zda obdobný srovnávací report neudělat také na základě dat z konkurenční databáze Scopus. Jenže to by znamenalo další rozsáhlý report. Ten by panelisty spíše vystrašil, než aby jim v oblasti špičkového výzkumu ukázal něco zásadně jiného.
Řeč čísel
Rád a často říkám, že z dat se dělají informace, z informací vznikají znalosti a bez nich a hodnocení není ani efektivního řízení vědy. V zájmu osvěty a v obavách z přílišného rozsahu reportu jsme se proto postupně sešli s většinou proděkanů pro výzkum. Potěšilo, že mnozí se již do konceptu reportu začetli jako do napínavé detektivky. Řada ocenila, že se jim užitečně vrací mnohdy otravná práce, kterou jejich pracoviště měla a mají s vkládáním spousty dat do informačních systémů. Dlužno přiznat, že ne vždy potěšilo národní či mezinárodní srovnání. Ale tak už to prostě v solidním hodnocení chodí. Prostě co oči nevidí, to srdce nebolí. Ale i špatné zprávy jsou dobré v tom smyslu, že mohou být podnětem k zamyšlení a ke změnám vedoucím ke zlepšení.
Nebylo by také fér zamlčovat, že bibliometrická opora UK má i své nedostatky a našlo by se pár chyb. Prostě podle hesla 'kdo nic nedělá, ten nic nezkazí'. Nic z toho ale nepředstavovalo úlet, který by někoho poškodil a hodnocení znehodnotil. Z chyb se však dá poučit hned v příštím velkém hodnocení vědy na UK, které se plánuje v roce 2024.
Autor: Daniel Münich
Text vyšel na autorově blogu Metodikahodnoceni.blogspot.com
Náhledněte do celé bibliometrické opory a také si přečtěte, jak dopadly jednotlivé fakulty UK.
