Za překvapivě nevalné pozornosti akademiků byly zveřejněny výsledky Hodnocení'17. Šlo o první ročník hodnocení výzkumných organizací (VO) podle nové Metodiky 2017+. Ta nahradila pomalu odepisovaný kafemlejnek. Zveřejněné výsledky, především logika známkování (škálování) VO, však budí rozpaky. Omluvou je, že první ročník hodnocení byl avizován jako ověřovací.
O situaci české vědy, pozici vědních oborů vůči světu a VO nám hodnocení moc neodhalilo. Největší přínos tak spočívá v přehršli zjištění, jak mnohé příště, které už začalo, udělat lépe.
Prokousal jsem se konečnými výsledky Hodnocení'17 výzkumných organizací (VO) a zkusil nějak shrnout to klíčové. Kdo má dost času, pevnou vůli, výdrž a chce, může se tím probrat sám [ 1 | 2 | 3 | 4 | 5]. Ostatním nabízím vlastní hrubé shrnutí s vlastními názory na věc.
Ze zprávy pro poskytovatele
Hranice možností
Výsledky prvního roku hodnocení podle Metodiky 2017+, tzv. Hodnocení'17, má obrovské limity respektive možnosti dalšího zdokonalování. Ale už od začátku bylo avizováno, že jde primárně o kolo ověřovací. Než shrnu výsledky hodnocení, zrekapituluji jeho problematická místa, byť jsem o nich psal již dříve [ 1 | 2 | 3 | 4]:
- Vážně pochybuji, že někdo u hodnocených výsledků zkontroloval jejich reálnou existenci, správnost vykázaných typů a platnost afiliací. Za kontroly jsou totiž zodpovědní poskytovatelé, tedy například MŠMT, které si tímto nikdy hlavu moc nelámalo.
- Nebibliometrizovatelné výsledky, tedy vše, co není článkem v časopise databáze Web of Science (WoS) či Scopus, se zatím téměř nehodnotily. Zhodnotilo se jen něco málo jiných vybraných výsledků formou peer review. Zatím jich bylo málo na nějaké silnější závěry. Navíc se u nich hodnotil pouze ekonomický respektive společenský přínos a nikoliv přínos vědecký. Stranou hodnocení tak zůstala spousta vědecky významných výsledků tzv. nebibliometrizovatelného typu. A konečně i ten hodnocený ekonomický a společenský přínos vybraných výsledků se musel spíše věštit z křišťálové koule, protože výsledky (z roku 2016) těžko mohly počátkem roku 2018 prokázat praxí ověřené přínosy.
- Bibliometrizovatelné výsledky sice byly posouzeny všechny (ty z roku 2016), ale pouze bibliometricky. Interpretace použitých bibliometrických indikátorů však byla do velké míry nevhodná (podrobnosti viz níže). Nebyly navíc zohledněny autorské podíly VO, což sice má výrazný dopad jen někdy a někde, ale kdy a kde bohužel není známo.
- A dalších informací o hodnocených VO vstoupilo do hodnocení jako šafránu. Třeba nejsou k dispozici vyjádření VO k bibliometrickým zprávám. Něco jako sebehodnotící zpráva VO zůstává hudbou budoucích kol hodnocení v jiných než celonárodních modulech.
Hledání zlata v hromadě písku
Probrat se podklady z Hodnocení'17 je na dlouhé lokte. Soustředím se jen na to nejdůležitější a nejzajímavější - na výsledky a jak se k nim došlo. Odkazuji se na 3 klíčové podklady.
- #1. Zpráva pro poskytovatele [link]
- #2. Bibliometrická zpráva za výzkumnou organizaci [link | příklad]
- #3. Protokol s indikativním škálováním výsledků [link]
#1 Zpráva pro poskytovatele
Konečným výsledkem Hodnocení'17 je jedna známka za celou VO v rozmezí A, A-, B+,B, B-. Známku najdete ve sloupci "AI" ve Zprávě ad #1. Na to, že jde o celonárodní hodnocení VaV s vládní podporou, by jeden čekal, že výsledky budou pro akademickou, novinářskou i širokou veřejnost zveřejněny přehlednější a přístupnější formou než primitivní XLS tabulkou. Co třeba jako výsledky britského hodnocení REF2014? Takový web už je dávno běžný standard. Umožnil by nahlédnout jak si vedou VO v rámci určitého oboru, a nebo naopak, jak si vede určitá VO v rámci všech oborů. Sčítat výsledky a profily napříč obory, jak to dělá zmíněná XLS tabulka, je totiž obrovský bibliometrický hřích.
Výsledky britských universit v hodnocení REF2014 v oboru Economics and Econometrics
Výsledky University of Cambridge v hodnocení REF2014 napříč obory
A z jedné známky za celou VO, navíc bez věcného odůvodnění, se veřejnost nic užitečného nedozví. Pokud se nechceme hrabat ve spoustě dalších zaZIPpovaných PDF souborů, můžeme se jen dohadovat, jaké vědní obory dané VO se za známku zasloužily nejvíce a naopak. U oborově úzce zaměřených ústavů AV ČR by se to snad ještě dalo odhadnout, ale ne v případě vysokých škol. Třetina VO navíc ani žádnou známku nedostala. Neměly totiž dostatečně vysoký podíl bibliometrizovatelných výsledků (článků v časopisech na indexu WoS). Jak se vlastně ke známce VO došlo se můžete zkusit dozvědět sami v druhé části Protokolů ad #3. Zhruba řečeno, známka byla VO udělena takto:
Na základě tvaru oborových kvalitativních profilů publikačního výkonu VO
- Problém, je, že publikační profil nevypovídá nic o tom, nakolik při daném objemu veřejné podpory a velikosti daná VO vykazuje adekvátní objem výzkumných výsledků. Tvar profilu vypovídá pouze o tom, nakolik má VO články soustředěny v (ne)významných vědeckých časopisech. Velká VO může mít publikační profily nádherné, ale když počet článků neodpovídá velikosti oborů na VO, pak rozhodně nelze hovořit o kvalitní VO.
- A ještě k tomu tvar profilu ovlivňuje to, zda v oborech dané VO v Česku vychází či nevychází vědecké časopisy na indexu WoS. Podrobné polopatické pojednání najdete zde. Ne že by informace o tvarech publikačních profilů nebyla zajímavá, ale známkovat podle toho VO nedává žádný smysl. Existence korelace mezi tvarem profilů a vědeckou produktivitou VO neznamená, že tvar profilu vyjadřuje kvalitu VO. To je jako měřit zrychlení rychlostí nebo rychlost ujetou vzdálenost nebo velikost počítačové paměti v milimetrech krychlových paměťového čipu.
- Pokud bude tvar profilu hrát prim i v dalších letech hodnocení, bude vhodnou strategií VO do RIVu přestat hlásit články v méně významných časopisech a postupně se dostanou na světovou špičku, tedy podle českého hodnocení.
- S ohledem na výše uvedené je vlastně drobnost, že hodnocení nebralo v potaz autorské podíly VO, takže pouze sčítalo články jako fyzické kusy.
- Užitečné zjištění Hodnocení'17 je, jak se ta která VO podílí na nejvýznamnějším publikačním výzkumu v tom kterém oboru. Ale to člověk nenajde ve zprávách za VO, ale ve zprávách oborových a do známky VO to nevstupovalo. Pro danou univerzitu by si člověk musel tuto informaci vyzobávat z mnoha desítek oborových PDF zpráv. To určitě nikdo z hodnotících v tripartitách nedělal. A i kdyby, ani z toho by neodvodil, zda publikační výsledky VO v tom kterém oboru zhruba odpovídají personální velikosti VO.
Kvalitativní publikační profil z bibliometrické zprávy za výzkumnou organizaci
Na základě tvaru kvalitativního profilu vybraných nebibliometrizovatelných výsledků
- Jak jsem již psal, tvar profilu VO je sice informace zajímavá, ale rozhodně ne zásadní a navíc se obtížně interpretuje. Diametrálně důležitější je, zda počet kvalitních článků VO odpovídá její velikosti, respektive počtu vědců, potažmo velikosti veřejné podpory. Problematičnost dále zvyšuje již zmíněný malý počet doposud zhodnocených výsledků.
Autor: Daniel Münich
Článek byl publikován na webu metodikahodnoceni.blogspot.cz.
