Michal Petr: Reflexe výstupů z Hodnocení podle Metodiky 17+ z pohledu výzkumné organizace

Upozorňuji, že tento příspěvek je vyjádřením mých osobních postojů k této problematice, nikoli oficiálním sdělením Masarykovy univerzity.

Diskuse kolem M17+ se odehrává jednak na širší úrovni, tedy zejména se zastánci starých kafemlejnkových pořádků a jednak na užší, vnitřní, úrovni v rámci ujasňování bibliometrické metody, použití různých indikátorů a interpretace prvních výsledků hodnocení. Diskusi na širší úrovni vnímám jako myšlenkový zápas mezi nastupující slibnou inovací a strachem ze změny reprezentovanou snahou o reinkarnaci bodovacího cvičení M13-16. Kafemlejnek měl nesporně destruktivní vliv na chování oborů, o tom již bylo napsáno mnohé. Různé evropské i mimoevropské země si touto zkušeností také prošly, byť mnohem dříve a jiné země pochopily, že jakmile se systém dostane všem příliš pod kůži, je načase jej změnit. Viz Holandsko a aktuální klima ve Velké Británii, ve kterém rezonuje názor na zrušení REF.

Bodování publikací a 100% vliv tohoto bodování na financování institucí bylo v negativním smyslu unikátním modelem, který nemá s hodnocením výzkumu nic společného. Lze namítnout, že Norský model a jeho mimoseverské aplikace (např. Flandry) pracují na podobném principu. Ano, jenže nemají přímý a výhradní vliv na financování, což je ono jádro pudla. Ultra kvantitativní model hodnocení, kterým je bodování publikací podle ceníku M13-16, je v principu špatný a nelze jej kruhem obhájit tím, že je tady již dlouho, je tradiční, a proto je vhodný.

Diskuse nad tím, co všechno může způsobit M17+ (například úvaha, že autoři budou publikovat raději mimo WoS, než publikovat ve Q4) jsou asi logické a opodstatněné. Jsem ale přesvědčen, že pokud je financování organizací 100% provázáno s výsledky hodnocení výzkumu, dřív nebo později si vědec nebo výzkumná organizace najde způsob jak ohnout ke svému prospěchu i ten nejlepší a nejpromyšlenější model. Pokud se má hodnocení v České republice kultivovat, musíme dát šanci, aby se dobrý záměr podařilo uskutečnit a aktivně tomu pomoci. Pokud už je hodnocení v takové míře provázáno s penězi, je potřeba je designovat tak robustně, aby byl pohled na kvalitu vědy co nejzodpovědnější. Podle mého názoru k tomuto Metodika 17+ směřuje. Je ale potřeba vnímat především esenci záměru, nikoli jen vypočítávat aktuální nedostatky.

Výsledky Modulu 2 z pohledu analyzované instituce

Hovoříme o Modulu 2 (případně Modulu 1), což nelze chápat jako kompletní hodnocení. Kafemlejnek, institut „bodování“ a zejména širší kontext tohoto způsobu hodnocení je silně zakořeněn v myšlení. Tento myšlenkový kontext je reprezentován pocitem, že za publikaci spravedlivě náleží finanční odměna. Je vyjadřován tendencí nějak ukazovat zásluhu jednotlivců/pracovišť na úspěchu organizace. Z toho možná vyplývá občas pozorovaný sklon k naprosto striktní interpretaci současné podoby Modulu 2, což ovšem není vhodné. Souhlasím s Michaelem Šebkem, který říká, že Metodika ukazuje svými „kvalitativními profily“ něco, co dříve vidět nebylo a je to velmi užitečný pohled. Klíčová je potom dobrá interpretace analýzy. Pokud je dostatečná datová základna, jsou výsledky Modulu 2 relevantním nástrojem poskytující informace pro následné hodnocení. Vstupní dataset byl alespoň pro Masarykovu univerzitu připraven (téměř) bezchybně, což jsme ověřili. Následuje několik obecných komentářů.

1. Bibliometrická analýza pracuje s jediným indikátorem, který je primárně vytvořen pro časopis (AIS), nikoli pro článek. Výhoda vůči IF, kterým je vážení citací podle vlivnosti v síti citujících zdrojů tento principiální nedostatek úplně nezachraňuje. Vlivnost časopisu v síti je založeno na principech PageRanku a někomu možná může vadit malá transparentnost výpočtu indikátoru. Je nutné zejména v našem prostředí interpretovat analýzu jako schopnost, ale i ochotu a tradici umisťovat výzkum do časopisů s lepší kvalitou, či viditelností. Analýza docela dobře odráží aktuální trendy v publikačních strategiích české vědy. A v dostatečně velkých číslech bude zřejmě výsledek této analýzy korelovat s kvalitativním hodnocením vědy. Příliš striktní a přímočará interpretace proto ale není možná. Korelaci s kvalitou, která u větší části oborů nepochybně funguje, však nelze všude automaticky anticipovat. Pro obory přírodních věd je tato analýza vypovídající o tom, co sám tento obor považuje za dobré. Tato bibliometrická analýza ovšem aplikuje na všechny obory předpoklad, že cílem vědce je usilovat o publikování v časopise s co nejvyšším IF nebo AIS. Pro část vědeckého prostředí není indikátor časopisu v rámci volby časopisu příliš důležitý. Pohled na výkon přes reputaci časopisu je zde potřeba interpretovat s vědomím, že volba časopisů bývá ovlivněna také uvědoměním daného týmu, případně tradicí, ne nezbytně v korelaci s jeho kvalitou.
2. Bibliometrie pro společenské a humanitní vědy je v prostředí ČR limitována jednak oborově (typické publikační vzorce), jednak historicky. Publikační vzorce SHV byly v ČR stejně jako i v jiných postkomunistických zemích formovány pro tuto oblast specifickými kulturně-historickými okolnostmi, například byly zaměřeny více lokálně. Tím neobhajuji publikační nešvary, jen je potřeba pro budoucí strategie tyto publikační vzorce znát. Kafemlejnek je neanalyzoval, ale zatím to nedělá ani i Modul 2, který se na vědu dívá prizmatem vlivnosti časopisů. Pro SHV je zatím vyhrazen Modul 1. V neposlední řadě je bibliometrie limitována také politikou společností Clarivate Analytics a Elsevier, které jsou producentem dat (tj. co se rozhodnou v databázi pokrývat). Bibliometrii lze použít i na společenské a humanitní vědy, jen je potřeba vědět, co chceme sledovat a zvolit pro to vhodné indikátory.
3. Je nutné mít na paměti, že v rámci oboru existují mikroobory (týmy, témata), které mohou mít vysokou kvalitu a de facto mohou formovat reputaci celé instituce, ale v analýze se skryjí pohledem přes časopis nebo v rámci širšího oboru FORD. Přitom tyto mikroobory jsou na instituci typu univerzity (oproti např. AV ČR) typickou úrovní, kde se odehrává špičkový výzkum.
4. Full counting výsledků je legitimní metodou počítání výsledků v bibliometrii a podle mého názoru pro hodnocení tohoto typu vhodnější. Modul 2 sleduje schopnost publikovat v časopisech s určitou kvalitou. Počítat v tomto případě podíly se mi jeví jako míchání nepřiměřeného detailu do jinak velmi panoramatického pohledu. Frakcionalizace výsledků je jiná úroveň analýzy, obvykle vhodnější na menší datasety. Přisuzuje institucím rovnoměrný podíl, který stejně neodráží skutečné intelektuální přispění a současně je zde velké riziko chyby způsobené nepřesností dat v databázích (afilace, adresy). Dělení publikací rovněž negativně ovlivňuje pohled na spolupráci. Tyto nevýhody pro Modul 2 převažují. Podporuji ale zapojit dodatečný pohled na multiautorské publikace.
5. Do budoucna je pro vytvoření zodpovědných podkladů pro hodnocení a pro naplnění metodologických principů v bibliometrii vhodné zapojit větší množství indikátorů a zvláště v oborech SHV analyzovat celé publikační spektrum, zohlednit podíl článků, pokrytí na WoS a například také míru internacionalizace (podíl cizího jazyka), která podmiňuje schopnost dostat se do časopisů na WOS. Tato kritéria samozřejmě nelze přímočaře promítnout do hodnocení (větší pokrytí = lepší), ale panelům poskytne dostatečně robustní informaci o publikačních aktivitách, včetně výkonnosti.
6. Občas se objevuje požadavek na Úřad vlády, aby byla analýza Modulu 2 zpracována i pro úroveň fakult. Vidím v tom opět hlubokou zakořeněnost kafemlejnkového myšlení. Myslím, že by se to už z principiálních důvodů nemělo dělat. Organizace si musí vytvořit vlastní způsob vnitřního hodnocení a výsledky Modulu 2 chápu pro instituci jako užitečnou výchozí informaci, kterou je nezbytně nutné podrobit důkladnější analýze ve vlastním prostředí.

Následující komentáře se vztahují k formátu analýzy, které jsou pro každou výzkumnou organizaci dostupné na webu rvvi.cz.

Tabulka VO1 „Seznam výsledků výzkumné organizace a jejich oborové členění“ odráží publikační frekvenci oborů, tj. objem publikací na Web of Science, které vstupují do analýzy. Z tohoto podkladu vyplývá míra oborové variability. Tabulka nezobrazuje personální velikost oborů, je to však nicméně nezbytná informace pro interpretaci dalších částí analýzy.

Tabulka VO 1 - příklad

 

Tabulku VO2 „rozložení výsledků v kvartilech a v horním decilu podle maximálního percentilu“ je nutné porovnat s podkladem VO1, neboť klíčový podíl výsledků mají obory, kde je současně velký tlak na kvalitu publikací a kde také kvartil časopisu koreluje s dobrou vědou. V měřítku celé univerzity je podklad VO2a sice zajímavou informací, ale velmi panoramatickou, výkon je generován několika málo obory s velkou publikační frekvencí. 

 

Tabulka VO 2 - příklad

 

Tabulka VO3 „excelentní výsledky podle AIS“ dobře doplňuje podklad VO2, neboť rozpracovává pohled na zastoupení časopisů v prvním decilu a prvním kvartilu podle oborů. Jedná se o jednoduchý, nicméně cenný pohled na schopnost oborů publikovat v časopisech s vysokou reputací. Struktura oborů, kde tato tabulka může korelovat s kvalitou výzkumu, jak bylo zmíněno, úzce souvisí s publikačními strategiemi, tj. kde  je reputace časopisu významným kritériem. Jedná se o obory ve skupinách 1-Natural Sciences, 2-Engineering and Technology, 3-Medical and Health Sciences a 4-Agricultural Sciences. Netýká se to oboru 1.2-Computer and information sciences, který komunikuje ideálně formou konferenčních příspěvků a články v časopisech nejsou jako publikační kanál preferovány. Netýká se to ani v plné míře oborů skupiny 5 a 6 (Social Sciences a Humanities), kde jsou odlišné motivace nebo kde je nedostatečná datová základna. Rozdíl je především v tom, že pro přírodní vědy je aktivita na WoS primárním publikačním kanálem, tyto obory tedy využívají celé spektrum zdrojů a již na vstupu chápou časopis jako kvalitativní kritérium. V oborech SHV je volba časopisů spíše konzervativní. Pokud tedy například v analýze existuje 20 článků v oboru Politology a pouze jeden z nich je první decil, je velmi pravděpodobné, že všechny ostatní (19) pochází z jednoho nebo dvou tradičních časopisů, které nedosahují první decil ani 1.Q. V případě SHV je to samozřejmě zajímavá informace, neboť vypovídá o nežádoucí publikační praxi v oboru, nicméně to nutně neznamená, že tyto obory obecně neprodukují kvalitní výstupy.  Z této tabulky (a z celého Modulu 2) nevyplývá, jaký podíl tvoří články na WoS ze skutečné publikační produkce.

 

Tabulka VO3 - příklad

 

Podklad VO4b „oborově členěné výsledky výzkumné organizace podle AIS, jejich srovnání se světem a srovnání s ČR“ dává pohled na srovnání zastoupení publikací v jednotlivých kvartilech se světovou produkcí. Opět je rozdíl mezi obory přírodních věd, kde analýzu považujeme za odpovídající, a mezi obory SHV, kde je nutné analýzu interpretovat spíše jako ukazatel nežádoucí publikační praxe, než jako ukazatel "kvality". V mezinárodním prostředí se obory SHV chovají obvykle jinak, je tam vyšší podíl časopisecké produkce, vyšší podíl časopisů s vyšší reputací a tedy platí, že i obory SHV lze komunikovat mezinárodně. Je to signál i pro obory SHV v ČR, aby vytvářely strategie směrem k internacionalizaci a vyššímu zviditelnění svého výzkumu.

 

Tabulka VO4b - příklad

 

Závěrem

Úzká „vnitřní“ diskuse nad M17+ je vedena na více odborné úrovni, čímž může ztrácet krok širší vědecká obec, která teprve dostává povědomí, o čem nová Metodika vlastně je. V rámci této užší diskuse existuje kromě samotné interpretace Modulu 2, otázek benchmarku a podobně, také několik technických nejasností, které výsledek hodnocení mohou ovlivňovat. Namátkou efektivní deduplikace záznamů v RIV, metoda párování se záznamy WoS, spolehlivost a kompletnost údajů zadávaných samotnými výzkumnými organizacemi. Toto není výtka, autoři hodnocení si toho jsou vědomi a zajisté se podaří tyto technické nedostatky vychytat.

Co bude naprosto zásadní, bude ovšem implementace výsledků do vnitřního prostředí univerzity. Výsledky Modulu 2 dávají velmi užitečnou informaci, která ovšem slouží pro hodnocení na národní úrovni. Uvnitř univerzit je nutné data podrobněji analyzovat a spojit s kvalitativním hodnocením, tj. využít všechny Moduly M17+, které odráží strukturu hodnocení, jak je dobrou praxí i v zahraničí. Pokud by instituce přešly od „hodnoty bodu“ k hodnocení výhradně podle rozložení článků v kvartilech, žádnou významnou změnu to nepřinese a bude to prohra celého záměru M17+.

Souhlasím s Danielem Münichem v tom, že nelze považovat kvalitativní profily za ukazatel kvality oborů. Je potřeba to vnímat jako varování před příliš striktním výkladem Modulu, o kterém jsem se zmiňoval. Na druhou stranu, nedávno spuštěná aplikace IDEA „Oborová publikační výkonnost pracovišť výzkumných organizací v České republice v roce 2017“ je prezentována jako něco vhodnějšího, než jsou výsledky Metodiky a jako příklad v  diskusích a v kontextech s bibliometrií spojených. Asi to bude výbušné téma, ale tato jinak velmi krásná aplikace z mého pohledu ukazuje v možnosti interpretace v principu vlastně velmi podobnou informaci jako M17+!  Jestli je jedna z nich lepší, nelze říci. Jsou to stále jen AIS časopisů, které můžeme různě filtrovat a vážit. M17+ i aplikace IDEA přináší dvě řešení téže informace, obě legitimní, vztažené na kontext vyhovující momentálnímu záměru.

Úplně na závěr, zarazil mě disclaimer u aplikace. Autoři jakékoli bibliometrické analýzy si jednoduše nemohou dovolit říct, že „neručí za případné nedostatky v datech (data stažena 1. 8. 2018)“. Znamená to třeba, že data z RIV nejsou v aplikaci deduplikována, vyčištěna, správně spárována s WoS? Verifikace dat je nejnutnější nutností a esenciálním předpokladem jakékoli bibliometrické analýzy. Rozumím, že nelze vždy vyčistit všechna data do důsledku, zejména pokud se jedná o obrovské množství záznamů nebo o data, která neumíme ovlivnit. Ale data v rozsahu jednoho roku v národní databázi, do které máme veřejný přístup, vyčistit lze. Za správnost takových dat prostě musíme ručit, i kdyby to mělo zabrat měsíc ruční práce! A to platí i pro M17+.

Za komentáře k textu děkuji Monice Sieberové.

Autor: Michal Petr

 

---

 

Michal Petr

Pracuje na Odboru výzkumu Rektorátu Masarykovy univerzity, kde se komplexně věnuje problematice vědeckého publikování a hodnocení výzkumu. Intenzivně se zabývá především bibliometrií v rámci Centra pro scientometrickou podporu MU a v této oblasti aktivně spolupracuje s evropskými pracovišti podobného zaměření. Podílí se rovněž na mezinárodním výzkumu v oblasti publikačních vzorců ve společenských a humanitních vědách.