V současnosti projednávaná dohoda The Agreement on Reforming Research Assessment (ARRA) má za cíl transformovat styl hodnocení vědy a posunout jej k více kvalitativním měřítkům. Názor na tuto reformu vyjandřuje bývalý náměstek MŠMT a současný prorektor pro strategickou spolupráci a rozvoj Univerzity Karlovy Pavel Doleček. Byl členem komise, která o dokumentu jednala.
Tento text tematicky navazuje na náš předchozí článek, který seznamuje s novou dohodou.
Rozdíl mezi Metodikou 2017+ a novou dohodou
K rozdílu mezi dokumenty je potřeba udělat dva komentáře. První z nich: The Agreement on Reforming Research Assessment zřejmě nemá primárně představovat nějaké velké novinky. Základní motivací při jeho tvorbě bylo zabránit fragmentaci při prosazování hodnot, u kterých panuje pocit, že jsou sdílené, urychlit tento proces a zejména zapojit všechny úrovně, kterých se hodnocení týká. To je myslím docela jasně řečeno i v dokumentu, který této iniciativě předcházel, Towards a reform of the research assessment system – Scoping Report z listopadu 2021. Šlo o to nevnímat reformu hodnocení jako top-down politiky států či poskytovatelů, ale jako společné úsilí na všech stranách. Tato forma advokacie a sdílení hodnot je určitě důležitá, bez tzv. ownershipu zavádění třeba i dobré myšlenky může způsobit nepochopení, frustraci nebo i negativní reakce. To platí jak pro řízení výzkumu, tak pro jakoukoli jinou oblast. I když tedy obsahově nejde vždy o nové věci, komunikace a určitá míra empatie bude do dalších měsíců a let nutná.
Na pozadí celé inciativy je poměrně jednoduché poznání, že způsob hodnocení výzkumu přímo ovlivňuje jeho provádění. V tomto smyslu z obou dokumentů docela jasně vyplývá určitý názor na využívání čistě kvantitativních bibliometrických ukazatelů a s nimi spojenou praxi vydavatelů, dále také představa o přínosu všemožných rankingů, pokud se stanou součástí institucionálního hodnocení, a v neposlední řadě snaha zaměřovat se více na prostředí, v jakém se výzkum odehrává, a na reálný vědecký či společenský dopad jeho výsledků. Ačkoli je to na jinou debatu, vyvstává otázka, zda výzkumné politiky tvoří spíše národní autority ve spolupráci s výzkumnými organizacemi, nebo je tvoří rankingové agentury, redakce časopisů či jejich vydavatelé. Zda jsou tvořeny s ohledem na veřejný zájem, pokud jsou financované z veřejných prostředků, nebo na jiné zájmy.
Druhý komentář: Jakkoli se s řadou principů běžně pracuje, je potřeba vnímat, kde a jak se s nimi pracuje. V rámci Evropského výzkumného prostoru jsou praxe různé na různých úrovních. A to samozřejmě i na úrovni členských států. Agreement představuje určitou zprávu o současném evropském koncepčním mainstreamu a o tom, kudy se má hodnocení ubírat. Nakolik se s ním členské státy, poskytovatelé, či samotné výzkumné organizace ztotožní, je samozřejmě věc jejich rozvahy a ochoty.
Zde se nabízí námitka, zda nestačí současná metodika. Agreement však primárně není metodikou a ani jí být nemá. Nemůže se tedy jednat o konkurenci M2017+. Jedná se o sadu principů, které obsahují nějaké normativní pojetí, co se má či nemá akcentovat při hodnocení výzkumu. Kromě toho se Agreement dotýká podmínek, které je pro takové hodnocení třeba připravit, a přináší sadu příkladů či výklad pojmů. Metodika je naopak popis přesného procesu hodnocení, který je vztažený k jeho předmětu a účelu. Agreement na několika místech jasně říká, že se zabývá principy hodnocení organizací, jejích součástí, skupin, projektů či samotných výzkumníků. Různé principy jsou různě adaptovatelné pro různé úrovně. Každý, kdo se k iniciativě bude chtít připojit a bude se jimi zabývat, se bude muset zamyslet, nakolik je schopen je zařadit nebo posílit ve svém typu hodnocení, které provádí.
Samozřejmě, že diskuse v ČR se tak nějak vždy stočí k M2017+. Na druhou stranu pro řešení evropských výzev a evropskou diskusi nejsou boje o M2017+ – ať už jsou relevantní, či pouze emocionální – úplně rozhodné.
Zároveň bych se vyvaroval toho identifikovat hodnocení výzkumu a výzkumné činnosti jen s M2017+, jelikož takto diskuse přece nestojí. M2017+ se zaměřuje přednostně na hodnocení výzkumných organizací a toto hodnocení tvoří mj. podklad pro institucionální financování. Ve druhém sledu – a je otázka, zda to dělá dostatečně – se má zabývat hodnocením programů účelové podpory.
Domácí metodika M2017+ je soustava hodnocení v pěti modulech, za kterou sice mají odpovědnost různé subjekty, ale tvoří jeden celek, což je dáno skrze mechanismus vstupů RVVI, poskytovatelů a tripartit, včetně agregace známek a tvorby souvisejících protokolů. Pokud např. vezmete jako jeden z klíčových principů Agreementu využívání peer-review a namátkou jeden segment hodnocení (např. vysokoškolský), snadno zjistíte, že ve většině modulů se peer-review již využívá, a v řadě z nich dokonce mezinárodní. Je tedy nepochybně zajímavou výzvou, aby si všichni klíčoví hráči srovnání konkrétních metodik provedli. Třeba zjistí, že řadu principů už nějak implementují. Koncepční debata pak spočívá v tom, jestli je to adekvátní vzhledem k cíli hodnocení a zda není prostor pro posun. Pro tyto úvahy Agreement nabízí určité návody a předpokládám, že napříč Evropou vzniknou další přehledy možností a dobré praxe. Agreement předpokládá vznik platforem pro tyto účely a uvidíme, jak se jim bude dařit.
To může být namátkou pro RVVI/KHV téma do diskuse s tzv. segmentem resortních výzkumných organizací, tj. té části výzkumného terénu mimo vysoké školy a ústavy Akademie věd, která je značně ovlivňována jednotlivými poskytovateli a např. moduly 3–5 v ní mají specifické postavení. Agreement může být vstupem pro debatu nad nastavením hodnocení programů účelové podpory, a to nejen ex post, ale již při jejich tvorbě. V tomto smyslu může být inspirativní nejen pro ústřední orgány státní správy, ale i pro agentury. Tím, že Agreement tematizuje hodnocení výzkumníků, může být nosný například i pro diskuse v rámci univerzit o specifickém vnitřním využívání institucionálních prostředků pro podporu kvalitní vědy nebo pro diskuse univerzit a Národního akreditačního úřadu o kariérním postupu a parametrech habilitačních a jmenovacích řízení. Tyto diskuse ostatně probíhají běžně. Osobně beru tento dokument více jako možnou inspiraci vycházející z výzkumné obce, než jako politickou deklaraci.
Zapojení českých institucí do dohody
Agreement má skutečně podobu „dohody“, jinými slovy předpokládá přistoupení každého způsobilého subjektu do „koalice“ a přijmutí určitých závazků implementovat principy pro hodnocení výzkumu s ohledem na povahu a cíle prováděného hodnocení. Tyto principy se logicky nevznášejí ve vzduchoprázdnu – předmět a účel hodnocení ovlivňuje míru realizace různých principů. Je tak rozdíl, zda k dohodě přistupuje poskytovatel, agentura, asociace či výzkumná organizace. Závazek subjektu také ukládá veřejně diskutovat průběh implementace. I když tento závazek není právně vymahatelný, symbolická a reputační rovina udělá asi své. Kromě principů hodnocení Agreement také apeluje na rozvoj určitých podpůrných mechanismů. Myslím, že špičkové české organizace se o toto snaží nebo to do značné míry již dělají. Netřeba zastírat, že to vyžaduje určité zdroje a kapacity. Tak je to ale u všeho, co má ambici vyrůst nad průměr. Pro řadu těchto procesů navíc podpora existovala či existuje.
Rozdíl mezi The Agreement on Reforming Research Assessment a jinými podobnými manifesty
ARRA se nejvíce liší asi způsobem přípravy a participací výzkumného prostředí. Nejedná se o materiál, který je připraven a vydán Evropskou komisí či v rámci Předsednictví Radě EU členskými státy, není ani jakýmsi position-paperem nějaké velké Asociace, kterým by se snažila směrovat národní a evropské veřejné politiky. Na webu Evropské komise, myslím, stále ještě visí seznam organizací, které předběžně podpořily iniciativu a měly možnost se v určité míře zapojit. V tomto smyslu byl proces přípravy trvající půl roku docela unikátní. Navazoval však na předchozí aktivity, zejména ty z roku 2021, kdy DG RTD (Directorate-General for Research and Innovation) spustil konzultace o tom, v jakém modelu by bylo vhodné tuto inciativu rozvíjet. Letošní proces pak zahrnoval např. tři stakeholder forums s docela širokým zastoupením. Z činnosti naší core-group vím, že se s připomínkami vzešlými z těchto plén pracovalo opravdu extenzivně. Dalším specifikem je povaha výše zmíněného závazku a participace na monitoringu a sdílení postupu.
Některá opatření budou výzvou
Je jasné, že některé principy s sebou nesou rizika. Ovšem to spíše souvisí s připraveností na jejich implementaci. Vzhledem k tomu, že se zabýváme hodnocením celé struktury výzkumu, museli bychom pro nalezení odpovědi na otázku, která opatření bude snadné zavést, a která naopak budou výzvou pro současnou vědeckou práci, projít část po části celý Agreement. Když si jako redukci vezmeme například historickou perspektivu MŠMT, zjistíme, že zde probíhají tři velká mezinárodní peer-reviews pro zcela odlišné typy výzkumných aktivit nebo aktivit hrazených MŠMT z výzkumných zdrojů.
Největší tradici zde má hodnocení projektů velkých výzkumných infrastruktur, zajišťováno je ale i hodnocení účasti ČR v mezinárodních organizacích výzkumu a vývoje či nově také moduly 3–5 M2017+. Od těchto hodnocení se buď zcela, anebo do značné míry odvozuje financování výzkumu přesahující 11 mld. korun ročně. Nejde tedy o okrajový jev, ale o integrální nástroj a součást výkonu kompetencí MŠMT jakožto národního poskytovatele. Aby mohl legitimně fungovat, vyžaduje zkušenost, logistiku a velmi náročnou komunikaci s hodnotiteli na straně MŠMT. Také dostatek zkušených hodnotitelů, ideálně participujících na více kolech hodnocení.
V neposlední řadě jsou nezbytné vědomí sdílené hodnoty peer-review jako takového a respekt k jeho výsledkům, ať už dopadlo jakkoli. Na všem se musí dlouze a kompetentně pracovat s hodnotiteli i hodnocenými. To souvisí s personálními kapacitami a metodickou prací institucí, které je pro svá hodnocení využívají na národní i institucionální úrovni, nemluvě o prostředcích, které jsou pro tyto účely uvolňovány. Nic z toho ale nezpochybňuje samotný princip. Popisuji zde celkem banální zjištění, že dobré peer-review se neudělá jen tak samo, tedy že sebelepší princip či nástroj musí být kvalitně realizován. Našli bychom určitě příklady nepovedeného peer-review hodnocení, stejně jako toho metrického. To, co je zapotřebí, je dostatek hodnotitelů a nezahazovat metriky úplně, protože pro ně určitě místo je.
Některé apely Agreementu jsou vázány na další opatření týkající se chodu a strategií celé instituce – tím obecně míním rozvoj institucionálního prostředí, který je už x let velkým tématem. Každý asi vnímá větší důraz ve výzvách národních i evropských na plány data-managementu či obecně na správu otevřených dat a podobná opatření, která souvisí s problematikou lidských zdrojů. Stejně tak je dobré připomenout, že M2017+ má moduly 4 a 5. A konečně je asi vhodné zmínit i to, že z hlediska Evropské komise a DG RTD je téma hodnocení výzkumu koordinováno útvarem pro Open Science, což také vypovídá o tom, jak se bude do budoucna k této věci přistupovat. Proto je třeba opakovat, že bez připraveného prostředí se sebelepší princip stěží uplatní.
Klíčem k úspěchu bude to, aby se k iniciativě konstruktivně připojila i státní správa, zejména pilíře systému VaV ČR, tj. MŠMT a ÚV/RVVI. Je třeba dát najevo, že sdílí její principy. V našem prostředí to bude zvláště důležité pro akceptaci výzkumným prostředím. Pokud to v souvislosti se státní správou vztáhneme opět na M2017+, pak Agreement můžeme chápat jako pokračování určitého příběhu naší vědy od „kafemlejnku“ k vícekriteriální a modulární M2017+. Samozřejmě se všemi dětskými nemocemi a s úkolem tuto iniciativu dále rozvíjet.
Autor: Pavel Doleček
Můžete si přečíst také rozhovory s Pavlem Dolečkem, které byly zveřejněny na našem portálu. O propojení a sdílení výzkumných kapacit z února letošního roku, o pandemii a finanční situaci české vědy z února 2021 či o metodice 2017+ z října 2019.
Pavel Doleček
V současnosti působí na pozici prorektora pro strategickou spolupráci a rozvoj Univerzity Karlovy. Od roku 2017 do konce ledna 2022 vykonával funkci náměstka pro řízení sekce vysokého školství, vědy a výzkumu MŠMT, kde předtím zastával post vedoucího oddělení koncepčního odboru vysokých škol a posléze působil na pozici zástupce náměstka pro řízení sekce vysokého školství, vědy a výzkumu. Podílel se na koncepci a realizaci vysokoškolské a vědní politiky státu v gesci ministerstva včetně mezinárodní bilaterální a multilaterální spolupráce, legislativy a financování. Současně mezi jeho hlavní odpovědnosti patří spolupráce univerzity mj. se státní správou a v rámci Asociace výzkumných univerzit koordinace investičních a rozvojových projektů. Je členem řady odborných poradních orgánů, rad a výborů.
