Dohoda The Agreement on Reforming Research Assessment (dále jen ARRA, k dispozici zde) je výsledkem jednání více než 350 organizací z více než 40 zemí světa. „Mezi zapojené organizace patří veřejní a soukromí poskytovatelé finančních prostředků na výzkum, univerzity, výzkumná střediska, ústavy a infrastruktury, jejich sdružení a aliance, vnitrostátní a regionální orgány, akreditační a hodnotící agentury, učené společnosti a sdružení výzkumných pracovníků a další příslušné organizace, které představují širokou škálu názorů a perspektiv. Ti poskytli zpětnou vazbu k vyvíjejícím se návrhům dohody, jak je připravil tým složený ze zástupců Evropské asociace univerzit (EUA), Science Europe, Evropské komise a Dr. Karen Stroobantsové, jakožto individuální výzkumné pracovnice s odbornými znalostmi v oblasti research on research,“ uvádí tisková zpráva Evropské komise. Mezi českými organizacemi, které deklarovaly zájem být členy tzv. koalice jednající podle dohody, najdeme Ministerstvo školství, mládeže a tělovýchovy, Úřad vlády, několik vysokých škol, včetně tří největších, nebo Akademii věd České republiky.
Dokument navazuje na již etablované výzvy, jako je třeba San Francisco Declaration on Research Assessment, tzv. DORA, ke které se připojilo již více než 2500 institucí a na 19 000 jednotlivců, přičemž z České republiky se k této chartě zavázalo pouze šest institucí, mezi nimiž najdeme Akademii věd České republiky nebo Národní technickou knihovnu. K obdobným cílům se hlásí také tzv. Leidenský manifest výzkumných metrik nebo tzv. SCOPE principles, vytvořené Network of Research Management Societies. Všechna tato hnutí směřují k reformě myšlení o tom, jak by se měla hodnotit věda jako taková, co to znamená, že výzkum je kvalitní, že by instituce a výzkumníci měli směřovat k otevřené vědě a že musí brát v potaz nekonečné rozdílnosti oborů, států, organizací, kariér výzkumníků a mnoha dalších parametrů.
Ačkoli jde především o iniciativu evropských vědkyň, vědců a institucí, zaštítěnou především Evropskou komisí, ARRA má za cíl stát se globálním rámcem hodnocení vědy. Že by se to mohlo podařit i přes existenci několikerých již zmíněných projektů, přiznává i časopis Nature v jednom svém editorialu. Jedním z důvodů, proč by tomu tak mohlo být, je ten, že již od počátku jde o relativně velkou skupinu stakeholderů, kteří se rozhodli do tohoto hnutí zapojit. Druhý důvod k tomuto optimismu můžeme vidět ve snaze nezůstat pouze u proklamací, ale nastavit pevný procesní a termínový rámec včetně konkrétních praktických návodů a upozornění.
Nature přibližuje, proč je potřeba se touto tematikou zabývat. „Podle zprávy z listopadu 2020, kterou vypracovala společnost Research on Research Institute (RoRI) – sítě odborníků, kteří zkoumají, jak se provádí výzkum – současný způsob hodnocení vyvíjí tlak na výzkumnou komunitu, aby uspěla ve smyslu výkonnostních ukazatelů. Zvyšuje také riziko porušování etiky a integrity výzkumu (viz zde). Zároveň vytváří systémovou předpojatost vůči všem, kteří neprovádějí nebo se rozhodnou nedávat přednost výzkumu, který splňuje kritéria, jež lze měřit číslem.“ Daleko více důvody nutnosti reformy hodnocení rozpracovává samotná dohoda ARRA. Autoři vyjmenovávají několik oblastí, ve kterých je nutné revidovat dosavadní postupy, odklonit se od kvaziobjektivního kvantitativního hodnocení a vytvořit nový, více inkluzivní mechanismus. Nejde přitom pouze o kritéria hodnocení výsledků vědeckého bádání, ale také o principy přijímaní nových pracovníků, jejich kariérní postup a odměňování a výběr projektových žádostí k financování nebo k podpoře výzkumných jednotek. Upozorňují například na nevhodnost stavět hodnocení na h-indexu, impaktu časopisů nebo univerzitních žebříčků.
Principy nového typu hodnocení
Konkrétně ARRA upozorňuje, že je potřeba rozlišit minimálně tři úrovně, na kterých je hodnocení prováděno. Jsou to úrovně: výzkumných organizací a jednotek, projektů a individuálních výzkumníků a výzkumných týmů. „Naší vizí je, aby hodnocení výzkumu, výzkumných pracovníků a výzkumných organizací uznávalo různé výstupy, postupy a činnosti, které maximalizují kvalitu a dopad výzkumu. To vyžaduje, aby hodnocení bylo založeno především na kvalitativním posouzení, pro které je klíčové peer review, podporované odpovědným používáním kvantitativních ukazatelů,“ popisuje dohoda své hlavní cíle. Zároveň ale text několikrát zdůrazňuje, že prezentované návrhy, principy a případné závazky signatářů jsou pouze obecným rámcem a je na každé instituci, vědci, státu či hodnotícím subjektu, jak tyto rámce integruje do svých vnitřních politik, předpisů a kultury.
Dohoda představuje především dva obecné principy, které by měly utvářet jednotlivé politiky zainteresovaných. K naplnění těchto principů by mělo sloužit 10 navrhovaných opatření. Hlavní, tzv. zastřešující princip je postaven na čtyřech jakýchsi maximách. První z nich je dodržování pravidel a postupů v oblasti etiky a integrity. Je nutné dbát na rigoróznost metod a vědecké práce, nedopouštět se eticky pochybného jednání při bádání ani mimo něj. Druhou pak ochrana svobody bádání – hodnotící rámce nesmějí omezovat či exkludovat některé oblasti bádání ve prospěch jiných. Třetí maxima upozorňuje na nutnost zachování autonomie výzkumných organizací. Poslední oblastí je zajištění nezávislosti a transparentnosti dat, infrastruktury a hodnotících kritérií. Každému zainteresovanému subjektu musí být zřejmé, jaká jsou hodnotící kritéria, k jakým cílům tato kritéria vedou a jak hodnocení na základě naplnění těchto kritérií probíhá.
Druhou částí základních principů je oblast kvality a dopadu výzkumu a zásady diverzity, inkluze a spolupráce. Zde je kladen důraz na rovnost typů výzkumu, ať už jde o základní, či aplikovaný. Musí se ctít základní předpoklad výzkumu, totiž jeho replikovatelnost a ověřitelnost, což jsou základy kvalitního výzkumu. Oblast diverzity, inkluze a spolupráce zase zdůrazňuje to, že hodnocení musí přihlížet např. k tomu, zda je vědec na počátku své kariéry či na jejím vrcholu, a tomu přizpůsobit dané hodnocení. Proces také musí brát v potaz množství rozličných výzkumných aktivit od publikační činnosti přes leadership role, komunikaci vědy, transfer vědomostí a technologií apod. S tím souvisí také uznání mnohosti typů vědeckých výstupů od článku v impaktovaném časopise, přes vytváření datasetů, metod, algoritmů a jiného softwaru, až k výstavám a vytváření veřejných politik. Důležitou oblastí, na kterou dohoda ARRA zvláště upozorňuje a kterou by měli signatáři rozvíjet, je oblast open science. Samozřejmostí by mělo být také přizpůsobení hodnocení rozličným oborům včetně multi-, inter- a trans- disciplinarity a zajištění genderové rovnosti a rovnosti možností.
Dohoda tak artikuluje většinu, pokud ne všechny, požadavků na vědu 21. století a její hodnocení. Ačkoli se jedná spíše o další manifest nežli závaznou legislativu, jsou to již zmíněné procesní a termínové rámce, které se signatáři zavázali dodržet. „Signatáři této dohody se zavazují, že budou mezi sebou a se svou komunitou sdílet informace o tom, jak jejich organizace zahájila proces přezkoumání nebo vývoje kritérií, nástrojů a procesů hodnocení v souladu se základními závazky a podle akčního plánu s definovanými opatřeními. A to do konce roku 2023 nebo do jednoho roku od podpisu této dohody,“ píše se v textu dohody. Do roku 2027 nebo 5 let od podpisu dohody pak dotčené instituce musí projít alespoň jedním cyklem hodnocení podle inovovaných kritérií, nástrojů a procesů hodnocení.
Autor: Vědavýzkum.cz (TH)
Zdroje: Evropská komise, Nature, RoRI
K ARRA a hodnocení vědeckých výsledků si můžete přečíst také názor Pavla Dolečka, který byl součástí komise, která celý dokument ARRA připravovala.
