Dosavadní způsoby hodnocení výzkumu procházejí transformací

Jaké atributy by měl mít ten, kdo rozhodne o tom, zda bude daný výzkum označen za přelomový, natož jakou výši veřejné podpory si zaslouží? Z odborného hlediska by to měl být zřejmě excelentní vědec vybavený pevným, ale otevřeným hodnotovým postojem podepřeným expertizou a erudicí, jež přesahuje hranice oboru.

Pokud pojem excelence rozšíříme mimo výsostnou sféru vědy, nezmění se jen formulace kritérií, jimiž měříme výkonnost, ale také personální a významové aspekty hodnocení. Navzdory globálním nebo evropským standardům – ať to jsou bibliometrické a citační nástroje, míra internacionalizace či proces peer review – konkrétní podoby a konsekvence hodnocení výzkumu se liší země od země.

Zatímco Austrálie a Velká Británie stojí před velkou změnou ustálených metod, v Polsku přetřásají optimalizaci nedávno zavedeného systému, který po prvním cyklu hodnocení čelí rozsáhlé kritice a vlně žádostí o přezkum. Jinou cestou se vydali ve Švédsku, kde namísto plošné kampaně posuzují vždy jen jednotlivé vědní obory.

Velká Británie. Věda opět na první koleji?

V diskusích o proměně stávajícího systému hodnocení britského univerzitního výzkumu zaznívá mimo jiné námitka, že o konečném verdiktu rozhodují spíše manažeři a úředníci, než ti, kteří výzkum provádějí. Že více než úskalí, jimž museli badatelé čelit, nakonec platí politické preference, zájmy daňových poplatníků nebo extenze společenského či environmentálního dopadu.

To, že je ve Velké Británii výše podpory výzkumu vázána na dobré umístění v sedmiletých cyklech Rámce výzkumné excelence (Research Excellence Framework, REF), vytváří na výzkumné instituce tlak na výkonnost a efektivitu. Ovšem podle některých studií  to vede k deformaci přirozeného rytmu výzkumných aktivit, které v období před uzávěrkou často eskalují ve formě publikací v časopisech s nízkým impakt faktorem.

Dalším neduhem důrazu na vysoký rating, který se odvíjí od globální konkurenceschopnosti, je podle kritiků to, že univerzity do hodnoticích cyklů raději přihlašují výzkumy, jejichž parametry „jdou naproti“ výkonnostním kritériím REF, kdy rozhodující roli může mít štíhlá výroba publikací a efektivita řídicích procesů. Tímto předběžným sítem tak nezřídka propadnou lokálně zaměřené výzkumy nebo práce týmů, v nichž nepanují konkurenční praktiky a „tah na branku“.

Ve zkratce lze konstelaci ve Velké Británii popsat jako snahu výzkumníků přiblížit systém hodnocení specifikům a požadavkům prostředí, na které je uplatňován. A nedávný vývoj nasvědčuje tomu, že jejich volání bylo odpovědnými orgány vyslyšeno. V současné době tak probíhá dotazování vědců na návrhy zlepšení kritérií REF pro nadcházející cyklus (2028). Řadu podnětů do pléna navíc vnesla mezinárodní expertní skupina vedená novozélandským vědeckým poradcem Peterem Gluckmanem.

Ten doporučuje přenést dosavadní důraz na peer review i na procesní dimenzi výzkumu, nejen na finální výstup – k tomu je však zapotřebí, aby vědecké časopisy poskytly prostor k publikaci průběžných zpráv. Větší váhu by měly získat environmentální a sociální dopady výzkumu nebo úroveň podporující týmové kultury. Navzdory výhradám, které zmiňují redaktoři časopisu Nature – třeba jak tyto hodnoty adekvátně měřit – zdá se, že jádrem diskusí o budoucí podobě britského hodnocení výzkumu je pojem excelence vtělený přímo do jeho názvu.

Austrálie. Jak ulehčit subjektům hodnocení

Podobné pojmy, obdobná situace, jiné akcenty. Australská rada pro výzkum ohlásila změnu způsobu hodnocení výzkumných aktivit, Excelentní výzkum pro Austrálii (Excellence in Research for Australia, ERA). Oproti svému britskému protějšku tento bodovací nástroj neovlivňuje výši udělené finanční podpory – promlouvá ale do stanovení cílů a výzkumných strategií pro další období.

První verze tohoto plošného nástroje, který sleduje působení 42 univerzit a veřejných výzkumných organizací, byla spuštěna v roce 2010 a od té doby proběhla již čtyři kola. Základem ERA je rovněž rating, tentokrát pětistupňový, zaměřený primárně na mezinárodní relevanci dosažených výsledků. Provází ho ovšem doprovodné hodnocení reálných dopadů výzkumu (Engagement and Impact assessment).

Specifikem stávajícího pojetí ERA je diferenciace klíčových preferencí podle oblastí. Jestliže v technicky zaměřených oborech rozhodují především citační metriky, v humanitních a matematických oborech převažují výsledky peer review.

Navzdory skvělým mezinárodním úspěchům australských vědců je ERA kritizováno pro přílišnou administrativní zátěž, kterou uvaluje na hodnocené instituce. Emblematickým příkladem je University of Sydney, která svou účast na jednom kole hodnocení vyčíslila na 2 miliony australských dolarů, které vesměs vydala na platy zaměstnanců v rozsahu 40 000 hodin.

Kromě tohoto břemene vládou pověřený expertní audit uvedl, že současné nastavení kritérií do vědeckovýzkumného ekosystému vnáší spíše kompetitivní než kooperativní metody – univerzity si tak za účelem zvýšení ratingu přetahují vědce anebo uměle rozšiřují produktivnější pracoviště.

Auditoři proto odrazují vládu od zavedení ryze metrického systému, který by sice výrazně snížil náklady, zato by však prohloubil strukturální a oborové nerovnosti. Tak, jako v britské diskusi, i zde zaznívají obavy, aby hodnoticí škálou nepropadávaly činnosti, které stojí ve stínu citovaných a etablovaných – ať už jde o méně ambiciózní projekty, pokroky začínajících vědců nebo podpůrné profese – bez kterých by byl výzkum, chápaný jako kontinuální proces, nemyslitelný. I proto apelují na zachování pozic manažerů ve výzkumu.

Polsko. Vstříc evropským standardům

Ani Polsku se podobné otázky nevyhýbají, svébytné jsou tím, že předmětem debaty je reforma z roku 2018, kdy vešel v platnost tzv. Zákon 2.0 neboli Ústava pro vědu. Součástí reformy, která – podobně jako naše Metodika 2017+ – sblížila polský systém s evropskými zvyklostmi, je i nová formulace kritérií úspěšného výzkumu.

Jejich ověřování pak spadá do gesce Výboru pro hodnocení vědy s konečným verdiktem Ministerstva pro vědu a vysoké školství. I zde se od výsledného skóre odvíjí výše institucionální podpory, ale navíc i míra svobody, se kterou univerzita rozhoduje o svých studijních programech nebo udělování doktorských titulů.

Napjatě očekávané zveřejnění výsledků prvního cyklu loni v srpnu vyvolalo vlnu urgentních žádostí o přezkoumání přidělené kategorie. Nový systém řadí výsledky výzkumu na sestupné škále (A+ až C), přičemž důraz klade na kvalitu výstupů, zajištění externího financování a socioekonomický dopad. Z pohledu odpůrců ovšem upřednostňuje kvantitativní měřítka a nahrává predátorským publikačním praktikám.

Celá řada odborníků dále poukazuje na složitý a neprůhledný algoritmus hodnocení. Bývalý rektor University of Warsaw Marcin Pałys zase volá po tom, aby nad bibliometrickými údaji převážily citační metriky, peer review a hodnocení dopadu.

Již v listopadu pod narůstajícím tlakem oznámil ministerský náměstek Włodzimierz Bernacki, že v polovině roku 2023 bude vydán dodatek s úpravou kritérií, která by se měla uplatnit v nadcházejícím cyklu (2026), aniž by ale zásadně měnila základní osnovu hodnocení.

Švédsko. Úzkoprofilové hodnocení

Osobitou cestou se vydala Švédská rada pro výzkum (Vetenskapsrådet, VR), která nedávno vyvinula vlastní model pro efektivnější hodnocení výzkumných subjektů a tematických (transdisciplinárních) výzkumných oblastí. Koncepce je navržena tak, aby na straně adresátů omezila plundrování lidských kapacit a aby výsledek plasticky dotvářel obraz aktuálního stavu různých odvětví národního výzkumu.

Pilotní ověřování proběhlo v letech 2020–21 na čtrnácti pracovištích z okruhu politických věd. Letošní, druhé kolo se týkalo jedenácti univerzit a jednoho institutu v oblasti fyziky, které reprezentují 96.8 % veškerého personálu a 100 % všech PhD. studentů fyziky ve Švédsku – dosáhlo tedy téměř dokonalého pokrytí vytčeného oboru. Od výsledků hodnocení se neodvíjí výše finanční podpory – jeho hlavním cílem je poskytnout „předvídatelný formát“ pro řízení výzkumu.

Model VR není specifický z hlediska kritérií – prioritami zůstává vědecká kvalita doložená vědeckými publikacemi a případovými studiemi dobré praxe, či společenský dopad výzkumu; dílčí ambicí je postihnout také možnosti jeho dalšího rozvoje. Mimořádně pružným činí švédský model jeho selektivnost – týká se předem vybraného výzkumného sektoru. Díky tomu může probíhat v kratších intervalech, rychleji odpovídat na aktuální poptávku a kromě toho nezahlcuje hodnocené instituce plošnou administrativou.

Samozřejmostí je účast externího a z větší části mezinárodního expertního panelu. V posledním případě sestával ze čtrnácti odborníků, kde kromě předsedy zasedalo osm renomovaných hodnotitelů vědecké kvality a pět konzultantů společenských dopadů se znalostmi domácího i mezinárodního kontextu. Pouze dvě osoby disponovaly švédským občanstvím, dva členové zastupovali soukromý sektor.

Závěrem

Z náhledu čtyř národních variant hodnocení výzkumu vystupuje několik konstant. Zejména to, že v jejich stávající podobě klíčové parametry určuje součin měřitelných údajů a nezávislého peer review, které je považováno za standard. Úběžníkem hodnoticích procesů je spíše úzce (odborně) vymezený pojem excelence, přeložený do bodové škály; jejich horizontem je globální vědecké pole, ve kterém o úspěchu rozhoduje kombinace efektivity a mezinárodního srovnání – konkurenceschopnosti, vedle níž lokální dopady výzkumu takřka zanikají.

Na všech příkladech je zjevné, že toto paradigmatické rozhraní neprospívá především přímým účastníkům výzkumu, kteří bývají s každým novým cyklem hodnocení vystaveni enormní zátěži – od administrativní až po tu fyzickou. Přestože tento stav je vcelku dobře zmapovaný, málo kde se jeho kritika přetavila do úlevných opatření. Nejdál jsou v tomto ohledu v Austrálii, kde připravují novou koncepci ERA, a ve Velké Británii, kde byli vědci přizváni k formulaci návrhů na úpravu kritérií REF.

O tom, že hlas vědeckovýzkumné komunity může i v relativně závislejším postavení vyvolat konkrétní politickou odezvu, svědčí situace v Polsku. Obecná představa a kritéria excelentního výzkumu tak získávají reálnější, pestřejší, a hlavně intimnější fasety. Zda potom bude takto citlivé hodnocení technicky a ekonomicky udržitelné, je otázkou, na kterou se pokouší odpovědět model, který nově zavedli ve Švédsku. A jistě není jediný.

Autor: Vědavýzkum.cz (MP)

Zdroj: Nature (1, 2), Science Business, Vetenskapsrådet (1, 2)