Proč vůbec hodnotit vědu? A lze to vůbec udělat správně? „Důvodů, proč hodnotit vědu, může být celá řada. Ukládá nám to zákon, vede to k rozvoji výzkumných organizací a představuje to podklad pro alokaci financí nebo organizační změny,“ řekl hned v úvodu diskuze Michal Hocek, který působí na Ústavu organické chemie a biochemie AV ČR a který celou diskuzi moderoval. „Role ale mohou hrát i pseudo-důvody, jako je masírování vlastního ega nebo jen předstírání hodnocení, které dobře vypadá,“ dodal Hocek.
První část diskuze se zaměřila na objasnění některých základní pojmů a pohledů na hodnocení vědy. Hodnotit vědecký výkon lze totiž různými způsoby a z různých úrovní. Lze ji analyzovat jednak na úrovni velkých celků, jako je Akademie věd ČR nebo Univerzita Karlova, nebo na úrovni konkrétních pracovišť, tedy fakult, ústavů či specifických kateder, nebo až na mikroúrovni jednotlivých vědeckých týmů či konkrétních vědců a vědkyň. „Důvody, proč hodnotit vědu, přitom mohou být na jednotlivých úrovních zcela jiné,“ vysvětlil Michal Hocek. I jednotliví hosté diskuze byli pozváni tak, aby nabídli svůj pohled právě na různé úrovně hodnocení vědeckého výkonu, s nímž mají zkušenosti.
„Také dopady hodnocení vědy mohou být pozitivní i negativní. Mezi ty pozitivní může patřit například právě správná alokace financí ve výzkumné organizaci, zrušení, či naopak založení nových výzkumných týmů, nebo pozitivní kariérní posun. Samozřejmě specifický systém hodnocení může přinášet i negativní dopady. Kafemlejnek například motivoval vědce k tomu, aby produkovali nesmyslné množství výsledků. Rozhodně také není záhodno, pokud výsledky hodnocení dále jen potvrzují dosavadní status quo,“ řekl Hocek. Rozhovor s Michalem Hockem si můžete přečíst na Vědavýzkum.cz zde.
Rozdíly jsou veliké
První z řečníků, Tomáš Polívka z Přírodovědecké fakulty Jihočeské univerzity v Českých Budějovicích, představil základní strukturu aktuální Metodiky 2017+, podle níž se nyní hodnotí česká věda. „Důvody, proč hodnotit vědu, uvádí i samotná Metodika 2017+. K těmto cílům patří získání informací pro kvalitní řízení výzkumu, vývoje a inovací na všech stupních, dále zvýšení efektivity vynakládání veřejných prostředků, podpoření kvality a mezinárodní konkurenceschopnosti českého výzkumu, vývoje a inovací a dále také zvýšení odpovědnosti jednotlivých aktérů v celém systému. Posledním z cílů, o kterém se nejčastěji hovoří, je to, že jde o klíčový podklad pro rozdělování prostředků DKRVO,“ vysvětlil Tomáš Polívka. DKRVO jsou finanční prostředky určené na institucionální podporu dlouhodobého koncepčního rozvoje výzkumných organizací.
Upozornil také na to, že výstupy z hodnocení Metodiky 2017+ jsou dostupné online. „Veškeré výstupy z hodnocení, a to včetně posudků hodnotitelů, jsou publikovány online. K dispozici je tak obrovské množství zcela transparentních dat za posledních pět let, které jsou přístupné všem,“ dodal Polívka.
Dalším z řečníků byl Michael Šebek z Fakulty elektrotechnické ČVUT v Praze. „Nějaká forma hodnocení funguje v každé zemi na světě,“ připomněl v diskuzi Šebek. Podle něj účelem hodnocení nebývá určit specifické rozdíly ve výkonu nebo přesně určit pořadí, kdo je jak ve vědeckém světě dobrý, ale spíše rozdělit vědu na tu kvalitní a nekvalitní. „U nás jsou rozdíly mezi výzkumnými organizacemi skutečně hrozivé. A rozdíl uvnitř organizací ostatně taky,“ upozornil Šebek. Cesta k podstatnému zlepšení českého vědeckého výkonu podle něj nevede směrem, kdy by se kvalitní česká věda měla ještě zlepšovat. Správný přístup podle něj je to, aby se naopak nekvalitní věda buď zlepšila, nebo přestala být financovaná z veřejných prostředků. „Hodnocení je tak nejen v zájmu daňových poplatníků, ale také kvalitních vědců. A logicky je proti zájmům špatných vědců,“ dodal Šebek.
Třetím řečníkem byl Jiří Homola, který působí na Ústavu fotoniky a elektroniky Akademie věd ČR a aktuálně se stal novým členem vládní Rady pro výzkum, vývoj a inovace. Ve svém příspěvku představil způsob hodnocení výzkumných výsledků tak, jak je provádí Akademie věd ČR. „V Akademii věd je 52 výzkumně orientovaných pracovišť, což v období 2015–2019 zahrnovalo hodnocení 361 vědeckých týmů, které tvořilo 4 362 výzkumných pracovníků a doktorandů z celkem 34 oborů,“ vysvětlil rozsah hodnocení Jiří Homola. Komplexnost hodnocení na AV ČR zvyšovala nejen velikost jednotlivých pracovišť, ale také jejich multidisciplinarita. Až 19 pracovišť bylo totiž hodnoceno dvěma až čtyřmi oborovými komisemi, protože tematicky spadaly do více oblastí. Všechny dílčí podklady k hodnocení a celkové zprávy z hodnocení jednotlivých pracovišť jsou taktéž dostupné na webu Akademie věd ČR.
„Co pokládáme za velmi důležité, je mezinárodní rozměr našeho hodnocení,“ řekl Jiří Homola. „Snažíme se, aby na našem hodnocení participovali kvalitní odborníci ze zahraničí,“ dodal. V první fázi se tak na hodnocení Akademie věd ČR podílelo 1650 externích hodnotitelů, v druhé fázi pak fungovalo celkem 15 většinově mezinárodních komisí, ve kterých zasedlo celkem 154 členů. Z nich bylo 94 % ze zahraničí. „Osobně za jednu z nejdůležitějších součástí hodnocení považuji návštěvy jednotlivých pracovišť,“ řekl Homola. „Tentokrát jsme je z důvodu pandemie museli realizovat online, ale v předchozích letech jsme je prováděli prezenčně. To je velmi cenná komponenta, kterou bychom proto chtěli do budoucna zachovat nebo rozšířit.“
Nejsme tak dobří, jak bychom měli být
Jan Konvalinka, bývalý prorektor pro vědu a výzkum Univerzity Karlovy a současný ředitel Ústavu organické chemie a biochemie AV ČR, upozornil v dalším příspěvku na důležitost přístupu k hodnocení vědeckého výkonu. „Pokud si nepřiznáme, že nejsme tak dobří, jak bychom měli být, nemá smysl hodnocení vědy vůbec provádět. Hodnocení nepochybně musí být formativní a musí přinášet argument ke změně současného stavu,“ upozornil Jan Konvalinka. „Podobně jako na Akademii věd jsme se na Univerzitě Karlově rozhodli provést horizontální hodnocení – tedy nejprve provést hodnocení všech oborů bez ohledu na jednotlivé fakulty a teprve poté hodnocení jednotlivých fakult,“ vysvětlil princip hodnocení vědeckých výstupů na UK. Hodnocené bylo období za léta 2014–2018 a bylo řízeno zahraniční Evaluation Board.
„Jednou z věcí, které hodnocení ukázalo, bylo, že největším problém Univerzity Karlovy je přílišná fragmentace na mnoha úrovních. Máme násobně víc doktorských programů, pět lékařských fakult, de facto tři filozofické fakulty, řadu paralelních kateder. Dále jsme byli upozorněni na to, že řada kolegů stále nepřijala myšlenku, že je třeba publikovat v angličtině v co nejprestižnějších časopisech. Dalším problémem byla i neexistence kariérního řádu,“ shrnuje některé z poznatků hodnocení Jan Konvalinka.
Posledním řečníkem diskuze byl Daniel Münich z Centra pro ekonomický výzkum a doktorské studium (CERGE-EI), který se zaměřil na obecnější rozbor možných přístupů k hodnocení výzkumu. „Peer-review má tu výhodu, že kromě výstupů zhodnotí i řízení, strategii a užitečnost daného výzkumu. Poskytne tedy zpětnou vazbu. Kromě toho postihne i aplikovaný výzkum nebo nebibliometrizovatelné výsledky. Pokud je dobře uděláno, peer-review dokáže také dobře zhodnotit multioborový výzkum a vývoj, který bibliometrické přístupy jinak dokáží postihnout jenom omezeně,“ vysvětlil Daniel Münich.
Zásadní nevýhodou podle něj je to, že peer-review hodnocení je nesmírně náročné na čas i prostředky, trvá velmi dlouho a je velmi jednoduché ho zkazit. Právě velká časová náročnost hodnocení je podle Münicha slabinou i aktuálního hodnocení Metodiky 2017+. „Domnívám se, že národní hodnocení se v tomto smyslu bude ještě muset upravit,“ poznamenal v rámci svého příspěvku.
Bibliometrie má oproti tomu podle Daniela Münicha velkou výhodu v tom, že vyjde relativně levně, dá se často opakovat a nesrovnatelné méně zatěžuje hodnocené instituce nebo vědecké pracovníky. Dalším přínosem je podle něj i to, že bibliometrie otevírá oči v prostředí se slabou kulturou hodnocení, ať už jde o konkrétní pracoviště, nebo celé obory. „Samozřejmě i nevýhod je celá řada. Bibliometrie se dá snadno udělat špatně či neužitečně. Dále vyžaduje informace o oborových kapacitách. Dalším problémem je i to, že některé obory pokrývá méně, nebo dokonce vůbec, přičemž zdaleka nejde jen o společenské nebo humanitní vědy,“ vypočítává některé z nevýhod bibliometrie Daniel Münich. Problém je podle něj také to, že tento způsob nevypovídá o kvalitě řízení výzkumu nebo jeho užitečnosti.
Celá přednáška včetně diskuze s publikem je dostupná YouTube kanále Učené společnosti zde:
Autor: Vědavýzkum.cz (JT)
