Nezávislé informace o vědě a výzkumu

Metodika 2017+ a co dál?

23. 7. 2018
Metodika 2017+ a co dál?

Jedním z důsledků výsledků posledních voleb do Poslanecké sněmovny bylo zrušení pozice vicepremiéra pro vědu, výzkum a inovace, kterou zastával lidovec Pavel Bělobrádek i stejnojmenné Sekce vědy na Úřadu vlády. Názory na smysl a výsledky činnosti této sekce se různí, nicméně v této Sekci vznikla metodika hodnocení výzkumných organizací, Metodika 2017+, kterou vláda schválila v únoru 2017 a jež nahradila předchozí metodiku hodnocení výzkumných organizací, nechvalně známou pod jménem „kafemlejnek“.

Kdyby za nic jiné, za tento čin, na němž má rozhodující podíl Kateřina Miholová, si zaslouží uznání. Metodika 2017+ je ovšem jen začátek cesty ke kompetentnímu a smysluplnému hodnocení výzkumných pracovišť.

K této nové metodice se v minulém čísle ABéčka vyjádřil Pavel Baran, místopředseda AV ČR i RVVI. K jeho charakterizaci podstaty nové metodiky a způsobu mám dvě poznámky. Nejdříve je ovšem dobré připomenout, k čemu sloužila předchozí metodika. Jediným smyslem kafemlejnku bylo rozdělení institucionální podpory na rozvoj výzkumných organizací (RVO) mezi jednotlivé poskytovatele, resp. jejich výzkumné organizace na základě mechanického součtu bodového ohodnocení jednotlivých výstupů výzkumu a vývoje. K ničemu jinému kafemlejnek ze své podstaty sloužit nemohl a ani jeho autoři nepředpokládali, že prosákne až na úroveň kateder, oddělení, či dokonce jednotlivých pracovníků, k čemuž v mnoha případech na vysokých školách docházelo.

Metodika 2017+

Metodika 2017+, přinesla čtyři zásadní změny:

1) Nejedná se o hodnocení jednotlivých výsledků, ale hodnocení výzkumných organizací, to je mimořádně důležitá změna.

2) Součet bodového ohodnocení jednotlivých výstupů nahradila multikriteriální metoda zahrnující pět kritérií zvaných moduly

  • Modul 1 – hodnotí kvalitu vybraných výsledků podle jejich originality a významnosti v mezinárodním měřítku.
  • Modul 2 – hodnotí výkonnost a kvalitu výzkumu podle bibliometrie
  • Modul 3 – společenská relevance, dopady výzkumu
  • Modul 4 – viabilita, tedy kvalita výzkumného prostředí
  • Modul 5 – strategie, vize a koncepce školy

3) Výsledek hodnocení není jedno číslo, ale zařazení do jedné ze čtyř skupin A-D, od nichž se odvíjí institucionální financování, jenž je ovšem plně v kompetenci poskytovatele. Rozdělení celkové institucionální podpory na RVO mezi jednotlivé poskytovatele je politické rozhodnutí, jež odráží nejen výsledky hodnocení, ale také záměry vlády.

4) Výzkumné organizace jsou rozděleny do tří segmentů:

  • vysoké školy,
  • ústavy Akademie věd,
  • resortní výzkumné organizace,

odrážející organizační začlenění a poslání různých skupin výzkumných organizací s tím, že zásady Metodiky2017+ budou v jednotlivých segmentech příslušnými poskytovateli dopracovány a upřesněny. MPO již toto provedlo v září 2017.

Jak dál?

Metodika 2017+ je obrovským pokrokem oproti předchozímu stavu hodnocení výzkumu, přesto je to jen první krok ke skutečně smysluplnému hodnocení výzkumných organizací. Z předchozího kafemlejnku Metodika 2017+ přebírá jeho výchozí cíl, jímž je hodnotit v rámci jedné metodiky a jedné procedury jednorázově všechny výzkumné organizace. Tento cíl je třeba opustit, a to ze dvou důvodů. Předně v takové šíři není používán nikde ve vyspělé cizině a dále proto, že nepřináší zásadní informace o skutečné úrovni výzkumu v jednotlivých institucích. Podívejme se, jak se hodnotí výzkumné organizace ve čtyřech vědecky nejsilnějších evropských zemích: Velké Británii, Německu, Francii a Itálii.

Velká Británie:
Často citovaný systém REF, k němuž se ještě vrátím podrobněji, se týká výlučně britských vysokých škol, velké vládní organizace provozující výzkum a výzkumné infrastruktury jsou provozovány a hodnoceny zcela separátně svými zřizovateli. Jeho jediným cílem je rozdělit institucionální podporu mezi cca 160 britských univerzit.

Německo:
Žádné centrální hodnocení vysokých škol a čtyř známých výzkumných organizací (Společností Maxe Plancka a Fraunhofera a Společenství Helmholtze a Leibnize) neexistuje. Vysoké školy jsou v gesci zemí a výzkum na nich není financován odděleně od výuky, ale jako její integrální součást. Hodnocení výzkumu v uvedených organizacích se velmi liší. Ve společnosti Maxe Plancka jde o vysloveně interní záležitost, v níž hrají klíčovou roli Vědecké poradní rady (Scientific Advisory Boards), které jsou stálými poradními orgány všech ústavů MPG. Tyto rady jsou složené z cca 10 špičkových světových odborníků a provádí hodnocení každé dva roky. Forma, rozsah a obsah zpráv z pravidelných hodnocení jsou stanoveny v Pravidlech pro Vědecké poradní rady. Ve Společenství Helmholtze nejsou hodnoceny a financovány jednotlivé ústavy a jejich týmy, ale mezinárodními panely tzv. Programy, kterých je 24, jsou sdruženy do šesti oborů (Research Fields) a jdou napříč několika ústavy. Ve Společenství Leibnize jsou hodnoceny jednotlivé ústavy externími hodnotiteli, ale pod dohledem státu.

Francie:
Ve Francii provádí hodnocení výzkumu a vysokých škol nezávislá vládní agentura HCERES, která navázala na činnost agentury AERES, která prováděla hodnocení výzkumných jednotek na vysokých školách a státních organizacích jako je CNRS od roku 2006. Příklad závěrečných zpráv z hodnocení všech jednotek mamutí francouzské státní výzkumné organizace CNRS je zde. Hodnocení provádí komise jmenované pro každou, často velmi malou, jednotku zvláště a vycházejí z velmi podrobných autoevaluací. Příklad jedné takové autoevaluace je zde, Návaznost na financování je velmi nepřímá.

Itálie:
V Itálii provádí hodnocení výzkumných organizací Národní agentura pro hodnocení univerzit a výzkumu ANVUR. Hodnocení proběhlo poprvé v roce 2011 a zahrnulo období 2004-2010. Zúčastnilo se ho 95 veřejných a soukromých univerzit a 12 výzkumných organizací kontrolovaných Ministerstvem vzdělání, univerzit a výzkumu, mezi nimi i největší výzkumná organizace v Itálii, Národní výzkumná rada (Consiglio Nazionale delle Ricerche, CNR), která je šíří svého záběru a velikostí (5000 výzkumníků ve 107 pracovištích po celé Itálii) plně srovnatelná s naší Akademií věd jako celkem. Hodnocení proběhlo v 16 oborech a použitá metoda kombinuje peer review s velmi složitou bibliometrií. Protože jakékoliv hodnocení CNR jako celku v 16 oborech nemá žádný formativní význam, CNR i další výzkumné organizace provádějí své vlastní hodnocení, jehož výsledky posílají Ministerstvu. Metoda hodnocení použitá v CNR je popsána zde a výsledky hodnocení pro obor fyzika jsou zde. Podobně je to v případě Národního ústavu pro jadernou fyziku, který se zabývá studiem fundamentálních konstituentů hmoty a zákonů, jimiž se řídí. Provozuje 4 velké národní laboratoře a dalších 26 pracovišť rozmístěných po celé Itálii. Seznam hodnocení, které probíhá každoročně, za uplynulé roky je zde a hodnocení za rok 2016 je zde.

Jak by mělo užitečné hodnocení vypadat?

Podle mého názoru je pro smysluplné hodnocení, které poskytne relevantní informace jak poskytovateli institucionální podpory, tak vedení ústavu i samotné hodnocené jednotce, klíčová správná volba základní jednotky hodnocení. Ta může být v různých sektorech různá, a proto je třeba tuto volbu nechat na příslušném poskytovateli. V hodnocení v Akademie věd v roce 2015 byl za základní jednotku zvolen přirozený výzkumný tým, těch bylo celkem téměř 400. Pokud by se oborově hodnotily celé ústavy, ztratilo by hodnocení smysl. Podobná výhrada se týká i volby oborů a složení oborových komisí. I v těchto případech je Metodika 2017+ pro prostředí Akademie věd a myslím i pro vysoké školy, zcela nevhodná. I relativní význam bibliometrie versus peer review může být v různých sektorech různý. Hodnocení podle Metodiky 2017+ není pro Akademii věd alternativou a pokud nebude dána jednotlivým poskytovatelům volnost stanovit si jednotku hodnocení a další parametry hodnocení podle svých potřeb, bude Akademie věd nucena provádět i nadále paralelní hodnocení svou metodou, kterou považuji za přiměřenou našim podmínkám.

Proč ne REF

Hovoříme-li o britském systému Research Excellence Framework (REF), je dobré si uvědomit, že primárním cílem REF není hodnocení výzkumu, ale rozdělení institucionální podpory mezi britské univerzity. Tomu odpovídá i metoda, která je v podstatě sofistikovanější kafemlejnek, který má tři částí:

  • Hodnocení kvality výzkumu (váha 65 %), jeho dopadu (váha 20 %) a výzkumného prostředí (váha 15 %).
  • Zohlednění velikosti hodnocené jednotky, jíž je vždy celá univerzita, v jednom z 36 oborů.
  • Zohlednění technické náročnosti oboru ve třech kategoriích.

Píše-li Pavel Baran: „Mezinárodně vysoce uznávaným systémem hodnocení vědy je britský Research Excellence Framework, k němuž bychom se jistě rádi do budoucna alespoň přibližovali,“ předpokládám, že má na mysli zřejmě jen tu první část, tj. všestranné hodnocení výzkumu. Zde je výsledkem REF profil hodnocené jednotky, tj. rozdělení počtu výsledků v pěti kategoriích, přičemž v hodnocení kvality výzkumu jsou kategorie kvality stejné jako v hodnocení ústavů AV ČR v roce 2015 a výsledek REF je tedy formálně identický s výsledkem první fáze hodnocení ústavů a týmu AV ČR v roce 2015. Rozdíl je ovšem tom, jak byl profil kvality výstupů hodnocené jednotky získán. V případě hodnocení v AV ČR byl profil výsledkem posouzení cca čtvrtiny všech výstupů jednotky dvěma externími posuzovateli, v případě REF profil vznikl rozhodnutím jednotlivých oborových panelů, bez posouzení nezávislými externími hodnotiteli. Vzhledem k tomu, že oborové panely čítají 15-20 členů a profil je stanovován s přesností jednoho procenta, jde o velmi netransparentní proceduru. Nikde v materiálech o REF není uvedeno, jak oborové panely profily cca 160 univerzit stanovují a přitom jen za výstupy zařazené do prvních dvou kategorií získávají univerzity finance a to ještě v poměru 4:1. Oborový panel Fyzika má 15 členů, takže z každého podoboru fyziky, kterých je mnoho, je v panelu obvykle jen jeden skutečný odborník. Přejímat či se i jen přibližovat tomuto způsobu stanovení profilu kvality výstupů hodnocené jednotky bych rozhodně velmi nedoporučoval. Pokud bychom v Akademii věd měli k něčemu směřovat, měl by to být způsob hodnocení, který je používán ve Společnosti Maxe Plancka.

 

Autor: Jiří Chýla

Partneři webu a spolupracující instituce