Eva Zažímalová: Hodnocení výzkumu není drahé, ale velmi náročné

Vláda nedávno schválila nový systém hodnocení výzkumu, který se na rozdíl od dosavadního kafemlejnku zaměřuje také na hodnocení výzkumných organizací jako takových. Váš předchůdce Jiří Drahoš v této souvislosti uvedl, že Akademie věd hodnotí výzkumné organizace už od poloviny devadesátých let. Jaké s tím máte zkušenosti?

Osobně mám zkušenosti především z posledního hodnocení v rámci Akademie věd, které proběhlo v roce 2015. To jsem měla celé na starosti. S předcházejícími hodnoceními mám zkušenosti jako ředitelka ústavu, předtím jako vedoucí týmu nebo řadový vědecký pracovník. Akademie věd od počátku kladla důraz na vědecký obsah. Tedy na to, jak si konkrétní výzkumné týmy – a na vyšší úrovni jednotlivé výzkumné instituce – vedly v kontextu celosvětové úrovně daného oboru. Způsob hodnocení se samozřejmě postupně vyvíjel a bude se vyvíjet dál.

Nová metodika, kterou schválila vláda, počítá mimo jiné s hodnocením životaschopnosti výzkumné instituce, společenskou relevancí jejího výzkumu, nebo toho, jaké vztahy tato instituce rozvíjí se zahraničními partnery, s průmyslem...

Tyto jednotlivé moduly v nové Metodice 2017+ v podstatě odpovídají kritériím pro posuzování jednotlivých výzkumných týmů v rámci našeho akademického hodnocení, které proběhlo v roce 2015.

Byla to pro vás také novinka?

Byla to novinka v tom smyslu, že to bylo více formalizované než dříve. Hodnoticím komisím jsme poskytli dokument s názvem „Základní principy hodnocení“, samozřejmě v angličtině, a také vzor závěrečné zprávy, kde byla jednotlivá kritéria hodnocení jasně definována. Nedá se ale říct, že by to byla novinka v našem celkovém přístupu k hodnocení. Kromě vědecké excelence jsme v roce 2015 i dříve hodnotili právě společenskou relevanci, posuzovali jsme například to, jak se výzkumníci podílejí na výuce, jak spolupracují s firmami, jak si vedou v mezinárodním kontextu. To vše odpovídá těm modulům Metodiky 2017+. (Pěti moduly této metodiky jsou kvalita vybraných výsledků, výkonnost výzkumu, společenská relevance, viabilita, strategie – pozn. red.)

Takže jste také hodnotili udržitelnost a lidské zdroje...

Ano, samozřejmě. My jsme tomu říkali perspektiva a vitalita.

Kafemlejnku jsme nepodlehli

Ještě se vrátím k historii. Je tedy možné říct, že díky vašemu způsobu hodnocení jste nikdy nepodlehli kafemlejnku, podle kterého se hodnotily výsledky výzkumu, a nikoliv výzkumné organizace jako takové?

Ne, opravdu jsme kafemlejnku jako celek nikdy nepodlehli. Kafemlejnek ani nehodnotil výsledky, ale jenom jednotlivé výstupy. Je v tom určitý paradox, protože někteří zástupci Akademie věd před časem přišli s ideou hodnocení bibliometrických a scientometrických parametrů – tedy zjednodušeně řečeno publikací podle časopisů, v nichž vyšly, a citací v odborných časopisech. Akademie věd ale od počátku protestovala proti tomu, aby se hodnotily jenom tyto parametry. V případě kafemlejnku nám ze všeho nejvíc vadila trojčlenka přepočtu přímo na peníze pro danou výzkumnou instituci. Tam se naprosto ztratila právě ta společenská relevance, stejně jako perspektiva a vitalita výzkumné organizace a jejích týmů, její vize do budoucna. Kafemlejnek redukoval práci ve výzkumu a ve vědě na soubor výstupů, které mají nějakou bodovou hodnotu. To pro nás bylo naprosto nepřijatelné. Naším postojem vůči kafemlejnku jsme si vysloužili i nelibost některých kolegů z vysokých škol. Naše vystupování přitom nikdy nebylo zaměřené proti vysokým školám, ale proti množství principiálních nedostatků kafemlejnku.

Jaké jsou tedy z vašeho pohledu hlavní argumenty, proč je nutné hodnotit výzkumné organizace jako takové?

Podle zákona je příjemcem peněz ze státního rozpočtu právě výzkumná organizace. Je tedy nutné zohlednit její výkon, ale také efektivitu práce. Uvedu hypotetický příklad – máte dvě výzkumné organizace, které se zabývají podobným druhem výzkumu, jedna je velká, druhá je malá. A přitom dosahují stejného výkonu. Efektivita výzkumu je pak u té malé samozřejmě daleko vyšší. To je také třeba v hodnocení zohlednit. Během našeho hodnocení v roce 2015 se efektivitou nezabývaly přímo hodnoticí komise, následně jsme ji vyhodnocovali na úrovni Akademické rady.

V tom hodnocení jste ale šli až na úroveň jednotlivých výzkumných týmů...

Chceme samozřejmě vědět, jak kvalitní jsou i ty nejmenší výzkumné jednotky – tedy výzkumné týmy. V případě Akademie věd platí, že takzvanými veřejnými výzkumnými organizacemi jsou podle zákona její jednotlivé ústavy. Ústav je samostatná právnická osoba. Jsou tu ale také multidisciplinární ústavy a tam těžko můžete srovnávat hrušky s jablky. Některé ústavy proto hodnotilo třeba pět různých komisí. Chtěli jsme, aby odborníci hodnotili to, co je jim oborově blízké.

Inspirace pro vysoké školy?

Také vysoké školy nyní čeká rozhodování, do jaké míry bude podle nové metodiky nutné hodnotit výzkum třeba na úrovni jednotlivých fakult. Myslíte, že pro ně může být vaše zkušenost v něčem inspirativní?

Myslím, že v obecné rovině určitě. Otázkou je, jak podrobně budou chtít hodnotit a kolik času tomu budou chtít věnovat. Ani bych neřekla, že je takové podrobné hodnocení příliš drahé, v tom problém není. Když vezmete náklady na hodnocení v relaci k tomu, kolik peněz se do celého systému investuje, ukáže se, že to opravdu drahé není. Hodnocení je ale velmi náročné logisticky. Zorganizovat ho dobře – to není triviální úkol. Jednotlivé vysoké školy tedy musí velice dobře zvážit, co jsou schopny zorganizovat. My dáváme naše zkušenosti k dispozici komukoliv, kdo o to projeví zájem. To vůbec není problém. A jednou z našich základních zkušeností je právě to, že pro úspěšné hodnocení je naprosto klíčové správně nastavit velikost hodnocených jednotek. Jen tak je možné získat relevantní informace. Já si umím představit, že třeba na úrovni vysoké školy by to mohla být katedra. Ani ne fakulta, ty jsou také multidisciplinární. Ale rozhodně bych se neodvážila vysokým školám radit, do jaké hloubky a do jakého detailu mají hodnotit.

To už je do značné míry na nich... Pokud vím, to jim ani nikdo diktovat nechce.

Samozřejmě. Vysoké školy jsou svým způsobem v obtížnějším postavení, protože tam tou jednotkou, která dostává peníze, je celá vysoká škola. A když si vezmete Univerzitu Karlovu s jejím velkým množstvím fakult... Proto si myslím, že je v podobných případech nutné hodnotit výzkum na úrovni fakult, a ještě lépe na úrovni kateder. Navíc to, jak je teď postavená Metodika 2017+, není nějaký rigidní a konečný stav.

Nemáte tedy pocit, že by vás tato nová metodika nějak svazovala, nebo vám neposkytovala dostatečně široký prostor?

Ne. Nijak nám nediktuje, jak máme hodnotit až na úroveň jednotlivých týmů. Na druhé straně naprosto souhlasíme s tím, že tato metodika má více kritérií hodnocení. A že se tam hodně odráží peer review, což je daleko lepší než něco přepočítávat z nějakých bodů. Peer review vám umožňuje dívat se i do budoucna, což ty body z přepočtu v kafemlejnku rozhodně neumožňovaly. Také se nám líbí modulární struktura metodiky a postupný náběh těch jednotlivých modulů.

Kritici takového hodnocení by mohli namítnout, že v něm hraje velkou roli subjektivní pohled jednotlivých hodnotitelů. Jak to vnímáte vy?

Hodnocení samozřejmě provádějí konkrétní lidé, každý z nich má subjektivní pohled na věc. My jsme se snažili vybrat do našich komisí co nejlepší odborníky, u kterých je předpoklad, že budou schopni přistupovat k hodnocení co nejvíc objektivně – z většího nadhledu u toho příslušného oboru. Subjektivní přístup můžete do značné míry kompenzovat tím, že do příslušného hodnoticího grémia pozvete víc lidí. Musejí pak dospět k nějakému konsenzu. Navíc nechceme z hodnocení vyloučit ani bibliometrii a scientometrii, zůstávají důležitým podkladem pro hodnocení v těch oborech, kde to má smysl. Bibliometrie a scientometrie jsou výbornými sluhy, ale velmi špatnými pány. Je špatné, když hodnocení zakládáte pouze na nich. Navíc Metodika 2017+ není nic úplně nového pod sluncem, vychází ze zahraniční inspirace – stejně jako z ní vycházela naše dosavadní hodnocení.

Jak získat zahraniční vědce

Podařilo se vám zapojit do hodnocení zahraniční odborníky, vědce. Jak je to složité? Je těžké je přesvědčit, že by měli hodnotit zrovna českou instituci?

Jak koho... Oslovili jsme stovky lidí, nakonec se do našeho hodnocení v roce 2015 zapojilo více než tisíc hodnotitelů. Většina z nich byla ze zahraničí. V první fázi jednotliví hodnotitelé vzdáleně posuzovali konkrétní výstupy výzkumu, ve druhé fázi už byly i návštěvy hodnotitelů v jednotlivých ústavech. V první fázi jsme tomu říkali hodnoticí panely, ve druhé fázi hodnoticí komise – jen abychom to odlišili. V komisích byl určitý podíl hodnotitelů z České republiky, protože pro celkové objektivní posouzení je potřeba znát i národní kontext. Ale čeští hodnotitelé nikdy nepřesáhli třetinu komise. Na to jsme dávali velký pozor.

Co přesvědčí zahraničního vědce, aby se pustil do hodnocení českého výzkumu?

Většina vědců – ať už v Česku, nebo v zahraničí – cítí určitou povinnost dělat nejenom vlastní vědeckou práci, ale také pomáhat v různých hodnoceních. Jde třeba o recenze na rukopisy zaslané do tisku, posuzování kvality grantových projektů a v tomto případě i posuzování výzkumných institucí. Také mnoho českých vědeckých pracovníků se naopak účastní různých hodnocení v zahraničí. Někteří to dělají raději, jiní to třeba nedělají vůbec. Nemůžete je k tomu přinutit. Někteří to dělají s vizí, že se dozvědí nové věci. Poučí se, jak to dělají jinde. Rozšíří si obzor.

Vyžaduje se po zahraničních hodnotitelích nějaké potvrzení, že znají český systém hodnocení výzkumu?

Oni ho ani znát nemohou. V té první fázi jsme naopak chtěli, aby posoudili kvalitu určitého výstupu – například publikace, patentu, monografie –, aniž by znali český kontext. A aby tuto kvalitu posuzovali jenom v kontextu úrovně daného oboru v celosvětovém měřítku. Druhá fáze už byla jiná, informace ohledně systému hodnocení jsme hodnoticím komisím samozřejmě poskytli. V budoucnu se na takové poučení hodnotitelů, jak u nás celý systém funguje, pravděpodobně zaměříme ještě více. V roce 2015 to bylo tak, že každou komisi doprovázel jeden člen Akademické rady, který také odpovídal na všechny dotazy ohledně systému hodnocení. Tento člen Akademické rady se neúčastnil vlastního hodnocení, do toho vůbec nesměl zasahovat. Český kontext znali také tuzemští členové komise. I proto bylo důležité, aby tam byli.

Myslíte, že by se do hodnocení měli zapojit i zástupci soukromých firem, kteří by hodnotili zvláště ty výzkumné organizace, které se zabývají aplikovaným výzkumem?

Bylo by to velmi dobré. Je docela možné, že příště se ještě víc posuneme i tímhle směrem. Problém ale může být v tom, že lidé z firem jsou přece jen zvyklí na trochu jiné platové ohodnocení. My jsme stanovili odměnu hodnotitelům podle standardů Evropské komise – tedy srovnatelnou s podmínkami, které nabízí Evropská komise hodnotitelům v rámci různých výzkumných programů. Lidé, kteří zastávají významné posty v průmyslu, ale mívají výrazně vyšší příjmy než kdokoliv z vědecké sféry.

Přijatelné náklady

Jaké byly celkové náklady vašeho hodnocení v roce 2015?

Necelých 25 milionů korun. Tedy jen malý zlomek rozpočtu Akademie věd. Vaše první reakce může být, že tato částka odpovídá institucionální dotaci menšího ústavu Akademie věd na jeden rok. To je pravda. Ale my takové hodnocení děláme jednou za pět let. A tato částka zahrnuje úplně všechno, včetně odměn hodnotitelů, cestovních nákladů, nákladů na ubytování členů hodnoticích komisí nebo nákladů na elektronické rozhraní, přes které hodnocení probíhalo. Dokonce jsou zde zahrnuté třeba i kurzovní rozdíly. A také podíly mezd lidí v Akademii věd, kteří hodnocením trávili čas. Tedy opravdu veškeré náklady. A ty odpovídaly zhruba jedné desetině procenta institucionální dotace pro Akademii věd a její ústavy za ono pětileté hodnocené období.

Jak se v hodnocení roku 2015 projevila předchozí krize, kdy na přelomu minulého a tohoto desetiletí vláda omezila finanční toky ze státního rozpočtu pro Akademii věd? A kdy dokonce hrozilo úplně zastavení těchto finančních prostředků?

V roce 2010 naše ústavy přišly z roku na rok zhruba o pětinu a mezi léty 2009 a 2015 zhruba o čtvrtinu rozpočtu z institucionální dotace. Na výkonu Akademie věd se finanční výpadek projevil relativně málo, ale říkám to velmi opatrně. Výkon Akademie věd, jak co do kvality, tak částečně i do kvantity, mírně stoupá. Otázkou je, jak dalece by stoupal, kdyby k výpadku nedošlo. Jsem přesvědčena, že růst výkonu mohl být strmější. Problém je v tom, že ve vědě se podobné škrty projevují pomalu a se zpožděním. Vybudovat dobrý výzkumný tým je dlouhodobá záležitost.

Na začátku rozhovoru jste zmínila souvislost mezi penězi a hodnocením výzkumné organizace. Jaký dopad měly výsledky vašeho posledního hodnocení na další financování jednotlivých ústavů Akademie věd?

Hodnocení jsme dokončili na začátku roku 2016, nejdříve se tedy mohlo projevit v rozpočtu pro rok 2017. Jako základ jsme brali institucionální dotaci jednotlivým ústavům pro rok 2016. A tu jsme měnili nějakým procentem podle toho, jak jednotlivé ústavy dopadly v hodnocení. Členové Akademické rady, kteří o výsledcích hodnocení jednali s jednotlivými řediteli ústavů, museli velmi pečlivě pročíst hodnoticí zprávy a udělat si srovnání. Také jsme požádali ředitele všech ústavů, aby se vyjádřili k tomu, jak výsledky své instituce vnímají oni. Ředitele jsme pak požádali, aby sami navrhli rozpočet svých ústavů s ohledem na to, jak dopadly v hodnocení a jakou mají vizi rozvoje – vědeckou, ale i třeba infrastrukturní. Rozpočty jednotlivých ústavů jsme po diskusích se všemi řediteli nakonec navýšili v rozmezí zhruba od dvou do třiceti procent.

Jak velkou část celkového rozpočtu Akademie věd tedy mohou výsledky hodnocení ovlivnit?

Hodnocení má vliv na výši institucionální dotace. Ale z ní je to poměrně malá část, protože jednotlivé ústavy spotřebovávají velkou část své institucionální dotace na mzdy. Pokud byste některému ústavu dotaci výraznějším způsobem omezil, znamenalo by to, že by bylo nutné propouštět lidi. Bylo by tedy nutné počítat s výpovědními lhůtami a povinným odstupným. Takhle by bylo možné dostat výzkumný ústav do neřešitelné situace. Musíme zohledňovat, že tu jsou jakési mandatorní výdaje. Další významnou část institucionální dotace pak jednotlivé ústavy spotřebovávají na provoz – na vodu, plyn, elektřinu, údržbu budov a podobně. Výši institucionální dotace tedy nelze dramaticky změnit z roku na rok.

Promítne se do budoucího hodnocení výzkumu i to, jak se jednotlivé ústavy zapojují do vaší Strategie AV21, která se zaměřuje na výzkum ve veřejném zájmu?

Nechceme hodnotit ústavy podle toho, jak jsou zapojené ve Strategii AV21. My ji totiž bereme jako dobrovolnou platformu. Do této strategie se zapojuje čím dál tím víc ústavů, ale ne proto, že by to pro ně bylo povinné. Prostě v tom vidí smysl. Vědecké pracovníky velice těžko k něčemu přinutíte. Jsou to kreativní lidé, kteří neradi pracují v nějakém sešněrovaném prostředí. A kvalitní výzkum je nakonec – dříve či později – výzkumem ve veřejném zájmu.

Rozhovor zpracoval Jan Žižka, konzultant a publicista, který spolupracuje s vládní sekcí pro vědu, výzkum a inovace. Je analytikem webu oEnergetice. Od devadesátých let působil jako novinář v řadě českých médií, zabýval se především ekonomikou a zahraniční politikou. V posledních letech se zaměřoval na odvětví energetiky – hlavně ekonomické, politické a byznysové souvislosti. Mimo jiné byl reportérem týdeníku EURO a zástupcem šéfredaktora deníku E15.