Jiří Homola: Dobré zprávy z hodnocení?

Jednou z důležitých událostí v životě Akademie věd ČR poslední doby bylo hodnocení pracovišť za období 2015–2019. Kvůli pandemii covidu-19 se ovšem protáhlo na dva roky. I tak se podařilo ve spolupráci se zahraničními experty provést u všech 54 pracovišť hodnocení, které poskytne detailní informace o jejich badatelské výkonosti a odborné činnosti. Jak pracoviště obstála, popisuje Jiří Homola, který za koordinaci hodnocení odpovídá v Akademické radě AV ČR.

V minulém a předchozím roce se uskutečnilo další kolo hodnocení. Můžete jej přiblížit?

Hodnotili jsme výzkumně orientovaná pracoviště, kterých je dvaapadesát, i výzkumně-infrastrukturní – tedy Knihovnu Akademie věd a Středisko společných činností. Obě skupiny absolvovaly hodnocení podle různých metodik, které zohledňují rozdíly v jejich účelu a zaměření.

Zaměříme-li se na výzkumně orientovaná pracoviště, jaké hlavní cíle jste pro jejich hodnocení stanovili?

Jsou dva. Jednak jsme chtěli získat kvalitní a nezávislé informace o výzkumné a odborné činnosti pracovišť a jejich týmů a poskytnout je jako zpětnou vazbu vedení pracovišť. Názory nezávislých zahraničních odborníků, jak výzkum organizujeme, jakých výsledků naše týmy dosáhly v uplynulých pěti letech či jak vnímáme jejich plány na další období, pokládáme za důležitý zdroj informací a podnětů pro další rozvoj. Za druhé jsme chtěli získat objektivní informace o postavení pracovišť v národním, evropském a světovém kontextu a využít je pro strategické řízení Akademie věd. Hodnocení tak přineslo důležité informace o aktuálním postavení, výkonu a efektivitě fungování naší instituce
jako celku.

Jaké zkušenosti jste získali z předchozích cyklů? Připomněl byste historii hodnocení?

Hodnocení má v Akademii věd dlouhou tradici. V různých formách prochází celou její moderní historií a neustále  se vyvíjí. Hodnocení podobného typu, jako je současné, jsme poprvé uskutečnili v roce 2010 a týkalo se období 2005–2009. Následující, které se týkalo období 2010–2014, přineslo mnoho nových prvků a stalo se základem, na němž vzniklo hodnocení současné. Z předchozích jsme získali množství pozitivních i negativních zkušeností.

Jaké zkušenosti byly nejdůležitější?

Za nejpodstatnější pokládám, že jsme si zvykli na hodnocení systematicky pracovat, přemýšlet, co od něj očekáváme a jak toho dosáhnout. Důležité také je, že se do něj „nebojíme“ vnášet trendy a zkušenosti ze zahraničí, například britského Research Excellence Framework, a že jsme nepodlehli některým lokálním trendům. Zejména Metodice hodnocení výsledků výzkumu a vývoje 2008 – takzvanému kafemlejnku, který vědeckou práci a její hodnocení redukoval na výstupy a jejich mechanické bodování. Stále se přesvědčujeme o důležitosti kvalitní komunikace s experty i pracovišti i o tom, že kvalitní mezinárodní hodnocení je náročné na přípravu i provedení a vyžaduje kvalitní podpůrný tým.

Jaké hlavní prvky z předchozích hodnocení jste využili?

Takové, které se osvědčily jako nosné. Především informované peer-review jako metodu, mezinárodní charakter hodnocení či evaluaci na úrovni týmů jako nejmenších výzkumných jednotek.

V čem se principy našeho interního hodnocení odlišují od jiných metodik? Jaké jsou jeho přednosti?

Naše metodika hodnocení plně odpovídá mezinárodním standardům. Ve světě používané metodiky se s ohledem na specifika konkrétních organizací od sebe samozřejmě liší. V Akademii věd používáme metodu informovaného peer-review, které provádějí nezávislí odborníci z daného oboru na základě vstupních dat. Patří mezi ně vybrané výstupy, výsledky bibliometrické analýzy, ale i vstupní podklady z pracovišť. Důležité jsou také informace, které se získávají z jednání s představiteli pracovišť. I ty jsou součástí hodnocení. Peer-review umí nejen posoudit vědeckou činnost prostřednictvím kvantifikovatelných i nekvantifikovatelných ukazatelů, ale rovněž další činnosti, které výzkumní pracovníci provádějí. Například řízení, vzdělávání, spolupráci
s dalšími subjekty v České republice i v zahraničí. Hodnocení se tak dostane na úroveň detailu, kterou potřebujeme.

Velmi důležitý je ale také mezinárodní rozměr hodnocení. Proč konkrétně?

Protože nás zajímá, jak si naši výzkumníci vedou v konkurenci s těmi nejlepšími v zahraničí, a také kvůli tomu, že nejsme velká země a v mnoha oborech je obtížné najít kvalitní hodnotitele, kteří nejsou vůči hodnoceným ve střetu zájmu. V České republice je komplexní hodnocení po dlouhém období používání zmiňovaného kafemlejnku relativně na počátku. Důležitým posunem je Metodika 17+, podle níž se realizuje hodnocení na národní úrovni. Tato metodika využila mnohé naše pozitivní zkušenosti, hodnotí však větší celky a s využitím především národních hodnotitelů.

Může být hodnocení do jisté míry i „subjektivní“, nebo můžeme data získaná na základě peer-review považovat za průkazná?

Hodnocení provádějí lidé a jejich pohled bude vždy subjektivní. Jinak výzkum ale hodnotit nejde. Výsledky tvůrčí práce nelze zredukovat na čísla – a to nemluvím jen o výsledcích, které ve své době vyvolaly skepsi či nezájem a později je svět ocenil jako průlomové. Správné hodnocení se musí snažit vliv subjektivity účastníků hodnocení co nejvíce potlačit.

Jak toho dosáhnout?

Důležitým krokem je, aby hodnotitelé byli nejen experty ve svých oborech, ale byli skutečně nezávislí. Ve snaze o maximální nezávislost, tedy absenci střetu zájmu, využíváme při hodnocení dominantně zahraniční experty. I ze vzdálenějších zemí, jako jsou Austrálie nebo USA. Dále chceme, aby skupina hodnotitelů byla dostatečně velká a pestrá, aby hodnoticí stanoviska vznikala v diskusi a zahrnovala různé pohledy.

Jak to vypadá v praxi?

Děje se tak na dvou úrovních. V první fázi provádějí hodnocení vybraných výsledků oborové panely, které si pro každý výsledek zajišťují stanoviska alespoň dvou externích hodnotitelů. Výstupy tvoří podklad pro hodnocení mezinárodními komisemi ve druhé fázi. Komise pracuje jako kolektivní orgán. Závěry jsou proto výsledkem konsenzu mezi jejími členy. Některá pracoviště hodnotí s ohledem na jejich rozsáhlý odborný záběr vícero komisí. V takových případech žádáme relevantní komise, aby se pokusily nalézt na hodnocený ústav společný pohled. Kromě toho existují technické pojistky. Třeba dohadovací řízení pro vypořádání připomínek pracoviště či účast pozorovatelů ve druhé fázi.

Do hodnocení se podařilo zapojit zahraniční odborníky již v minulých cyklech. Kolik jich spolupracovalo na posledním?

Jak jsem již řekl, jejich vysoká účast byla pro nás z hlediska zajištění nezávislosti a maximální objektivity zásadní. Proto okolo 97 % vědců, kteří se podíleli na hodnocení, pocházelo ze zahraničí – a to v různých rolích. Více než 1600 působilo jako externí hodnotitelé, 189 zasedlo v odborných panelech v první fázi a 145 pracovalo v hodnoticích komisích ve druhé fázi. Celkově se na hodnocení podílelo téměř dva tisíce zahraničních odborníků, což je impozantní počet.

Jak se na hodnocení podíleli čeští odborníci?

Tuzemští odborníci se podíleli na posuzování výstupů v českém jazyce. Kromě toho mělo devět z celkového počtu patnácti hodnoticích komisí jednoho člena z České republiky za účelem adekvátního posouzení významu výsledků pracoviště v národním kontextu.

Jak jste zahraniční odborníky přesvědčovali, že by měli hodnotit zrovna českou instituci?

Najít kvalitní hodnotitele schopné a ochotné věnovat nám adekvátní množství času není jednoduché. Platí to zvlášť pro práci v hodnoticích komisích, což je role časově náročná. Navíc, výborní vědci jsou zaměstnaní lidé s množstvím závazků. Naštěstí jsme těžili z našich zkušeností a kontaktů z předchozích hodnocení. Mnoho expertů jsme oslovili na základě předešlé kvalitní spolupráce. Zvláštní pozornost jsme věnovali výběru odborníků do rolí předsedů komisí. 

V jejich případě jsme pozitivní zkušenosti považovali za klíčové. Do této role jsme vybírali téměř výhradně experty, kteří se na našem hodnocení podíleli v minulosti, a tudíž měli dobrou představu, co tato náročná práce obnáší.

Museli jste řešit zásadní komplikace? Vstoupila do hodnocení například pandemie covidu-19?

Každá akce, která je rozsáhlá a komplexní, čelí výzvám a problémům. Nejinak tomu bylo i v případě dokončeného hodnocení. Podobně jako v předchozím se s nimi skvěle vyrovnával odbor podpory vědy Kanceláře Akademie věd. Nepříznivě do hodnocení zasáhla pandemie covidu-19, která vypukla měsíc před začátkem první fáze. S pandemií přišla opatření, která měnila život lidí napříč kontinenty, naše experty nevyjímaje.

Jak se to projevilo?

Mnoho zahraničních expertů, kteří přislíbili účast, muselo na svůj slib rezignovat. Zejména v počátečním období, kdy byl výhled nejistý, jsme při hledání náhradníků zažili horké chvíle. V důsledku opatření proti šíření covidu-19 nešlo, aby hodnoticí komise navštěvovaly pracoviště. Právě tyto návštěvy ale komisím umožňují, aby se setkaly se zástupci pracovišť a získaly lepší vhled do jejich fungování. Setkání se tak nakonec přenesla do virtuálního prostoru. Jejich intenzita i vypovídací schopnost však nebyla vždy taková, jak jsme byli z přímých návštěv v předchozím hodnocení zvyklí. Na druhou stranu musím říct, že jsme se v důsledku nepříznivých podmínek mnohé naučili. Pracoviště rozšířila  videokonferenční zázemí a posílila své schopnosti, jak se prezentovat ve virtuálním prostoru. To vše bude do budoucna užitečné.

Jaký měla pracoviště k hodnocení postoj? Mají jej už takříkajíc zažité?

Pracoviště přijímají hodnocení jako standardní součást vědeckého života. Uvědomují si, že je obecným trendem. Kromě našeho celoakademického hodnocení absolvují hodnocení výzkumných organizací na národní úrovni dle Metodiky 17+. Mnohé ústavy navíc mají svá vnitřní, hodnotí se návrhy projektů a tak dále. Otázka tedy nestojí, zda se hodnotit, ale jak se hodnotit nejlépe a nejefektivněji. Těší mě, že mnoho kolegů-vědců má o hodnocení živý zájem. Je zřejmé, že o něm přemýšlejí, hovoříme o různých trendech, možných modifikacích.

Nejsou ale pracoviště, vědecké týmy i samotní badatelé evaluacemi a různým dalším vykazováním zahlceni?

Protože jsem do nástupu do Akademické rady na jaře 2021 vykonával funkci ředitele pracoviště, mám nároky, které na naše pracoviště hodnocení kladlo, v čerstvé paměti. Voláním po jeho zeštíhlení a zjednodušení proto rozumím. To, že jsou vědci různými formami výkaznictví přetíženi, je bez diskuse. Málokterý výzkum se v současnosti obejde bez grantové podpory. Dlouhodobých grantových projektů je málo, úspěšnost žádostí není vysoká, což nutně vede k tomu, že aby vědci mohli bádat, musí víc „psát“. Nakonec i právě provedené hodnocení ukázalo vysoký podíl účelového financování výzkumu na pracovištích jako problém. Soustavné získávání účelového financování spotřebovává značnou kapacitu produktivních vědců. Navíc, vysoká závislost na něm je hrozbou pro udržitelný rozvoj pracovišť. To je ale na jinou diskusi…

Různým formám hodnocení se nevyhneme…

Vrátím-li se zpět k našemu tématu, je důležité si uvědomit, že výsledky hodnocení jsou jedním z podkladů pro řízení Akademie věd – včetně financování pracovišť jako jednoho z dílčích aspektů. Také proto potřebujeme, aby naše hodnocení bylo kvalitní a „robustní“. Neznamená to ale, že se nemáme snažit, abychom ho udělali jednodušší. Naopak – aby příští bylo pro pracoviště i hodnotitele méně náročné, a přitom mělo vysokou vypovídací schopnost, pokládám za důležitý úkol.

Přejděme tedy k výsledkům…

V první fázi hodnocení posoudily mezinárodní panely více než sedm tisíc vědeckých výstupů. Téměř šedesát procent z nich získalo dva nejvyšší kvalitativní stupně: „world-leading“ a „internationally excellent“. To je velmi potěšující výsledek. Svědčí o vysoké kvalitě vědecké produkce pracovišť. Za zmínku určitě stojí, že se ve srovnání s předcházejícím hodnocením v první fázi posuzovalo o více než 25 % výstupů více. Přesto byl nyní podíl výsledků hodnocených dvěma nejvyššími stupni vyšší než při minulém hodnocení.

Ukazuje to, že nárůst v počtu hodnocených výstupů rozhodně nebyl na úkor kvality. Kromě výsledků z první fáze dostala všechna pracoviště rovněž závěrečné hodnoticí zprávy obsahující podrobné informace za pracoviště jako celek i za každý badatelský tým. Tyto zprávy může vedení využít pro manažerská rozhodnutí o dalším rozvoji pracoviště a jeho týmů. Každá zpráva obsahuje také vyjádření k budoucím plánům činností, které se za pět let znovu podrobí hodnocení.

Pokud nějaké pracoviště dopadlo v hodnocení špatně, co jej nyní čeká?

Těší mě, že mezinárodní komise hodnotily pracoviště vesměs velmi pozitivně. I když na některých identifikovaly výzkumné týmy, které mají dle jejich názoru slabší výsledky, počet takových týmů byl relativně omezený a obvykle významně nesnížil celkové hodnocení pracoviště. Je to mimo jiné i výsledkem toho, že Akademie věd hodnotí ústavy opakovaně – a pracoviště si mnohá doporučení z předchozích cyklů vzala k srdci. Žádné dramatické kroky jako třeba redukce institucionálního financování proto pracoviště v návaznosti na výsledky hodnocení nečekají. Samozřejmě ale očekáváme, že se nad výsledky zamyslí a situaci v hůře hodnocených týmech adekvátně vyřeší. Nakonec, v rámci příštího hodnocení se budeme ptát, jak na výsledky a doporučení hodnoticí komise reagovala a jaká opatření ke zlepšení situace přijala.

Vnímají ústavy hodnocení jako motivaci pro případnou reorganizaci či hlubší změny ve výzkumném zaměření?

Velká většina pracovišť má vedení, které usiluje o to, aby se jejich ústav posouval kupředu a produkoval co nejlepší výsledky. Objektivní a věcná doporučení pro ně určitě představují důležité argumenty v uvažování, jak se dále rozvíjet. Většina svá slabá místa zná, nezávislý pohled zvenku jim však může pomoct vést o nich diskusi a snadněji se s nimi vypořádat. Taková je i moje osobní zkušenost.

Rozvedl byste ji prosím?

Na mém mateřském pracovišti, Ústavu fotoniky a elektroniky, jsme v návaznosti na výsledky provedli v roce 2012 rozsáhlou reorganizaci. Změnili jsme strukturu vědeckých útvarů i jejich řízení a utlumili některé programy. Ačkoli všechno nešlo hladce, byl to rozhodně krok správným směrem. Když jsem se seznamoval s podklady pro hodnocení a diskutoval na setkáních zástupců pracovišť a Akademické rady, uvědomil jsem si, že náš ústav nebyl zdaleka jediný a že se výsledky promítly do větších či menších změn na mnoha pracovištích. Potěšilo mě to. Je to pro mne důkaz, že kvalitně provedené hodnocení může být pro pracoviště přínosem.

Jak si tedy vlastně stojíme?

Hodnocení prokázalo vysokou úroveň vědecké kvality a výkonnosti Akademie věd. Pro českou vědu i Českou republiku je to dobrá zpráva.

 

 

Autor: Luděk Svoboda

Foto: Stanislava Kyselová 

Rozhovor vyšel v aktuálním vydání časopisu AB / Akademický bulletin

---

Jiří Homola, člen Akademické rady AV ČR

Věnuje se výzkumu v oblasti biofotoniky, především optickým biosenzorům. V letech 2012–2021 vedl Ústav fotoniky a elektroniky AV ČR. Publikoval více než 170 vědeckých prací (více než 19 tisíc citací, h-index 58). V Akademické radě AV ČR zastupuje místopředsedkyni první vědní oblasti při řešení vědecko-organizačních záležitostí pracovišť 1.–3. sekce. Odpovídá za koordinaci přípravy a průběhu hodnocení pracovišť Akademie věd ČR a koordinaci této agendy s národním systémem hodnocení výzkumných organizací. Součástí jeho agendy jsou také aktivity v oblasti bezpečnosti vědeckých informací.

Metodika 17+ se inspirovala interním hodnocením Akademie věd

Důležitým posunem v hodnocení výzkumné činnosti pracovišť na národní úrovni je Metodika 17+, která se od roku 2017 postupně implementovala v českém prostředí. Právě podle ní se realizuje hodnocení institucí, jako jsou Akademie věd ČR, vysoké školy a resortní výzkumné organizace. Cílem nové metodiky bylo stabilizovat systém vědy a výzkumu a vytvořit takový systém hodnocení, který podpoří kvalitu výsledků před jejich kvantitou tím, že bude kvalifikovaně posuzovat badatelskou výkonnost a zohledňovat specifika jednotlivých oborů i zaměření výzkumných organizací. Jiří Homola z Akademické rady AV ČR v této souvislosti vyzdvihuje, že právě Metodika 17+ aplikovala mnohé pozitivní zkušenosti Akademie věd, ač hodnotí větší celky s využitím především národních hodnotitelů.