Výběr excelentních výsledků – Pohled do kuchyně Panelu pro technické a informatické vědy

Ostatní panely mohly postupovat a nejspíš postupovaly trochu jinak. Nic o jejich práci nevím, a tak o nich psát nebudu. Nejprve ale stručně popíši hlavní principy a procedury výběru excelentních výsledků.

Výběr excelentních výsledků podle Pilíře II metodiky

Výběr probíhal podle Metodiky hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2013 až 2016), a to podle Pilíře II, popsaného v kapitole VII. HODNOCENÍ KVALITY VYBRANÝCH VÝSLEDKŮ- PILÍŘ II (strana 15 a dále). Toto hodnocení je expertní, na rozdíl od Pilíře I, řečeného „kafemlejnku,“ který je naopak hlavně „výpočetní“ a dosazuje do určitých vzorečků tvrdá data bibliometrická, finanční a další.

Podle Pilíře II má výzkumná organizace právo do hodnocení zaslat určitý počet svých nejlepších výsledků,zhruba řečeno podle toho, kolik v minulosti dostala od státu peněz na výzkum. Přesněji řečeno, součet podílů organizace na zaslaných výsledcích musí odpovídat její kvótě. Podrobnosti se najdou v Metodice. Rozložení a výběr zaslaných výsledků je plně na zasílající výzkumné organizaci. Ta k nim dodává i potřebnou dokumentaci a také vysvětlení, proč který výsledek zasílá - tedy proč ho sama považuje za excelentní. Organizace byly informovány o tom, že mezi hodnotiteli jsou česky nemluvící cizinci a tedy že má být předložena dokumentace s překlady nebo rovnou v angličtině. Hodnocení provádějí Expertní panely členěné podle oborů nebo jejich skupin, přičemž i o zařazení výsledku do oboru rozhoduje zasílající organizace sama. Každý z panelů vybere maximálně 20 % z jím hodnocených výsledků (přesněji se opět sčítají jejich podíly) a ty označí za excelentní. Technicky dostanou excelentní výsledky hodnocení „A“, ostatní jsou „B“. Autoři vybraných výsledků z toho mají slávu, jejich instituce k tomu dostávají nějaké malé peníze.

Hodnotí se vždy výsledky zveřejněné (vyšlé, patentované, vyrobené, apod.) v období 5 let předcházejících hodnocení. Toto časové rozmezí je podstatné. Umožňuje totiž expertům posuzovat skutečnost – skutečný ohlas a dopad výsledku na vědeckou komunitu, na průmysl apod. – takže nemusejí odhadovat budoucnost. Příliš čerstvý výsledek raději nemá být zaslán, neboť ještě neměl čas ukázat, co v něm je a jak moc svět kolem sebe ovlivní. Kromě toho se ještě může ukázat, že je ve výsledku chyba (což někdy nemusejí poznat ani recenzenti v časopise, natož naši hodnotitelé) anebo ještě může někdo z druhého konce světa vystoupit s tvrzením, že to vlastně vymyslel on.

První takový výběr proběhl v roce 2014 a zahrnoval výsledky z let 2009-13. Následující rok nebylo nic a vypadalo to, že se již takto hodnotit nebude. Letos překvapivě hodnocení proběhlo zas, a to s označením 2015, tedy zahrnující výsledky z let 2010-14. Další hodnocení by mělo následovat začátkem příštího roku.

Letos byly zaslané výsledky rozděleny podle oborů mezi 11 Expertních panelů po 6 až 28 členech. Ve většině panelů byli kromě našich odborníků i cizinci (0 až 5). Zasláno bylo celkem 1448 výsledků a panely jich hodnotily velmi různý počet – od 47 po 262 - podle toho, kolik jich bylo do jejich oboru organizacemi zasláno.

Postupy a výsledky práce Panelu EP04 Technické a informatické vědy.

Další text je mírně upraveným výtahem z české verze závěrečné zprávy odevzdané panelem EP04.

Hodnocení a jeho postup

Panelu EP04 bylo k posouzení předloženo 200 výsledků z oblasti Technických a informatických věd. Celkový součet podílů předkládajících institucí na těchto výsledcích byl 14 874, přičemž plný podíl na článku vyjadřuje číslo 100.

Panel v prvním kole prohlédl všechny výsledky a vyřadil ty, u kterých nebyla předložena žádná dokumentace, byla předložena dokumentace zjevně nedostatečná anebo byla předložena dokumentace pouze v českém jazyce, takže jí zahraniční členové panelu nerozuměli. Takto vyřazené výsledky obdržely od všech členů Panelu hodnocení B.

Ve druhém kole Panel překontroloval správnost výší podílů předložených k jednotlivým výsledkům zasílajícími organizacemi. Ve všech případech byly poskytnuté podíly shledány přiměřenými a žádný výsledek nebyl z tohoto důvodu vyřazen. Ukázalo se ale, že ve 24 případech nebyl panelu k výsledku předložen žádný podíl, nejspíš chybou zasílající organizace. Po konzultaci s pracovníky Úřadu vlády u nich správné podíly dohledal a doplnil předseda Panelu.

Dále byl Panel Úřadem vlády informován o tom, že dva z předložených výsledků byly již posuzovány v minulém hodnocení, kdy dostaly A, a letos byly zaslány znovu jinými spoluautorskými institucemi. Tyto dva výsledky dostaly v souladu s Metodikou automaticky hodnocení, A takže je Panel letos znovu neposuzoval.

Poté členové Panelu přistoupili k individuálním hodnocením jednotlivých výsledků. Přitom se soustředili na jejich originalitu, inovativnost, srovnání s podobnými výsledky z celého světa, odezvu v mezinárodní odborné komunitě a na dopad výsledku na společnost, hospodářství, průmysl a světovou vědu. U vědeckých článků zvažovali nejen počet citací jiných autorů, ale také obsah těchto citací a prestiž citujících. U aplikačních výsledků posuzovali množství a úspěšnost vyrobených, prodaných a užívaných aplikací výsledků, příjmy plynoucí z prodeje licencí, podíl na trhu, množství a názory uživatelů atp. Podle očekávání byl Panel dost náročný. Článek v nejlepším časopise Áčko nedostal, pokud neměl patřičnou odezvu prokázanou dostatečným počtem pozitivních citací od respektovaných autorů. Áčko nezískal ani US patent, pokud nevykázal dostatek prodaných licencí, vyrobených výrobků a vydělaných peněz. Od zdarma distribuovaného software zase Panel požadoval prokázat velký počet uživatelů z celého světa a jejich pozitivní ohlas. Atp.

Jednotliví členové Panelu přitom ukládali a vzájemně sdíleli na webu jak svá individuální hodnocení každého výsledku (A nebo B), taky i své názory, zjištěná fakta, získaná data a další poznámky.

Práce Panelu byla velmi důkladná a náročná. U třetiny předložených výsledků byl každý individuálně posouzen nejméně třemi čtvrtinami aktivních členů Panelu, tj. každý výsledek získal nejméně 17 individuálních ohodnocení. U naprosté většiny výsledků byl každý individuálně zhodnocen nejméně polovinou aktivních členů, tj. každý výsledek získal nejméně 11 individuálních hodnocení. Pouze jeden výsledek byl individuálně zhodnocen méně než osmi členy, a to čtyřmi. Panel tak dobře využil různé míry specializace svých členů v jednotlivých oblastech. Zatímco tematicky nejbližší specialisté posoudili výsledek do hloubky a porovnali ho s konkurencí a stavem poznání, odborně vzdálenější členové zase díky svému odstupu a nadhledu lépe posoudili dopad výsledku na mezinárodní odbornou komunitu, na průmysl a trh a na celou společnost.

Nakonec předseda Panelu seřadil všechny výsledky podle poměru A/(A+B) v individuálních hodnoceních a vybral ty, které současně splnily následující dvě podmínky:

• Obdržely nejméně tolik A jako B, tj. jejich poměr A/(A+B) byl nejméně 0,5.
• Dostaly nejméně 7x individuální hodnocení A.

S takto vybranými 40 výsledky vyjádřili souhlas všichni aktivní členové Panelu. K tomu byly přidány 2 výše zmíněné výsledky, které obdržely A už v minulém hodnocení.

Výsledky výběru

Z předložených 200 výsledků z oblasti Technických věd a informatiky s celkovým součtem podílů 14 874 tak Panel vybral 42 nejvýznamnější výsledků nejvyšší kvality a označil je za excelentní. Součet podílů vybraných výsledků se rovná 2 757, což je méně než 20% z celkového součet podílů výsledků předložených Panelu. Na výběru se konsensuálně shodl celý Panel. Žádný z členů nepředložil odlišné stanovisko.

Aktivita členů

Panel EP04 Technické a informatické vědy byl sestaven v počtu 24 členů, z toho byli čtyři ze zahraničních institucí – z Itálie, Švédska, Irska a Anglie. Dva členové přestali hned na začátku komunikovat a hodnocení se vůbec nezúčastnili. Ostatních 22 členů pracovalo pilně, důkladně a zodpovědně. Každý z nich individuálně zhodnotil přes 60 výsledků. Naprostá většina z nich však zhodnotila přes 100 výsledků, tedy nejméně polovinu zaslaných. Přitom každý druhý panelista individuálně zhodnotil přes 150 výsledků, tj. tři čtvrtiny ze všech zaslaných. Všichni aktivní členové byli velmi nároční: průměrný individuální poměr A/A+B na člena Panelu je 21%.

Porovnání posuzovaných výsledků v oborech Technických a informatických věd s globálními standardy a světovou špičkou

Cizinci v Panelu EP04 i letos nezávisle na ostatních provedli ještě mezinárodní posouzení předložených výsledků.

Výsledky vybrané Panelem (A-skupinu) posoudili cizinci takto:

• 10% z nich má opravdu výjimečnou kvalitu.
• 70% má špičkovou kvalitu podle nejvyšších mezinárodních standardů.
• 20% má dobrou kvalitu, těsně pod mezinárodními standardy, ale přesto vynikající na národní úrovni.

Výsledky Panelem nevybrané (B-skupinu) posoudili cizinci takto:

• 25% je vysoce kvalitní na národní úrovni, ale ne docela excelentní mezinárodně.
• 35% má dobrou národní úroveň, ale rozhodně není excelentní mezinárodně.
• 40% má nízkou kvalitu a/nebo nedostatečnou dokumentaci.

Celková úroveň vybraných výsledků se podle cizinců ve srovnání s hodnocením v roce 2014 mírně zlepšila. Předseda panelu s uvedeným posouzení souhlasí a potvrzuje, že dobře vystihuje národní úroveň v Technických a informatických vědách v porovnání se světem.

Obecné připomínky Panelu k procesu předkládání a hodnocení

Členové panelu byli opět překvapeni vysokým počtem neplatných či neúplných položek, jako jsou výsledky popsané a zdokumentované pouze v českém jazyce, výsledky s nedostatečnou dokumentací a výsledky zaslané úplně bez dokumentace. Také vysvětlení významu a dopadu dodané zasílající organizací bylo u mnoha výsledků nedostatečné, a to někdy i u výsledků kvalitních. Taková nedbalost je nepochopitelná vzhledem k významu celého hodnocení a dopadu výsledků 2. pilíře na prestiž výzkumných organizací. Obdobná stížnost i konkrétní detaily, které Panel uvedl ve Zprávě z hodnocení v roce 2014, zřejmě neměly žádný dopad a nejspíš byly ignorovány.

Možná by příště měly být poskytnuty výzkumným organizacím podrobnější a jasnější informace o pravidlech a požadavcích na předkládání. Výsledky bez dokumentace nebo s dokumentací pouze v českém jazyce by neměly být vůbec přijímány. Administrativa by měla nejprve formálně zkontrolovat všechny zaslané výsledky a automaticky odmítnout všechny neúplné nebo nezdokumentované. To by snížilo zatížení odborných hodnotitelů, kterým by tak zbylo ještě více času na odborná posouzení.

Zpracování souhrnné zprávy o činnosti EP za rok 2016

Kvůli opožděným úpravám nového hodnotitelského webu zahájil Panel EP04 svou práci s malým zpožděním oproti původnímu harmonogramu a se stejným zpožděním ji skončil. Poté odevzdal Úřadu vlády svou zprávu – protokol v anglickém jazyce včetně seznamu vybraných výsledků. Rozhodnutí Panelu bylo dosaženo konsensuálně a žádný z členů nevyjádřil hodnocení odlišné. Na dodatečný požadavek Úřadu vlády a podle jeho pokynu jsme letos zpracovali ještě souhrnnou zprávu v českém jazyce. Přitom jsme byli informování, že další hodnocení v tomto roce již neproběhne.

Závěrečné osobní poznámky

Osobně jsem s prací našeho Panelu spokojen a všem členům děkuji za poctivý a férový přístup při výběru. Snad jsme neudělali žádnou vekou chybu, při velké rozmanitosti druhů a témat výsledků, která je pro naše obory typická, to asi úplně vyloučit nelze. Určitě jsme postupovali férově a podle nejlepšího vědomí a svědomí. Naše kritéria byla jen čistě vědecká a oborná. Regionální vlivy, nějaká „vyvažování“ ani žádné osobní „známosti“ či „animozity“ jsme nebrali v úvahu. Jak jsem už vysvětlil výše, samotné postupy naší práce - zejména naprostá otevřenost uvnitř panelu a veliký počet individuálních hodnocení ke každému výsledku – samy o sobě bránily jakémukoli „taktizování“ a podobným nepěknostem.

V prvním kole – Hodnocení 2004 – byl panel EP04 jedním z mála všeobecně chválených a žádná konkrétní kritika se ke mně nedostala. Obecně ale bylo první hodnocení dle Pilíře II kritizováno hodně. „Vlivní kolegové“ se ho dokonce pokusili zrušit úplně, naštěstí dosáhli jen ročního odkladu. Přestože na konkrétních detailech Pilíře I (kafemlejnku) i Pilíře II a jejich konkrétním provedení je možné kritizovat ledasco, principálně je lze kritizovat těžko. Přesto se to opakovaně děje, a někteří dokonce kritizují oba Pilíře současně. Na kafemlejnku jim vadí „mechaničnost“, a tak si léta přejí nahradit ho expertním hodnocením. Když je ale konečně jejich přání vyhověno v Pilíři II, jsou zase nespokojeni. Najednou jim vadí, že experti rozhodli podle své vůle a svědomí. Překvapivě se teď dožadují přesného vysvětlení, a někdy dokonce vyčíslení, proč vlastně experti rozhodli tak, jak rozhodli – tedy skoro návratu k „mechaničnosti“ kafemlejnku?

Za letošní výběr našeho Panelu samozřejmě ručím osobně, stejně jako za ten minulý. Možnou konkrétní kritiku uvítám a v případě potřeby jsem ochoten jí čelit. Pokud nabydete dojmu, že některý z výsledků vybraných Panelem EP04 není excelentní (nebo že naopak některý excelentnívýsledek nebyl vybrán), ozvěte se! Taková kritika buď pomůže Panelu v další práci, anebo naopak pomůže vám a vaší instituci si uvědomit, co vlastně excelentní výzkum je a co není.

Zato odmítám obecnou kritiku jakéhokoli typu hodnocení, která vždy ad hoc použije nějaké argumenty, pokaždé jiné. Vidím kolem sebe mnoho kolegů, kteří jsou vlastně proti jakémukoli hodnocení vůbec. At už z obavy, že oni sami nebo jejich instituce by nedopadli dobře, anebo z u nás zažitého rovnostářství schovaného pod heslo „všichni jsme přece dobří.“ Ne, všichni stejně dobří nejsou.