Stanislav Kozubek: Hodnocení jako motivace

Akademie věd ČR a její pracoviště procházejí systematickým hodnocením opakovaně jednou za pět let, přičemž poslední se uskutečnilo v roce 2015. Rovněž v tomto aktuálním hodnocení za roky 2015–2019, které vychází z principů toho předchozího, využijí hodnoticí grémia tzv. informované peer-review, které provádějí mezinárodní odborníci.

O přípravách interního hodnocení pracovišť hovoříme se Stanislavem Kozubkem z Akademické rady, který za ně odpovídá.

Proč je třeba se vůbec hodnotit?

Veškerá lidská činnost může být vykonávaná s odlišnou kvalitou a podle toho má také různý význam pro společ-nost. Pokud je člověk zaměstnán, zaměstnavatel hodnotí jeho pracovní výkonnost, aby efektivně využil vynaložené prostředky.

Totéž jistě platí i pro výzkum…

Ve výzkumu je to podobné, evaluace se dělá na různých úrovních. Výzkumné organizace hodnotí výkonnost jed-notlivých pracovníků a týmů, někteří poskytovatelé hodnotí výzkumné organizace nebo i týmy a Úřad vlády hodnotí výzkumné organizace v České republice. Evaluace má tedy určitou hierarchii. Cílem je zlepšování kvality a výkonnosti, tj. poskytnutí zpětné vazby výzkumným jednotkám a efektivnější vynakládání finančních prostředků tak, aby byl význam výsledků pro společnost co největší. Tak se hodnotí v celém světě, metody se však dost liší.

Jaké jsou cíle interního hodnocení Akademie věd ČR?

Jsou dva. Prvním je získat přehled o jednotlivých ústavech až na úroveň týmů. O kvalitě jejich výzkumu, prostředí, ve kterém vědci pracují, o problémech, jež musejí řešit, plánech do budoucna i o dalších aktivitách. Tyto informace se předávají vedení ústavů, které je poté využívají jako výše uvedenou zpětnou vazbu ke zlepšení výzkumné činnosti v následujícím období.

Jaký je druhý cíl?

Získat, pokud možno, objektivní informace o postavení pracovišť v národním, evropském a světovém kontextu pro účely dalšího strategického řízení vrcholnými orgány včetně úpravy financování. Výsledky však netvoří jediný podklad pro rozhodování o finanční podpoře do budoucna. Celkový vliv hodnocení má spíše motivační charakter. Obecně by mělo vést pouze k malým úpravám podpory – a to s ohledem na dlouhodobý charakter výzkumné činnosti. Hlavním cílem je proto identifikovat vynikající týmy a zajistit jim stabilní podporu. V případech, kdy týmy narážejí na problémy, je potřeba je řešit.

Jaké zkušenosti nám přineslo předchozí hodnocení?

Hodnocení z roku 2015 bylo provedeno podobně. Cíle i základní principy mělo stejné a bylo úspěšné. Proto jsme v přípravném období provedli pouze úpravy na základě připomínek ředitelů a členů vrcholných orgánů, abychom odstranili nedostatky a dále zlepšili vypovídající hodnotu zpráv komisí. V mnoha aspektech se při předchozím hodnocení potvrdila správnost zvolených postupů. Ukázalo, že naše instituce dosahuje mezinárodně srovnatelné úrovně. Samozřejmě nelze říci, že bychom dosahovali podobné výkonnosti jako nejlepší výzkumné organizace v rozvinutých zemích, jako je třeba Společnost Maxe Plancka. K této úrovni však směřujeme a věříme, že se nám to v nedaleké budoucnosti podaří.

Peer-review i bibliometrie

Z jakých principů a metod interní hodnocení vychází?

Používají se dvě metody: peer-review a bibliometrie, tj. hodnocení panelem/komisí složené z vědců a hodnocení založené na indikátorech výsledků výzkumu publikovaných v odborných časopisech. V současnosti se uvedené metody kombinují. Hovoříme o takzvaném informovaném peer-review, kdy pod slovem informované rozumíme využití dalších podpůrných informací pro správné rozhodování panelů/komisí. Jde jednak o bibliometrii, ale také údaje o struktuře a činnosti pracoviště a informace získané při návštěvě včetně vystoupení vedoucích týmů.

Využívají se i jiné principy?

Důležitým principem, široce uznávaným v celém světě, je oborovost. Charakter výzkumu v různých oborech se vý-znamně liší v mnoha aspektech – například v přístrojové náročnosti, potřebě spolupráce, ve frekvenci publikování. Proto se evaluace provádí odděleně pro odlišné obory. Akademické hodnocení je dvoufázové. V první fázi se hodnotí výstupy, jako jsou publikace nebo patenty, a to prostřednictvím mezinárodních panelů a vzdálených hodnotitelů. Využívá se k tomu internetová aplikace. Ve druhé fázi se uskuteční mezinárodní informované peer-review hodnocení pracovišť a jejich týmů za využití oborových zpráv z první fáze a podkladů z pracovišť, bibliometrické analýzy a informací z návštěvy včetně prezentací jednotlivých týmů. Dalšími principy jsou transparentnost, tj. počítá se s průběžným poskytováním informací o výsledcích, a oddělení hodnocení a financování.

Hodnocení formou informovaného peer-review se využívá často. Jaké jsou jeho přednosti či naopak zápory ve srovnání s bibliometrickým měřením?

Informované peer-review může bibliometrii využívat jako jeden z podkladů, což je optimální způsob. Samostatně prováděné peer-review se považuje za správnou metodu, protože lze při něm zohlednit nejen výsledky, ale všechny další okolnosti, což bibliometrické hodnocení jako takové nedokáže. Mnoho publikací ukazuje, že lze bibliometrickým postupem dojít přibližně ke stejným výsledkům jako při důkladném peer-review hodnocení. Samozřejmě to ukazuje význam bibliometrie jako druhého možného nástroje, který lze využít například v období mezi „velkými hodnoceními“ pro kontrolu stavu výzkumné organizace nebo jako podklad pro peer-review, kdy je vítaným pomocníkem.

Jak se výsledky uvedou do praxe?

Implementují se tak, že vedení Akademie věd ČR a jednotlivá pracoviště diskutují o přidělení institucionálního financování na další období. Využijeme výsledky hodnocení, ale zohledníme též další faktory. Stejně tak poslouží i výstupy národního hodnocení.

Akademie má své know-how

Jaké je naše „know-how“, jímž by se mohly inspirovat i jiné vědecko-výzkumné instituce?

Akademie věd ČR provádí hodnocení po celou dobu své existence. Za tuto dobu se podařilo nashromáždit hodně zkušeností. Naši metodiku však nelze přímo přenést pro jiné instituce, protože mají jiné poslání a jiný charakter činnosti. Platí to o vysokých školách i resortních výzkumných ústavech. Také národní Metodika 17+ se liší zejména s ohledem na daleko větší počet hodnocených subjektů a jejich velikost. Některé aspekty však přenositelné jsou. Snadno je můžeme vysledovat právě v národní metodice – například využití vzdálených recenzí v modulu 1 nebo bibliometrie založené na konstrukci rozdělení výsledků do kvartilů a horního decilu podle Article Influence Score v modulu 2.

Je naše hodnocení v něčem světově unikátní?

Například v otázce citačních indikátorů, které rozdělují výstupy, v tomto případě publikace. Podle počtu citací se určují s ohledem na rok vydání publikace typ „articles“, „reviews“ nebo „proceeding papers“ a podobory, kterých rozlišujeme přibližně 250.

Uvedl byste příklad?

Jestliže o nějaké publikaci řekneme, že je podle počtu citací v horním decilu – deseti procent – nejlepších prací ve světě, vystavujeme se riziku, že po určité době už to pravda nebude. Počty citací se totiž neustále mění. Obávali jsme se, že se nám časem publikace posunou – například z prvního kvartilu do třetího. Na druhé straně je tento indikátor podle mnoha vědců cenný, protože vyjadřuje skutečnou kvalitu výstupu, zatímco indikátory kvality časopisů vyjadřují spíše jen očekávání/pravděpodobnost, že výstup je kvalitní; pokud jej publikoval kvalitní časopis. Způsobu výpočtu jsme proto věnovali pozornost a rozdělení výstupů do kvartilů a horního decilu podle počtu citací z minulého hodnocení jsme ověřovali v současnosti – tedy po třech letech. Marie Budíková z Masarykovy univerzity v Brně provedla statistické porovnání, které dopadlo velmi dobře. Existuje tedy poměrně častý přechod mezi sousedními kvartily, ale ke skokové změně o dva kvartily došlo jen u několika málo případů – při hodnocení asi 3000 publikací. Takové srovnání dosud nikde jinde na světě neprovedli. Hodnotný výsledek, kterého jsme dosáhli, znamená, že postup je dostatečně robustní, a v důsledku toho cenný pro hodnoticí panely/komise.

A pokud bychom použili jen bibliometrii?

Spojena je s riziky, které nejlépe ilustroval takzvaný kafemlejnek, který se dlouho používal jako národní hodnocení a vedl k deformaci výzkumného prostředí. Mnoho organizací a týmů se přizpůsobilo tak, že produkovaly laciné výsledky ve velkém počtu, aby získaly dostatek bodů, tj. finančních prostředků. Kvalita výzkumu tím značně utrpěla. Navíc bibliometrické hodnocení není vhodné obecně pro všechny obory. Naopak, existují obory, ve kterých výstupy vat v českém jazyce, bude z České republiky. Výběr děláme tak, že je navrhnou členové vrcholných orgánů, Akademické nebo Vědecké rady, následně je oslovíme a hodnotitelé se registrují do internetové aplikace. U nich následně provedeme kontrolu případného konfliktu zájmů – například společných publikací s týmy Akademie věd ČR. Výběrem do panelů a komisí jsou pověřeni místopředsedové jednotlivých vědních oblastí. V oborech, ve kterých je nedostatek odborníků, využíváme databázi Web of Science, z níž lze seznam doplnit.

Jak zahraniční vědci k hodnocení přistupují? Musejí dobře znát „český kontext“?

Zahraniční vědci jsou zvyklí na běžné výzkumné prostředí, které se většinou u nás také nachází. Nicméně v komisích je vždy jeden člen obvykle z vysoké školy, který má za úkol objasnit specifika českých výzkumných organizací v případě potřeby.
a výsledky bibliometricky hodnotit nelze – například humanitní vědy.

Jak bude vedení Akademie věd ČR hodnocení organizovat? Na co by se měla pracoviště připravit?

Hodnocení připravujeme dlouho dopředu. Harmonogram lze nalézt na interních webových stránkách Akademie věd ČR. V současnosti se registrují experti pro různé role – člen panelu, komise nebo vzdálený hodnotitel. V dubnu 2020 se rozběhne první fáze, do které se přihlásí týmy se svými výstupy. V polovině roku skončí a na podzim oborově sestavené komise navštíví pracoviště. Ústavy pravidelně informujeme o průběhu příprav i o tom, co se od nich očekává, kdy něco konkrétního nastane a jaká bude organizace. Metodika za období 2015–2019 je již dlouho přístupná na výše zmíněném webu včetně příloh.

Zahraniční experti zajistí objektivitu

Do hodnocení se v roli hodnotitelů zapojují zahraniční vědci. Jak je vybíráte? Je v případě specifických oborů těžké najít vhodné odborníky?

Do hodnocení se zapojují téměř výhradně zahraniční vědci, pouze malá část v oborech, ve kterých je zvykem publikovat v českém jazyce, bude z České republiky. Výběr děláme tak, že je navrhnou členové vrcholných orgánů, Akademické nebo Vědecké rady, následně je oslovíme a hodnotitelé se registrují do internetové aplikace. U nich následně provedeme kontrolu případného konfliktu zájmů – například společných publikací s týmy Akademie věd ČR. Výběrem do panelů a komisí jsou pověřeni místopředsedové jednotlivých vědních oblastí. V oborech, ve kterých je nedostatek odborníků, využíváme databázi Web of Science, z níž lze seznam doplnit.

Jaké podklady jim pracoviště poskytnou?

Pro první fázi hodnocení jde o výstupy v patřičném počtu a kvalitě, ve druhé nejen údaje o publikační aktivitě, ale také například o projektech, spolupráci s univerzitami, pedagogické činnosti, výchově doktorandů, popularizaci, vydavatelské činnosti, správě výzkumných infrastruktur, o spolupráci s firmami a podobně. Důležitou součástí je informace o poslání ústavu, charakteristika hlavních výzkumných směrů, SWOT analýza, záměr činnosti na další období a implementace doporučení z minulého hodnocení.

Může být hodnocení zahraničních odborníků v této souvislosti „subjektivní“?

Peer-review hodnocení může být do určité míry subjektivní. Nicméně se ale uskuteční v rámci panelu/komise. Pokud jsou hodnoticí vědci autoritami ve svých oborech a nejsou ve střetu zájmů, je nepravděpodobné, že by se tento faktor výrazně projevil. Důležitá je také skutečnost, že komise budou mít ve druhé fázi k dispozici výsledky fáze první, ve které je hodnocení vzdálenými experty anonymní – autor výstupu nezná hodnoticího experta. Komise také mohou využít bibliometrii, jež má sice omezený význam, ale považujeme ji za objektivní.

Sehraje v tomto cyklu hodnocení svou roli i Strategie AV21, respektive zapojení do jejích programů?

Ano. Jedním z hlavních kritérií je i společenská relevance výstupů v návaznosti na poslání Akademie věd ČR. V tomto ohledu se hodnotí také účast ve Strategii AV21.

Jak využijeme informace z hodnocení pro další rozvoj?

Hodnocení má zkvalitnit výzkum tím, že poskytne detailní informace o týmech a ústavech. Využijí je jednak vedení ústavů, jednak vrcholné orgány Akademie věd ČR, aby uplatnily taková opatření, která povedou ke kvalitě výzkumu i jeho významu pro společnost.

V říjnu 2019 se pro pracoviště uskutečnil informační seminář. Jaké názory a argumenty zazněly? Vyvstaly třeba nějaké obavy z nastavení hodnocení?

Názory kolegů jsou opravdu vstřícné a konstruktivní. Proto se snažíme, abychom si důvěru těchto pracovníků udrželi. Zdůrazňujeme, že hodnocení není v žádném případě nástrojem razantních změn, že není potřeba se ho jakkoli obávat. U některých zástupců obavy samozřejmě vyvstávají. Například, jak se budou hodnotit výstupy v jiných jazycích – třeba v němčině, francouzštině a dalších. Tým, který hodnocení provádí, ale bezpochyby udělá vše, aby zajistil kvalitní recenze pro všechny přihlášené výstupy nehledě na jazyk. Samozřejmě se to vždy nemusí podařit, půjde ale o výjimky.

Čeho se dotazy zástupců pracovišť ještě týkaly?

Třeba také počtu přihlašovaných výstupů do první fáze, ve které je dána horní hranice – určena je obory, ve kterých je vysoká publikační frekvence. Doporučujeme proto přihlašovat spíše menší počet výstupů, ale kvalitních, které mají dobrou šanci získat nejlepší známky. Oborová komise bude mít k dispozici přehled o všech týmech a výsledcích přihlášených do daného oboru. Jednotlivým týmům bude známo, kolika nejlepších výsledků dosáhli, ale také jaká byla průměrná známka. Proto není vhodné přihlašovat co nejvíce výstupů, ale volit vhodný kompromis mezi jejich počtem a kvalitou.

A co hodnocení podílu týmu na přihlášeném výstupu?

Tento parametr nevstupuje do první fáze, ve které chceme, aby experti zhodnotili kvalitu – podíly nehodnotí. Ve druhé fázi budou mít komise k dispozici úplnou informaci o všech výstupech. Tedy například informaci o typu spolupráce, a to včetně agregované podoby – třeba zpracování počtu výstupů s nejlepšími známkami, které mají domácího korespondujícího autora v oborech, kde to je relevantní. Před návštěvami komisí se uskuteční setkání s jejich předsedy, budeme diskutovat potřeby daného oboru a pokusíme se předsedům v rámci svých možností vyhovět. Co se týče podílu týmu na výstupech, může stejný výstup předložit více týmů. Podíl je ale vhodné řádně zdůvodnit. Nedoporučujeme proto přihlašovat výstupy, ve kterých je podíl týmu okrajový, například jeden autor z mnoha, nebo nejasný, kdy mají autoři u svého jména připojeno více výzkumných organizací.

Co nového přinese Metodika 17+?

Jde o nový způsob hodnocení, který nahrazuje kafemlejnek. Odpovídá obecně přijatým požadavkům na kvalitní hodnocení. Tedy kombinaci peer-review a bibliometrie, provádí se oborově. Takzvané „škálování“, tedy dělení výzkumných organizací do čtyř kategorií podle kvality jejich výzkumu, provádí takzvaná tripartita – zástupci poskytovatele, Úřadu vlády a předsedové hodnoticích panelů. Výsledek se předá poskytovateli, který určí, jak jej zohlední při dělení financí mezi své organizace. Přihlédnout může ještě k dalším okolnostem či výsledkům vlastního hodnocení.

Článek vyšel v aktuálním čísle měsíčníku Akademie věd AB Akademický bulletin, které najdete zde.

 

Zdroj: Akademie věd ČR

Foto: Jana Plavec