Co vám práce v poradních orgánech GA ČR dala?
Především zkušenost, ke které se při běžné vědecké práci na domácím pracovišti nedostanete. Jednak vidíte fungování celého procesu zevnitř, a můžete si tak trochu poupravit svá původní očekávání, jednak se setkáte s velkým množstvím různých návrhů, často vynikajících, jindy naopak s chybami, kterých se člověk často při psaní projektu sám dopouští, aniž by si to uvědomil. Pro získání představ o tom, jak by měl vypadat dobře sestavený projekt, je to tedy ideální příležitost.
Posuzování témat v širší části oboru přináší možnost zbavit se úzce zacíleného pohledu, kterým běžně hodnotíte články nebo práce ve své odbornosti, podívat se na jednotlivá témata komplexněji, a nakonec zasadit i svůj vlastní výzkum do širších souvislostí. Setkávání se s řadou skvělých odborníků je už takový bonus. Byť se názory často dosti liší, je taková diskuze vždy obohacující.
V čem spočívá práce člena nebo členky panelu? Jak je náročná?
Obecně lze říci, že práce je spíše nárazového charakteru, to znamená intenzivní činnost související s posuzováním návrhů především na jaře a částečně na podzim, méně práce v zimním období, kdy se hodnotí probíhající projekty.
Nejnáročnější je jarní fáze, kdy se poprvé posuzují návrhy přihlášené do jednotlivých soutěží. Počet hodnocených návrhů se v jednotlivých panelech liší, u nás je to obvykle okolo 35 návrhů na jednoho člena, z nichž přibližně k polovině píše posudek (jako hlavní nebo vedlejší zpravodaj), k polovině přiřazuje pouze hodnocení A, B nebo C. Lhůta pro vypracování posudků se pohybuje okolo jednoho měsíce. Tato fáze vyžaduje pečlivé pročtení a porovnání různých aspektů jednotlivých návrhů, v případě zpravodajů vyhotovení posudku dle předem daného formuláře. Po ukončení hodnocení je sestaveno pořadí projektů, které je podkladem pro následné jednání panelu o vyřazení návrhů v první fázi.
K projektům, které procházejí do další fáze, tedy k zahraničním recenzím, je třeba zajistit nejméně dva posudky od zahraničních odborníků. Hlavní a vedlejší zpravodajové u každého projektu vybírají vhodné kandidáty na vypracování posudků, kteří jsou následně oslovováni Kanceláří GA ČR. U některých návrhů se to podaří hned v prvním kole, u dalších musíme hledat mnohem déle.
Po uzavření fáze hodnocení ze zahraničí máme další měsíc na pročtení a porovnání všech návrhů, včetně jejich posudků, a udělení konečného hodnocení A, B nebo C. Každý projekt tak získá hodnocení od všech členů panelu, kteří s ním nejsou ve střetu zájmů a je generováno předběžné pořadí jako podklad k jednání panelu. Toto pořadí není samozřejmě konečné a jednotlivé projekty je po diskuzi a hlasování možné v žebříčku posouvat. Další postup už je potom na oborové komisi a předsednictvu agentury.
V zimním období jsou hodnoceny dílčí a závěrečné zprávy projektů, a to hlavními a vedlejšími zpravodaji. Počet posuzovaných projektů se pohybuje u každého člena v jednotkách. Tato zimní etapa je tedy podstatně časově komfortnější.
Jste místopředsedkyní oborové komise GA ČR a předsedkyní panelu GA ČR. Jaká je vaše úloha v hodnoticím procesu GA ČR?
Hlavní část agendy je stejná jako u ostatních členů panelu, tedy hodnocení návrhů projektů a průběhu řešení již běžících projektů. Na počátku hodnoticího procesu předseda panelu přiřazuje spolu s místopředsedou jednotlivé projekty hlavním zpravodajům, tedy členům panelu, kteří by měli mít k dané problematice svou odborností nejblíže.
Dále moderuje diskuze a řídí hlasování na zasedáních panelu. Tomu samozřejmě předchází podrobnější seznámení se s jednotlivými návrhy a příprava jednání. Ta jsou v průběhu roku celkem čtyři. Dvě se týkají hodnocení návrhů projektů, dvě pak již probíhajících projektů, kdy se posuzují průběžné a závěrečné zprávy.
Předseda i místopředseda panelu se po každém z těchto setkání účastní ještě navazujících zasedání oborové komise, která sdružuje několik příbuzných panelů. Zde dochází k celkovému porovnání jednotlivých návrhů a sestavení konečného pořadí na základě hlasování. V případě již probíhajících projektů oborová komise uzavře hodnocení řešení.
Role místopředsedy, a to jak v panelu, tak na oborové komisi, spočívá především v zastupování předsedy. Běžně se tak děje v případě, kdy se řeší projekt, se kterým je předseda ve střetu zájmů. Dále se jedná o vedení celého zasedání v případě nepřítomnosti předsedy.
Jak se pozná kvalitní návrh projektu?
Těch aspektů je celá řada, hodnotí se různé složky projektu dle daných kritérií. Základem je samozřejmě dobrý nápad, vycházející ze současného stavu poznání, který má potenciál posunout studovanou problematiku dál, a to i na mezinárodní úrovni. Aktuálnost projektu, proč je výzkum zásadní, co přinese v kontextu současných výzev, toto všechno je třeba v návrhu dobře argumentovat.
Nicméně odmítnout jsme museli i řadu inovativních návrhů s nedotaženou metodikou, těžko splnitelnými cíli či nevhodným personálním zajištěním. Je to tedy především vyvážená kombinace originality, promyšlené metodiky, správně nastavených cílů (tedy ambiciózních, ale v daném časovém rámci splnitelných) a praktických aspektů, jako jsou dostatečně vysvětlené finance a vyvážený tým, která ukazuje na kvalitně připravený text.
Návrh by měl být přímočarý, logicky strukturovaný a srozumitelný – kvalitu snižují i formální nedostatky. Plánované postupy by měly být provázané s cíli (tedy co, jak a proč právě takto) a popsané, včetně informací praktického rázu, aby bylo možné zhodnotit důvodnost finančních požadavků. S náročností cílů vždy musí korespondovat jednak časové rozvržení jednotlivých úkonů, jednak složení týmu – občas je tým velmi úzký, a existuje tedy riziko, že se nepodaří projekt zcela naplnit, někdy je naopak projekt personálně příliš štědrý a jeho náročnost neodpovídá počtu plánovaných úvazků.
Tím se dostáváme k navrhovateli a složení týmu. Osoba navrhovatele je pochopitelně důležitá – hodnotí se řada složek připravenosti k řešení projektu, včetně scientometrie (zde nejde jen o počet publikací a h-index, ale zejména o jejich kvalitu a podíl navrhovatele na jejich přípravě), předchozího zapojení do projektů, postavení ve vědecké komunitě a dalších. Aktuální vědecká „kondice“ navrhovatele (týmu) by se pak měla odrazit i v ambicích projektu – včetně těch publikačních.
Je důležité poznamenat, že všechny tyto aspekty se vždy hodnotí vzhledem k délce vědecké kariéry – jiné nároky jsou tedy kladeny na mladé badatele či vědkyně s několika lety na rodičovské dovolené na jedné straně a ostřílené vědce s dlouholetou praxí na straně druhé.
Jak je těžké udělat dělicí čáru mezi postupujícími a nepostupujícími návrhy projektů?
Dosti náročné to bylo již v předchozích letech – těch skutečně nepovedených návrhů je v celém hodnoceném souboru minimum, tedy alespoň pokud hovořím za náš panel. Od letoška je to ještě obtížnější, protože do další fáze postupuje pouze polovina návrhů, na rozdíl od dvou třetin v minulosti. Čili odmítnout musíme i poměrně kvalitní návrhy, které by v minulých letech prošly k zahraničním recenzím.
Všechny návrhy okolo této pomyslné dělicí čáry jsou podrobeny diskuzi a vzájemnému porovnávání na prvním zasedání panelu. Často se jedná o návrhy s rozdílným hodnocením od jednotlivých panelistů. Argumentace kvalit a nedostatků těchto studií je proto velmi podrobná a výsledná pozice návrhu je vždy výsledkem hlasování všech členů panelu, kteří nejsou s daným projektem ve střetu zájmů. Přesto je toto asi nejméně příjemná část celého procesu, kdy musíme rozhodovat o návrzích podobné úrovně, často i velmi zajímavých, a jen některé z nich poslat do další fáze.
Někteří vědci považují hodnoticí proces za netransparentní. Čím si myslíte, že by to mohlo být?
Tento problém má asi celou řadu aspektů. Týkají se hodnoticího procesu a pak i samotných posudků. Co se týče pravidel zveřejňování informací o průběhu a výsledku hodnocení, to probíhá dle příslušných zákonů, jejichž nastavení nejsem schopna relevantně posoudit. Jednotlivé kroky hodnoticího procesu a kritéria hodnocení jsou dále shrnuty v podrobném popisu na stránkách agentury.
Poskytnu tedy spíše subjektivní pocity. Největší obavy navrhovatelů se týkají především faktu, že panely jsou složeny ze zástupců domácích vědeckých institucí, což může teoreticky vést k jisté neobjektivitě, například zvýhodňování některých pracovišť, či naopak znevýhodnění konkurence. Musím říct, že i pro mě bylo jednou z hlavních motivací k podání přihlášky do GA ČR podívat se na fungování tohoto systému zblízka. Zde tedy několik postřehů po čtyřech letech mého působení.
Hodnoticí systém není jistě zcela dokonalý, v rámci panelů a oborových komisí je ostatně možné předkládat (a také se tak děje) různé podněty ke zlepšení fungování celého procesu, se kterými dále pracuje předsednictvo agentury. Nabízí a diskutují se různé možnosti, jak zajistit co nejvyšší míru nestrannosti. U těchto ideálních řešení je bohužel nutné si uvědomit, že se pohybujeme v mezích aktuálně možného, a často tak narážíme na omezení finanční a personální. To platí například pro ustavení panelů ze zahraničních odborníků, kteří by hodnotili všechny granty, jako to nyní činí české panely.
Dále se otevírá možnost hodnotit pouze anonymní návrh projektu, což by teoreticky snižovalo nebezpečí jistého klientelismu. Z vlastní zkušenosti ale mohu říct, že posoudit kvalitu návrhu, jeho realizovatelnost, ambicióznost cílů a plánovaných postupů není bez znalosti týmu a zázemí pracoviště příliš reálné a myslím ani žádoucí.
K případnému ovlivňování hodnocení mohu pouze poznamenat, že mechanismy týkající se střetů zájmů a možnosti zasáhnout do posuzování grantu svého, svého pracoviště či spolupracovníka jsou nastaveny dostatečně a jsou opravdu důsledně dodržovány. Návrhy panelistů jsou dále hodnoceny nezávislým zahraničním posuzovatelem, který má možnost porovnat jejich kvalitu s ostatními projekty a doporučit posun v pořadí. Jakékoliv neetické jednání v průběhu samotných zasedání je těžko představitelné, pravidelně je navíc přítomen i člen kontrolní komise. Výhodu člena panelu (ať už současného, či minulého) vidím hlavně v tom, že mu pod rukama projdou během několika let stovky projektů.
A co se týká posudků?
To, co jsem já osobně občas negativně pociťovala při obdržení hodnocení svých návrhů, byly jednak nesoulad jednotlivých hodnocení, jednak jakási nejednoznačnost či nižší obsažnost některých recenzí.
Odlišným posudkům, byť mohou působit poměrně zvláštně, se nedá zcela vyhnout, protože, ačkoliv jsou jasně daná pravidla a kritéria jak hodnotit, návrhy prostě posuzují lidé a každému se v textu líbí či nelíbí něco trochu jiného, ať už jde o zásadnost a aktuálnost tématu, strukturu textu či výběr postupů. Úkolem panelu je ale tyto pohledy diskutovat, sjednotit a pokud možno co nejpodrobněji vysvětlit v závěrečném hodnocení projektu, které je navrhovatelům k dispozici.
Totéž platí u zahraničních recenzí – ty jsou často příznivější než posudky domácí, což opět vyvolává dojem jisté neobjektivity i jakousi trpkost, když zahraniční odborník, který se problematice přímo věnuje, hodnotí lépe než člen panelu. Musíme si ale uvědomit, že zahraniční recenzent vidí pouze hodnocený projekt a neporovnává ho s dalšími návrhy, nemá žádné kvóty na určitý typ hodnocení. Tedy ani doporučující zahraniční posudky nemusí ve výsledku na financování stačit, protože podobně kladné recenze mají i další návrhy.
Pokud jde o ten druhý problém, tedy obsahovou náplň a konkrétnost posudků: opravdu nápomocné je hodnocení, které přímo pojmenuje problémy návrhu a na které může navrhovatel reagovat při případném přepracování textu. Totéž samozřejmě platí i pro závěrečné hodnocení projektu, které vypracovává hlavní zpravodaj a kde by se měly objevit i argumenty, které nejsou součástí posudků, ale padly při diskuzi v panelu. Zde je jistý prostor pro zlepšení.
Ale musím se nás v tomto ohledu i trochu zastat: někdy skutečně nic výrazně závadného neidentifikujete, a projekt přesto neskončí na financované pozici, protože při vzájemném porovnání byly některé návrhy hodnoceny jako zásadnější, s větším vědeckým potenciálem. Zde si lze jen povzdechnout, že podpořených návrhů není více.
Jak lze kombinovat výzkum, rodinu a členství v panelu GA ČR? Máte podporu od svého zaměstnavatele?
Lze to, členek i členů s malými dětmi a vlastním výzkumem je v panelech více a zvládají to myslím dobře. Kritická je hlavně jarní fáze, a to především v prvním roce, kdy člověk ještě úplně neví, jak si práci zorganizovat. V tomto období také bývá souběh s dalšími činnostmi na fakultě, tedy s různými terénními výjezdy, zkoušením atd. Ostatní části hodnocení již nejsou zdaleka tak zatěžující, ale ochotní prarodiče jsou samozřejmě výhodou vždy. Podpora zaměstnavatele je v mém případě myslím příkladná.
Co byste doporučila novým členům panelů a vědcům, kteří zvažují nominaci?
V prvé řadě rozmyslet si, zda jsem ochotný a schopný, nad rámec svých dalších pracovních povinností, přijmout časově relativně náročnou činnost. Vůle věnovat se tomu poctivě je asi zásadní.
Jinak kromě podrobných zásad a kritérií správného hodnocení, které uslyšíte na počátečním školení a pak ještě určitě několikrát, jen pár drobností. Fakt, že hodnotíte návrhy mimo svůj úsek oboru, může být zprvu znepokojivý, ale z vlastní zkušenosti mohu potvrdit, že kvality a nedostatky lze rozpoznat i v textu, který se vaší expertízy dotýká pouze částečně.
Důležité, ale zároveň náročné, je hodnotit všechny projekty se stejnou mírou podrobnosti – i na sobě pozoruji tendenci být kritičtější k návrhům ze své odbornosti, kde snadněji identifikuji věcné chyby.
Zejména na počátku jsem také trochu zápasila s morálním rozměrem celé situace, tedy že, byť nechtěně, můžete někoho poškodit v celkem důležité věci. Tady asi pomůže zjištění, že jeden posudek, byť negativní, sám o sobě neurčí další osud návrhu. Hodnocení jsou čtyři a konečné rozhodnutí padne až po diskuzi v panelu, kde se dá mnohé korigovat. Nicméně i tak platí, že negativní hodnocení je možné udělovat jen po důkladném rozmyšlení a s jasnou argumentací.
Novým členům tedy přeji mnoho inspirativních návrhů a šťastnou ruku při výběru. Kolegům, kteří zvažují nominaci lze vzkázat, že občas náročná práce je vyvážena jedinečnou zkušeností a snad i dobrým pocitem, že i díky vašemu zapojení lze udržet celý systém funkční, a zajímavým vědeckým myšlenkám se tak dostane podpory.
Staňte se i Vy členem hodnoticího panelu.
Zdroj: Grantová agentura ČR
