V minulém příspěvku jsem nastínil, že ex-ante hodnocení programů výzkumu, vývoje a inovací (VaVaI) je v českém prostředí často pojímáno spíše jako nějaká oponentura návrhu programu. S touto praxí bych chtěl dnes polemizovat a ukázat, že ex-ante evaluaci je vhodnější chápat jako proces, který doprovází celý průběh tvorby programu VaVaI.
Východiska pro ex-ante hodnocení v ČR
Hlavními důvody, proč je ex-ante evaluace vnímána jako oponentura návrhu programu, mohou být nízké povědomí některých poskytovatelů účelové podpory o ex-ante evaluacích či skutečnost, že tato evaluace není dostatečně vysvětlena v závazných národních dokumentech. Základní principy přípravy a hodnocení programů a skupin grantových projektů výzkumu, vývoje a inovací sice uvádějí základní oblasti a evaluační otázky, na něž se má hodnocení zaměřit, ale blíže tento druh evaluace nerozebírají. Bez bližšího vysvětlení mohou být tyto evaluační otázky chápány spíše jako kritéria pro oponenturu návrhu programu.
Pro poskytovatele není dostatečně vysvětlující ani Postup Rady při hodnocení návrhů programů účelové podpory a skupin grantových projektů, který schválila Rada pro výzkum, vývoj a inovace (RVVI) na svém 351. zasedání dne 29.11.2019. Před předložením návrhu programu RVVI doporučuje vypracování dvou nezávislých hodnocení. Následně v průběhu celého projednávání a schvalování návrhu programu RVVI je provedeno ještě hodnocení návrhu RVVI, vytvoření druhé verze návrhu programu, další projednávání a hodnocení RVVI, vytvoření třetí verze návrhu programu, následuje další projednávání RVVI a vydání příslušného stanoviska a konečně vytvoření čtvrté verze návrhu programu, která postoupí do meziresortního připomínkového řízení. Pro hodnocení návrhu programů je stanovena řada formálních kritérií, které má návrh programu splňovat.
Vypracování tohoto postupu bylo vedeno snahou RVVI zkvalitnit návrhy programů a zefektivnit proces projednávání návrhu programu, což je velmi záslužný čin. Nicméně je otázkou, zda ve stávající podobě a za stávajících podmínek opravdu přispěje ke zkvalitnění návrhu. Výčet formálních kritérií může na poskytovatele působit dosti děsivě a spíše je vést k tomu, aby se soustředili na jejich formální splnění než na skutečné zkvalitnění návrhu programu. Zmínka o dvou nezávislých posudcích může poskytovatele navádět, aby evaluaci pojímali více jako oponenturu, v níž budou sledována stanovená formální kritéria. Další otázkou je, zda opravdu může dojít k zefektivnění projednávání návrhu programu, zda popsaný proces není příliš zdlouhavý a náročný pro všechny participující strany.
Pokud jsou ex-ante evaluace prováděny kvalitně dle standardů obvyklých v zahraničí, chápány a využívány jako nástroj pro zkvalitnění a zefektivnění programu, je celý proces navržený RVVI příliš komplikovaný. Podívejme se, co jsou dle zahraničních standardů ex-ante evaluace a jak by chápání ex-ante evaluací jako procesu celé projednávání a schvalování návrhu programu mohlo urychlit, resp. zefektivnit.
Co je ex-ante hodnocení a proč se dělá?
Důvod, proč se tato evaluace provádí, je poměrně prostý, přesto zásadní. Spočívá v optimalizaci zaměření programu ve vztahu k identifikovanému problému (tématu, na který program reaguje) a stanoveným finančním prostředkům. Ex-ante evaluace je pojímána jako zpětná vazba pro poskytovatele (tvůrce programu) vedoucí k celkovému zkvalitnění návrhu programu, zvýšení pravděpodobnosti dosažení cílů programu a vyřešení stanoveného problému při současném zajištění efektivity vynaložených prostředků. Používá stejné kvalitativní a kvantitativní metody jako ostatní druhy evaluace, avšak oproti nim je více zaměřena do budoucnosti. Predikuje budoucí vývoj a možnosti splnění cílů programu.
Výstupy ex-ante evaluace mohou dosahovat různých forem. Nejen obvyklých evaluačních zpráv, ale také různých analýz či studií proveditelnosti, které v sobě zahrnují prvek hodnocení a doporučení. Každopádně nejsou oponentským posudkem. Od něj se liší použitým metodologickým rámcem, hloubkou hodnocení a zejména stanovením příslušných doporučení.
Ex-ante hodnocení jako proces
Aby ex-ante hodnocení skutečně přispělo ke zkvalitnění programu, je vhodnější pojímat jej jako proces, jako konstruktivní diskusi mezi hodnotiteli a poskytovateli (tvůrci programu), která vede k výběru a aplikaci vhodných řešení a jejich náležitému zdůvodnění. Je to proces, který probíhá od začátku přípravy až po finalizaci návrhu programu. Lze jej rozdělit do několika samostatných a logicky oddělených částí, které odpovídají jednotlivým etapám přípravy programu. První částí může být hodnocení východisek programu, které spočívá ve zhodnocení podkladových analýz a potřeb programu. Druhá část může být věnována zhodnocení navržené intervenční logiky včetně vymezených finančních zdrojů. Třetí část hodnocení se může zabývat zhodnocením způsobu implementace programu, hodnocení a výběru projektů, monitorování a evaluace programu.
Klíčovými aspekty ex-ante hodnocení jako procesu jsou kontinuální průběh hodnocení a participativní přístup. Hodnocení tedy není jednorázovým zhodnocením výsledků jednotlivých etap přípravy programu, ale průběžnými hodnoceními a konzultacemi nad návrhy tvůrců programu a průběžným zapracováváním vzešlých připomínek a doporučení. Participativní přístup spočívá v zapojení klíčových aktérů, jakými jsou např. zástupci významných organizací, podniků, ale i potenciálních uživatelů výsledků, do procesu hodnocení. Jejich zapojení do procesu hodnocení zlepší transparentnost přípravy a hodnocení programu, napomůže ztotožnění participujících expertů s navrženým programem a v důsledku omezí následné připomínky a kritiku programu a tedy i přispěje k rychlejšímu schvalování programu.
Co je výstupem a výsledkem ex-ante hodnocení jako procesu?
Obvyklým výsledkem ex-ante evaluací bývá evaluační zpráva, v níž jsou zodpovězeny jednotlivé evaluační otázky a navržena příslušná doporučení. A je jen na tvůrci programu, zda je využije. Výsledek ex-ante hodnocení jako procesu je však odlišný. Evaluační zpráva je výstupem nikoliv výsledkem. Hlavním výsledkem je totiž kvalitně připravený program, který správně reaguje na zjištěný problém, a který již může být schválen bez zdlouhavého řízení.
Evaluační zpráva obsahuje popis celého hodnotícího procesu včetně zhodnocení navržených a diskutovaných variant a zapracovaných či nezapracovaných doporučení. Významnou částí evaluační zprávy je také analýza, predikce očekávaného vývoje programu, očekávaných výsledků a dopadů, zvláště jejich identifikace. Taková evaluační zpráva je východiskem pro další, návazné evaluace.
Jak aplikovat tento přístup v ČR?
Tento přístup se jistě může setkat se značnou kritikou. V porovnání se současnou praxí lze namítnout, že nastíněný proces je příliš administrativně a časově náročný a také drahý. Avšak vzhledem k tomu, že současná praxe je často bližší spíše oponentuře než evaluaci a je motivována potřebou spíše splnit formální požadavky než získat užitečný nástroj, bude pro poskytovatele (tvůrce programu) náročnější každý přístup, tedy i „klasická“ evaluace již hotového návrhu programu.
Oproti „klasické“ evaluaci však tento přístup výrazně náročnější není. Evaluátor musí být vybrán v každém případě, stejně tak je třeba celou evaluaci administrovat, koordinovat a diskutovat s evaluátorem dosažené výsledky a doporučení. Jeho nespornou předností je, že urychlí proces přípravy, projednávání a schvalování programu. Připomínky a doporučení jsou zapracovávány průběžně, po ukončení přípravy návrhu programu není třeba čekat na výsledek evaluace a podle něj program upravovat, případně program diskutovat s klíčovými subjekty. Poznámka vyšších nákladů uvažuje jen náklady na vlastní evaluaci, nikoliv skutečné náklady vynaložené na celý proces přípravy, evaluace a schvalování programu, které rostou s délkou a komplikovaností schvalovacího procesu.
Při využití tohoto přístupu v ČR by bylo vhodné, aby byl zpravodaj RVVI jmenován již na začátku přípravy programu, byl zapojen do celého procesu evaluace a v souladu s průběhem evaluace se vyjadřoval k dílčím zjištěním, návrhům a doporučením. Současně by informoval RVVI o průběhu přípravy programu a výsledcích evaluace. Do evaluačního procesu by přinášel připomínky RVVI a dohlížel by také nad dodržováním pravidel stanovených RVVI. Po ukončení přípravy návrhu programu by program mohl být bez zdlouhavého projednávání schválen RVVI a předložen do připomínkového řízení.
Tento přístup ex-ante evaluace může některým pracovníkům poskytovatelům a členům systému řízení připadat jako nereálný, protože celý systém přece funguje úplně jinak. Jistě, to ale není důvod, proč se jej nesnažit kultivovat. Vždyť i výše uvedený doporučený postup RVVI je snahou o zlepšení systému a zkvalitnění programů. Svým výčtem formálních kritérií však na poskytovatele může působit spíše direktivně. Nabízí se otázka, zda by nebylo vhodnější šířit mezi poskytovateli osvětu o účelu a přínosech evaluací a soustředit se také na poskytování metodické podpory při tvorbě programů a jejich evaluacích.
Autor: Vladislav Čadil
Čtěte také první dva díly seriálu o hodnocení programů VaVaI zde a zde.
