Mýty a omyly hodnocení programů VaVaI

Evaluace programů výzkumu, vývoje a inovací (VaVaI) je tématem, které stále vzbuzuje obavy mnohých pracovníků poskytovatelů účelové podpory VaVaI, ačkoliv není tématem nijak novým, neznámým či vynuceným nad rámec příslušných zákonů v oblasti poskytování podpory VaVaI. Vždyť stávající zákon č. 130/2002 Sb., který poskytovatelům ukládá povinnost evaluovat své programy, platí přes několik novel již 18 let.

Přestože se nejedná o nové téma, stále je možné se u některých kompetentních pracovníků na různých úrovních systému řízení VaVaI setkat s celou řadou mýtů a mylných názorů ohledně evaluace programů VaVaI. V tomto příspěvku bych chtěl na základě vlastních zkušeností s evaluacemi na tyto zavádějící názory reagovat a naznačit, že evaluace nejsou kladivem na poskytovatele, ani jejich noční můrou, ale užitečným nástrojem, který mohou využít pro zefektivnění svých programů i celého procesu jejich administrace. Je koncipován jako první z připravované krátké série věnované evaluacím programů VaVaI.

Jsem si vědom toho, že mezi poskytovateli, mezi jejich pracovníky a dalšími členy systému řízení VaVaI jsou značné rozdíly ve znalosti evaluací a jejich využívání. Někteří jistě budou informace obsažené v tomto článku považovat za zcela samozřejmé a článek pro ně bude představovat příslovečné nošení sov do Atén. V takovém případě nechť mi laskavý čtenář promine. Avšak doufám, že i přesto zde najde nějaké podnětné postřehy.

Podívejme se, s jakými mýty a omyly se můžeme setkat při diskusích s poskytovateli a dalšími členy systému řízení VaVaI ohledně evaluací programů VaVaI:

• Nepotřebujeme evaluovat naše programy, protože v souladu se zákonem provádíme průběžné kontroly podpořených projektů a v ročních zprávách o realizaci projektů sledujeme, zda dosahují výsledků, k nimž se zavázali v návrhu projektu.
• Proč je máme provádět? Protože si to vymyslela RVVI?
• Evaluovat je snadné. Udělat pár tabulek a grafů dokáže každý.
• Evaluacím nerozumíme, nevíme jak na ně. Chybí nám metodika.
• Evaluace nemusíme zadávat nezávislému evaluátorovi, provádíme je sami.
• Evaluace provádí odborný poradní orgán programu.
• Výsledky a závěry evaluací musí být pozitivní. Program přeci realizujeme v dobrém úmyslu a s nejvyšším možným nasazením.
• Nevíme, jak s výsledky a doporučeními naložit. Potřebujeme podrobný popis implementace navržených doporučení.
• Výsledky evaluací jsou neveřejné. Zveřejníme jen závěry, které jsou pro nás příznivé.

Snadno tedy nahlédneme, že zmíněným subjektům či pracovníkům stále není zcela jasné, co jsou evaluace, proč a kdo je má provádět, co je jejich výsledkem, a jak s ním nakládat.

Evaluace? A proč?

Nejprve je vhodné si říci, co jsou a co nejsou evaluace programů VaVaI. Je zřejmé, že dochází k záměně evaluací programů s jejich monitorováním, případně s průběžným hodnocením projektů a kontrolní činností. Evaluace programů nejsou kontrolou plnění cílů projektu, včetně kontroly čerpání a využívání podpory, účelnosti vynaložených nákladů projektu podle uzavřené smlouvy o poskytnutí podpory, jak stanovuje odst. 1 § 13 zákona č. 130/2002 Sb., ani zhodnocením dosažení cílů ukončeného projektu dle odst. 4 téhož paragrafu. Podobně evaluace programů nelze směšovat s jejich monitorováním. Cílem monitorování je průběžné sledování stavu a postupu realizace programu na základě vývoje hodnot stanovených monitorovacích ukazatelů. Informuje tedy poskytovatele, zda realizace programu a projektů probíhá v souladu se stanoveným plánem.

Jestliže poskytovatelé provádějí zákonem stanovené kontroly i monitorování programu, může jim evaluace připadat jako nadbytečná činnost, která jen zvyšuje administrativní zátěž, ale nic nového nepřináší. Pokud poskytovatel k evaluacím přistupuje pouze formálně jako k vynucené aktivitě, tak je to, nutno podotknout, pravda. Evaluaci je však třeba chápat odlišně, zejména jako nástroj k porozumění programu VaVaI a jeho procesům tak, jak probíhají v realitě, identifikovat a vysvětlit, proč program funguje, nebo naopak selhává, a v neposlední řadě odhalit jejich přínosy a příslušné kauzální vztahy mezi vstupy (tj. podporou z veřejných zdrojů), výstupy, výsledky a dopady. V takovém případě je evaluace nástrojem, který přispívá k efektivnímu využití veřejných zdrojů, a to v době přípravy i realizace programu.

Evaluace nejsou nějakým výmyslem RVVI. V zemích s vyspělou evaluační kulturou se používají již několik desetiletí a staly se samozřejmou součástí přípravy a realizace programů a jiných nástrojů podpory VaVaI. Evaluace poskytují strategické informace o průběhu a výsledcích programu. Jestliže má být politika, resp. podpora VaVaI založena na důkazech, informacích (tzv. evidence-based policy), nelze evaluace chápat jako něco samoúčelného, bezvýznamného či vnuceného vnějšími subjekty, nýbrž právě jako jejich klíčový zdroj.

Evaluovat je snadné! Ne, neumíme!

Odborná náročnost evaluací bývá jednak bagatelizována, jednak vyvolává mírné zděšení, jako něco složitého a metodologicky obtížně uchopitelného. V případě bagatelizace se projevuje již zmíněné zaměňování evaluací s monitorováním. Kompetentní pracovníci mnohdy žijí v přesvědčení, že evaluace spočívá ve vytvoření jednoduchých tabulek a grafů z dat získaných z Informačního systému výzkumu, vývoje a inovací (IS VaVaI) a sepsání příslušných komentářů. Případně je evaluace chápána jako nějaká oponentura, podobně jako např. hodnocení disertačních prací, projektových návrhů či závěrečných projektových zpráv. Výsledkem je pak dvoustránkový přehled pozitiv a negativ.

Druhý případ vnímání náročnosti evaluací vyplývá z komplexity evaluovaného tématu, kterou je třeba rozkrýt, a široké škály používaných evaluačních přístupů a metod. Evaluace vyžaduje dobrou znalost evaluované problematiky i fungování systému VaVaI a současně kvalitativních a kvantitativních metod využívaných ve společenských vědách. Dále je vhodný jistý odstup od evaluované problematiky, aby nenastala situace, kdy evaluátor zahlcený detailními, parciálními informacemi a rutinní agendou spojenou s implementací programu přes stromy neviděl les.

Snahou některých poskytovatelů je provádět evaluace vlastními silami. To je samozřejmě možné. Vlastní pracovníci např. mohou provádět různé ad-hoc evaluace v průběhu realizace programů, kdy by zajištění externí evaluace bylo časově náročné. Systematické provádění evaluací vlastními pracovníky však naráží na objektivitu, nezávislost a tedy kredibilitu evaluace. Ačkoliv vlastní evaluátor či evaluační jednotka může být organizačně nezávislá na útvarech připravujících a realizujících programy, vždy vyvstává riziko nízké objektivity a nezávislosti hodnocení. V zahraničí je běžné zapojení vlastních pracovníků do evaluací, kteří jednak připravují zadání evaluací a v průběhu jejich realizace např. připravují data, zajišťují kontakty apod., ale obvykle se nepodílejí na formulaci závěrů a doporučení.

Někteří poskytovatelé říkají, že nepotřebují externí evaluátory pro závěrečné hodnocení programu, protože to provádí nezávislý poradní orgán, tedy rada programu. Ta se dle zákona č. 130/2002 Sb., § 21, odst. 4 a 6 věnuje hodnocení návrhů projektů. Poskytovatel jistě může rozšířit její kompetence nad zákonem daný rámec. Avšak v případě zapojení tohoto orgánu do hodnocení programů vzniká konflikt zájmů, kdy tento orgán v rámci hodnocení programu v podstatě hodnotí svoji dosavadní činnost (tj. potvrdí svůj výběr projektů i jejich průběžné a závěrečné hodnocení). Z tohoto důvodu by tento orgán měl být spíše předmětem hodnocení nikoliv subjektem, který hodnotí.

Častým nářkem mnohých poskytovatelů je, že nemají příslušnou metodiku, podle níž by měli postupovat a programy hodnotit. Chtěli by jasný, konkrétní návod, který by krok za krokem popisoval, co přesně mají dělat. Zde ovšem vyvstávají dvě úskalí. V prvé řadě jde o to, že vzhledem ke specifičnosti jednotlivých programů není možné vytvořit konkrétní metodiku využitelnou pro všechny programy. I v zahraničí existují pouze obecné rámce pro hodnocení programů, které určují základní pravidla pro hodnocení, podle nichž je pro každý program vytvořena specifická metodika hodnocení. Za druhé, existence takové metodiky by opět vedla k tomu, že by se poskytovatelé příliš zabývali splněním formálních náležitostí daných metodikou hodnocení.

Poskytovatelé mají postupovat dle závazného dokumentu „Základní principy přípravy a hodnocení programů a skupin grantových projektů výzkumu, vývoje a inovací“. Ten ale nelze považovat za nějaký návodný dokument či metodický rámec pro hodnocení programů. Neuvádí, jakým způsobem mají poskytovatelé k evaluacím přistupovat, ale jen oblasti, na něž se mají evaluace zaměřit. Stížnosti poskytovatelů na nedostatek metodických dokumentů však nejsou opodstatněné. V rámci IPN Metodika byl např. vypracován Návrh obecných zásad hodnocení programů účelové podpory výzkumu, vývoje a inovací a potřebných systémových změn. Jistě, i ten má některé nedostatky, např. nedostatečně rozpracovává jednotlivé druhy evaluací. Ty jsou přehledně charakterizovány např. v metodickém dokumentu Návrh využití referenčního modelu TAFTIE pro hodnocení účelové podpory výzkumu a experimentálního vývoje v podmínkách České republiky, který vypracovala TA ČR. Dalšími metodickými dokumenty jsou také materiály Technologického centra AV ČR (například tento). Podle těchto dokumentů již lze vytvořit metodiku hodnocení pro specifické programy VaVaI.

 

V pokračování tohoto příspěvku se podíváme na to, proč není nutné obávat se negativních zjištění evaluací a jak nakládat s výsledky tak, aby přispěly ke zkvalitnění a zefektivnění nástrojů podpory VaVaI.

 

Autor: Vladislav Čadil, Technologické centrum AV ČR