Evaluace programů výzkumu, vývoje a inovací stále vzbuzují obavy mnohých pracovníků poskytovatelů účelové podpory a dalších členů systému řízení VaVaI. Proč není nutné se bát negativních zjištění? A jak nakládat s výsledky tak, aby přispěly ke zkvalitnění a zefektivnění nástrojů podpory VaVaI?
V první části tohoto příspěvku jsme se zaměřili na nejčastější mýty a omyly, se kterými se můžeme setkat při diskuzích s poskytovateli a dalšími členy systému řízení VaVaI ohledně evaluací programů VaVaI a vysvětlili jsme, proč není možné připravit jednotnou metodiku, podle níž by měl poskytovatel postupovat a programy hodnotit.
Kritika? To snad ne!
Pokud je evaluace prováděna důsledně (objektivně, nezaujatě) přináší také řadu poznatků o realizaci, výsledcích a přínosech programů, které nemusí být pro poskytovatele vždy pozitivní či příznivě přijímány. Negativní zjištění však není možné automaticky považovat za kritiku programu a jeho poskytovatele. Neznamená, že poskytovatel pochybil, jakkoliv si různé subjekty mohou výsledky evaluace interpretovat různě a v zájmu jisté nevraživosti mezi poskytovateli tyto informace dokonce používat proti sobě. Negativní zjištění totiž mohou pramenit ze skutečností, které v době přípravy a vyhlášení programu nebyly známy, byly systémového charakteru, nebo v průběhu programu došlo ke změnám, které program nemohl ovlivnit.
Otázkou je, k čemu by byla evaluace, která by přinášela jen samá pozitivní zjištění. K tomu, aby se mohl poskytovatel chlubit, jak skvělé a tedy nepostradatelné jsou realizované programy? Je účelem evaluací legitimizovat poskytovatele a jeho programy? To je jednou z úloh evaluací. Neznamená to ale, že program, jeho výsledky a dopadu musí být absolutně pozitivní. Naopak, negativní zjištění jsou klíčovým vstupem pro stanovení doporučení pro návazné programy i zefektivnění systému jejich implementace (jsou klíčovým vstupem do procesu učení se poskytovatelů).
Se snahou o pozitivní výsledky evaluací souvisí i možný nátlak na evaluátory, kdy jsou tlačeni k tomu, aby zveličovali pozitiva a naopak bagatelizovali či přímo opomíjeli negativa. Nebo jsou jim některé informace cíleně zamlčovány. Evaluátor však musí být vždy nezávislý, objektivní a jednat podle svého nejlepšího vědomí a svědomí.
Co s tím? Jak to máme realizovat?
V souladu s účelem evaluací by jejich výsledky měly být využity pro zkvalitnění a zefektivnění nástrojů podpory VaVaI případně celého systému poskytování podpory VaVaI. Co to konkrétně znamená? Přibližme si to pro jednotlivé druhy evaluací. V případě evaluací návrhu programu to znamená úpravu intervenční logiky programu, tedy reálné zacílení programu a stanovení podporovaných aktivit, oborů a příjemců tak, aby jejich podpora umožnila splnění cílů programu. Výsledky průběžné evaluace se využívají zejména pro nastavení parametrů následných veřejných soutěží, projektových žádostí a úpravu procesů administrace veřejných soutěží. Evaluace ukončeného programu ukazuje, zda by měly být realizovány podobně zaměřené programy, poskytuje informace pro jejich nastavení a zejména ukazuje, čeho bylo programem dosaženo, a tedy ospravedlňuje celý program.
Jistě můžeme namítnout, že toto je teorie, případně praxe ve vyspělých zemích, ale situace u mnoha našich poskytovatelů je odlišná. Evaluace se často provádějí formálně, aby byly splněny požadavky RVVI či usnesení Vlády ČR. V lepším případě jsou prováděny, protože je třeba ukázat význam programu, zabránit tak zpochybňování jeho užitečnosti a účelnosti rozdělování prostředků programu.
Výsledkem evaluací musí být vždy příslušná doporučení. Avšak někteří poskytovatelé mnohdy nevědí, jak je mají realizovat. Žádají detailní popis jejich implementace. To je však již nad rámec evaluace. Evaluátor by jednak přebíral část zodpovědnosti za realizaci doporučení, čímž by vzala za své jeho nezávislost (v realitě by také navrhoval jen taková doporučení, u kterých je schopen stanovit postup jejich implementace). Jednak by musel mít podrobnou znalost fungování a rozhodovacích procesů poskytovatele, mít tedy znalost, která přísluší poskytovatelům, nikoliv nezávislým vnějším subjektům.
Častým nešvarem je, že zprávy z evaluací nejsou veřejně dostupné na internetových stránkách poskytovatelů, případně poskytovatelé zveřejní jen zkrácenou a politicky korektní verzi zprávy bez negativních zjištění. V zájmu maximální transparentnosti svých aktivit a legitimizace programů by bylo vhodné zveřejňovat výsledky všech evaluací. Jakékoliv rozhodnutí nezveřejňovat výsledky evaluací spíš vyvolává otázky spojené s transparentností a opodstatněním programů a u některých skupin potenciálních žadatelů může vyvolat mírné znepokojení (řeknou si, že program je určen jen pro vyvolené subjekty).
Závěrem
Když jsem před 11 lety v rámci kursu Evaluation of science and innovation policies, který pořádal Manchester Institute of Innovation Research, popisoval způsob evaluace programů v ČR, vedoucí kursu mne se znepokojeným výrazem tváře raději přerušil s tím, že již nechce nic slyšet. Pravil, že způsob evaluace programů je na ještě horší úrovni než v Bulharsku. Zde je třeba zdůraznit, že od té doby a zejména v posledních letech dochází k postupnému zlepšování situace. Otázkou však je, do jaké míry se na tomto vývoji podílí změna postoje poskytovatelů k evaluacím, a do jaké míry je vynucena usneseními RVVI, potažmo Vlády ČR. Někteří poskytovatelé se snaží přistupovat k evaluacím zodpovědně a napomáhat rozvoji evaluačních přístupů a metod, zatímco jiným může stále jít jen o splnění formálních náležitostí evaluací.
Cílem tohoto příspěvku ovšem nebylo kritizovat stávající stav evaluací či dokonce některé poskytovatele, nýbrž upozornit na některé obecné slabiny v jejich postojích a přístupech (ať již je nazývám mýty a omyly), na něž by bylo žádoucí se také zaměřit, aby se evaluace staly jedním ze standardních nástrojů procesu tvorby a realizace programů a politik VaVaI. Nemá smysl neustále připomínat nedostatky, ale spíše navrhovat řešení. Proto bych se chtěl v následujících příspěvcích hlouběji podívat na jednotlivé druhy hodnocení a ukázat, jak k těmto hodnocením přistupovat a na co se zaměřit.
V příštím příspěvku se budu věnovat problematice ex-ante hodnocení. Rád bych ukázal, že tento druh hodnocení není nějakou oponenturou návrhu programu, ale že je procesem, který běží paralelně s jeho přípravou.
Autor: Vladislav Čadil, Technologické centrum AV ČR
