Metodický rámec pro ex-post hodnocení programů mezinárodní spolupráce ve výzkumu a vývoji

Návrh metodického rámce vychází z analýzy textů českých programů mezinárodní spolupráce ve VaV implementovaných v současnosti, dále z rešerše zahraniční odborné literatury a zahraničních evaluačních zpráv. Navržený evaluační rámec hodnotí celý proces realizace programu od vstupů po výstupy. Tento proces je chápán jako postup, kterým se za podmínek stanovených programem a za působení vnějšího prostředí stávají ze vstupů výstupy, přínosy a dopady.

Rámec pro závěrečné hodnocení programů mezinárodní spolupráce

Na začátku je třeba zdůraznit, že je zde navržen rámec pro hodnocení, tedy zásady, které jsou společné programům mezinárodní spolupráce a na jejichž základě lze vypracovat konkrétní metodické postupy pro hodnocení jednotlivých programů.

Závěrečné hodnocení programů není jediným typem hodnocení programů, ale je součástí systému hodnocení celého životního cyklu programu. Tento cyklus zahrnuje ex-ante hodnocení, průběžné hodnocení a závěrečné hodnocení (hodnocení ukončeného programu). Zaměření a rozsah závěrečného hodnocení jsou do značné míry ovlivněny předchozími evaluacemi. Pokud nejsou provedeny či jsou provedeny nedostatečně, je snahou poskytovatelů zacílit závěrečné hodnocení také na aspekty, které spíše příslušejí ex-ante a průběžnému hodnocení. Tím však může závěrečné hodnocení obsahově bobtnat a ztrácet se vnitřní logika teoreticko-koncepčního rámce hodnocení.

Ex-ante hodnocení cílí na posouzení celkového zaměření programu (schopnosti dosáhnout požadované změny), shodu jeho cílů se strategickými záměry, soulad s dokumenty národních politik a reálnost naplnění cílů a aktivit programu ve vztahu k alokovaným finančním prostředkům. V souvislosti s programy mezinárodní spolupráce ve VaV by bylo vhodné je rozšířit o posouzení geografických aspektů spolupráce, relevance spolupracujících zahraničních agentur či o posouzení způsobu hodnocení a výběru projektů (tj. zda existuje jednotný způsob hodnocení a výběru projektů). Interim hodnocení sleduje pokrok v realizaci aktivit programu, v plnění jeho cílů, účelnosti vynaložení jeho finančních prostředků a v neposlední řadě také efektivitu implementace programu. Nabývá spíše formativní povahy a jeho cílem je zefektivnit implementaci programu, případně formulovat doporučení pro zacílení a nastavení parametrů a implementaci návazného programu. Účel interim hodnocení programů mezinárodní spolupráce ve VaV se nevymyká tomuto obecnému zaměření.

K závěrečné evaluaci programů mezinárodní spolupráce ve VaV může být přistupováno různě v závislosti na potřebách poskytovatele podpory (realizátora programu). Může být zaměřeno pouze na zhodnocení splnění cílů programu či na zhodnocení jeho přínosů. Takové hodnocení je ovšem pouze parciální a opomíjí komplexnost programu a faktory, které mohou být klíčové jak pro splnění cílů programu, tak také pro dosažení různých přínosů. Proto byl navržen evaluační rámec, který hodnotí celý proces realizace programu od vstupů po výstupy. V tomto přístupu je realizace programu chápána jako proces, kterým se za podmínek stanovených programem a za působení vnějšího prostředí stávají výstupy, přínosy a dopady. Schematicky je tento rámec znázorněn v grafu níže.

Graf 2: Rámec pro závěrečné hodnocení programů mezinárodní spolupráce ve VaV

Celý proces realizace (a také evaluace) začíná vstupy, které zahrnují zacílení a zaměření programu (design programu), jeho implementaci, veřejné zdroje alokované na program a vlastní zdroje vynaložené příjemci. Do vstupů lze také zahrnout personální a materiální vstupy na straně příjemců. Tyto vstupy umožňují realizaci aktivit programu, tedy podporovaných aktivit. Zde se jedná v závislosti na zaměření programu o realizaci VaV aktivit, mobilitu či vlastní mezinárodní spolupráci. Aktivity generují výstupy. Ty jsou obecně chápány jako dosažené poznatky VaV vzniklé v kolaborativních projektech. Avšak nejedná se jen o vědecké poznatky, ale také o získané zkušenosti, networking (zvláště důležitý zejména u programů podporujících mobilitu) a přenos. Výstupy vedou k dosažení přínosů. Ty jsou definovány jako krátkodobé, okamžité efekty vznikající bezprostředně v důsledku aktivit a výstupů. Příkladem může být vyšší kvalita prováděného VaV či prohloubená zahraniční spolupráce. V dlouhodobém horizontu se přínosy transformují v dopady.

Celý proces realizace programu probíhá v určitém prostředí, které lze rozdělit do tří vzájemně se ovlivňujících úrovní. Nejvyšší úrovní je systematická úroveň – socioekonomické prostředí ve smyslu celkové vyspělosti společnosti/státu. Tato úroveň zásadně ovlivňuje zbývající dvě úrovně. Další úrovní je systém podpory VaV, tedy legislativní pravidla způsobu podpory a strategické koncepce určující zaměření podporovaných aktivit a objem prostředků alokovaných na podporu VaV. Tato úroveň formuje zaměření programu, způsob podpory a škálu podporovaných aktivit. Poslední úroveň tvoří výzkumná organizace, její strategie, organizace VaV a vazby na širší výzkumné a inovační prostředí.

K postižení vztahu jednotlivých stadií realizace programu a prostředí je navrženo využití metody realistické evaluace (Westhorp 2014), který klade důraz na kontext, ve kterém program probíhá (ptá se na otázku – co funguje, pro jaké skupiny a za jakých podmínek), a poskytuje reálný obraz hodnoceného programu. Umožňuje identifikovat mechanismy, které vedou k výstupům a přínosům programu, a jak je jejich dosažení ovlivněno prostředím.

Pro hodnocení budou využity indikátory. V souvislosti se změnou přístupu k politikám a programům VaV a návaznými kvalitativními změnami v jejich evaluacích došlo v zemích s vyspělou evaluační kulturou ke značnému obsahovému posunu indikátorů. Lepori a kol. (2008) popisují změnu od prostých indikátorů vstupů a výstupů k indikátorům, které vymezují pozici politik a programů v širším rámci, a indikátorům, které charakterizují vztahy a toky znalostí mezi jednotlivými aktéry v inovačním systému. V tomto smyslu není vhodné indikátory chápat tak, jak jsou obvykle využívány při evaluaci v ČR (a také vynucovány subjekty, které program schvalují či dohlížejí nad efektivitou veřejných financí), tedy jako obecné kvantitativní indikátory výstupů (v textech programů jsou nazývány jako indikátory pro hodnocení splnění cílů) se stanovenou cílovou hodnotou, které má být dosaženo (třebaže indikátor nevypovídá nic o povaze programu a kvalitě prováděného VaV). V navrženém rámci jsou pojaty spíše jako dílčí témata, na která se zaměřuje hodnocení v dané fázi realizace programu. A k takto vymezeným indikátorům je možné dále stanovovat dílčí indikátory, které mohou nabývat kvantitativní a kvalitativní povahy v závislosti na povaze sledovaného tématu.

Indikátory mohou být formulovány různým způsobem. Boekholt a kol. (2009) navrhují 4 dimenze indikátorů: (i.) způsoby spolupráce (jak je spolupráce realizovaná), (ii.) motivy pro spolupráci (proč je realizována spolupráce), (iii.) aktéři spolupráce (kdo se spolupráce účastní) a (iv.) fáze realizace programu. Tyto dimenze byly také využity pro stanovení návrhu možných indikátorů pro navržený rámec hodnocení programů mezinárodní spolupráce. Jejich přehled uvádí tabulka 2. Jsou strukturovány dle jednotlivých evaluovaných fází realizace programu, tedy pro vstupy, aktivity, výstupy, přínosy a dopady. A dále hierarchicky na úroveň individuálního výzkumníka, instituce a prostředí. Navržené indikátory nerozlišují způsob spolupráce, protože tento je specifický pro jednotlivé programy. Jako takový by měl být zohledněn v konkrétních metodikách, nikoliv v metodickém (obecném) rámci konsorcií) může být přímo výsledkem programu, sítě zkonstruované z výsledků mohou dokumentovat spíše osobní vztahy mezi výzkumníky (často neformální, které však nemusejí přímo souviset s podpořenými projekty). Bibliometrická analýza by neměla být používána plošně, ale jen u programů, kde je to relevantní (u programů základního VaV a u programů cílících na excelenci).

Z kvalitativních metod by byly využity strukturované či polostrukturované rozhovory se zástupci poskytovatelů a vybranými příjemci, dotazníkové šetření mezi příjemci, případové studie a analýza dokumentů (programových dokumentů – textu programu, veřejných soutěží a závěrečných projektových zpráv, dále strategických a koncepčních dokumentů). Informace získané z těchto metod budou analyzovány, zhodnoceny expertním řešitelským týmem. Při aplikaci metod, zejména kvalitativních, se pozornost nebude zaměřovat pouze na předmětnou část hodnocení, ale v souladu s přístupem realistické evaluace také na celkový kontext, na prostředí, v němž je program realizován.

Podobně jako v uvedených zahraničních evaluacích by měla být využita triangulace kvalitativních a kvantitativních metod. Jejich přehled a využití pro jednotlivé evaluované etapy přináší graf 3. Z kvantitativních metod by byla využita deskriptivní statistická analýza dat o výsledcích a projektech z IS VaVaI a bibliometrická analýza dat z Web of Science. Ta by sloužila jako zástupný ukazatel pro hodnocení kvality výsledků a pro analýzu sítí spolupráce. Při využití analýzy sítí spolupráce je vhodné zohlednit dvě úrovně – úroveň projektů a úroveň výsledků. Zatímco spolupráce na úrovni projektů (tj. projektových Specifickým tématem hodnocení, zejména u programů, které podporují mezinárodní spolupráci podnikového VaVaI, je evaluace ekonomických dopadů. V případě programů realizovaných v ČR je tato otázka aktuální pro podprogramy, které zajišťují účast v síti EUREKA, a programy TA ČR DELTA a DELTA 2.

Pro hodnocení ekonomických dopadů může být využita kontrafaktuální analýza, při níž jsou ekonomické dopady zjišťovány na základě porovnání se souborem podniků nepodpořených (kontrolní skupinou). Využití této analýzy je však limitováno několika faktory. Zásadním faktorem je dostupnost ekonomických dat pro nepodpořené podni ky. Další faktor spočívá v délce období od dosažení poznatku po jeho využití v inovacích a tedy generování ekonomických efektů. Dalším faktorem je dostatečný počet podpořených projektů.

V neposlední řadě je při využití kontrafaktuální analýzy třeba počítat s možným problémem vytvoření kontrolní skupiny, neboť vzhledem k malé velikosti ČR a relativně malému počtu podniků, které provádějí VaV, může být řada podniků unikátních. S problémy kontrafaktuální analýzy se potýkají i zahraniční evaluace. Výše zmíněná evaluace švédské účasti v síti EUREKA argumentuje, proč nebyla využita kontrafaktuální analýza. Prvním důvodem byl nedostatek dat, za druhé nebylo možné eliminovat vliv jiných programů v souborech podpořených a nepodpořených firem a za třetí nastalo by značné zkreslení výběrem (selection bias), kdy účast v síti EUREKA implikuje, že se do programu zapojují silnější podniky s vyspělejším a intenzivnějším VaV, jejichž ekonomické výsledky by byly lepší i bez obdržené podpory. Proto se hodnocení dopadů spoléhalo na kvalitativní hodnocení na základě dotazníkového šetření a strukturovaných rozhovorů s příjemci podpory. Tento přístup umožnil sledovat změny, k nimž došlo v jednotlivých podnicích, a to i takové, které nastaly před realizací projektů a které jsou očekávané v důsledku praktického využití dosažených poznatků. Jeho nevýhoda spočívá ve značné subjektivitě hodnocení jednotlivými dotazovanými subjekty. Respondenti si nemuseli správně pamatovat všechny skutečnosti či nemuseli být plně kompetentní k zodpovězení požadovaných otázek. Tyto nedostatky musely být kompenzovány porovnáváním jednotlivých odpo vědí mezi respondenty, což umožnilo nalézt společné znaky, a dále doplněním dotazníkového šetření strukturovanými rozhovory, které poskytly podrobnější odpovědi.

Dále byla využita tzv. kontextualizace, která představuje analytický proces mapování kauzálních vazeb mezi jednotlivými odpověďmi získanými z různých použitých metod. Tento proces např. umožňuje zjistit, za jakých okolností vstup vedl k výstupu. V tomto smyslu proces kontextualizace odpovídá přístupu realistické evaluace, a je tedy inspirující také pro využití v navrženém rámci.

Závěrem

Navržený rámec pro ex-post hodnocení programů mezinárodní spolupráce ve VaV vytváří metodický podklad pro formulaci metodik hodnocení konkrétních programů. Využitelný je nejen pro tvorbu metodik pro hodnocení programů mezinárodní spolupráce ve VaV, ale také pro hodnocení této spolupráce v jiných programech, které ji podporují nepřímo.

Autor: Vladislav Čadil

Celý příspěvek si přečtěte v časopise ergo.