Přinášíme vám zkrácenou verzi článku Daří se v ČR stanovovat smysluplné indikátory pro monitorování a evaluaci národních programů na podporu aplikovaného výzkumu?, který vyšel v aktuálním čísle časopisu ergo vydávaném Technologickým centrem AV ČR.
Cílem textu je zhodnotit relevanci, vypovídací schopnost, měřitelnost i přiměřenost specifikací a cílových hodnot indikátorů stanovených pro hodnocení vybraných programů podpory aplikovaného VaV. Dále si text klade za cíl zjistit, zda u nových či připravovaných programů v porovnání s předchozím stavem dochází ke kvalitativní změně v nastavení soustavy indikátorů.
Indikátory použité u evaluovaných programů
Indikátory výstupů
Měřitelnost indikátorů počtu podpořených projektů a subjektů a úspěšně ukončených projektů je většinou velmi snadná. Vzhledem k charakteru výstupových indikátorů, vhodných zvláště pro monitorování pokroku programů podpory, je ovšem jejich vypovídací schopnost pro účely průběžných a závěrečných evaluací programů nízká.
Použití indikátoru minimálního počtu podpořených projektů má kromě toho své úskalí v možném nízkém počtu podaných kvalitních projektů či podaných projektů vůbec. Vzhledem ke skutečnosti, že na hodnotu indikátoru jsou zpravidla navázány indikátory výsledků, je jistou alternativou indikátoru v této podobě definování minimálního počtu dosažených výsledků na jeden projekt. Počty podpořených projektů či subjektů totiž nevypovídají nic o dosažení cílů daného programu.
O úspěšnosti programu již lépe vypovídají indikátory úspěšně ukončených projektů. Podíl úspěšně ukončených projektů vychází z hodnocení realizovaných projektů po jejich skončení, které je zaznamenáváno v Rejstříku informací o výsledcích Informačního systému výzkumu, vývoje a inovací (RIV IS VaVaI). Jde tedy o dobře měřitelný indikátor, jehož hodnotu lze zpravidla snadno vypočítat z veřejně dostupných údajů.
Indikátory výsledků
Výsledkové indikátory ve smyslu naplňování předem stanovených výsledků projektů VaV představují u programů podpory VaV zpravidla stěžejní část programových indikátorů. Měřitelnost formálních výsledků VaV je vzhledem k dostupnosti potřebných údajů z veřejné databáze RIV IS VaVaI snadná. Jistá problematičnost indikátorů měřících počty formálních výsledků VaV ovšem spočívá v tom, že nezřídka existuje rozdíl mezi vlastním poznatkem, který je skutečným výsledkem prováděného VaV, a formou prezentace či právní ochrany výsledku odpovídající formálnímu výsledku dle kategorií RIV.
Počty formálních výsledků lze považovat spíše za výstup, nikoliv za výsledek. Samotný počet formálních výsledků neimplikuje změnu, která je klíčovým aspektem definice výsledku programu. Cílem podpory aplikovaného VaV by mělo být především vytváření nových poznatků a jejich přenos do praxe, tedy změna stavu (např. ve smyslu zvýšení míry spolupráce mezi podniky a výzkumnými organizacemi apod.). Měřit úspěšnost podpůrného programu pouze na základě počtu formálních výsledků se proto jeví jako nedostatečné.
Indikátory naplnění cílů programu
Indikátory měřící naplnění celkových cílů hodnoceného programu by měly nejkomplexněji postihovat výsledky realizace programu a nejlépe tak vypovídat o úspěšnosti daného programu podpory. Z důvodu komplexity tohoto druhu indikátorů může být jejich měřitelnost obtížná. Výjimku však představuje indikátor „podíl dosažení stanovených cílů programu“, použitý pro měření dosažení cílů programu GAMA. Problémem v definici indikátoru je v tomto případě skutečnost, že není založen na sledování slovně (kvalitativně) definovaných cílů programu a obou jeho podprogramů, nýbrž cílových hodnot ostatních 13 programových indikátorů.
Slabinou tohoto přístupu je skutečnost, že nezohledňuje rozdíly mezi jednotlivými indikátory a jejich významem. Posuzovat dosažení cílů programu na základě vyhodnocení slovně definovaných cílů, jako například v programu KUS, se jeví jako postup lépe vystihující skutečné zaměření programu podpory a jeho cílů. Obtížnost tohoto způsobu hodnocení spočívá v jeho zmíněné komplexitě i skutečnosti, že cíle programů podpory VaV obvykle popisují dlouhodobé kvalitativní změny, kterých má být jejich realizací dosaženo (tj. jedná se o dopady).
Indikátory použité u nových programů
Součástí textu programu by měl být také popis způsobu monitorování a evaluace programu. Text programu NAKI III (MK 2020) však neuvádí způsob monitorování programu. Ale stanovuje, že splnění cílů programu bude hodnoceno podle souboru indikátorů určených pro monitorování průběhu plnění programu a hodnocení jeho celkové výkonnosti a úspěšnosti. Indikátory člení do čtyř skupin: (i.) indikátory úspěšné realizace programu, (ii.) indikátory výsledků programu, (iii.) indikátory splnění cílů programu a (iv.) indikátory dopadů programu.
Indikátory úspěšné realizace programu směšují indikátory, které lze považovat za indikátory vstupů – finanční naplnění (využití prostředků programu v %) – a indikátory výstupů (minimální počet podpořených projektů a minimální počet úspěšně ukončených projektů). Tyto indikátory lze jistě použít pro zhodnocení úspěšnosti průběhu (realizace) programu, ale obsahově jde o indikátory dosti hrubé, neumožňují zhodnotit realizaci všech specifických cílů či priorit programu. Mohlo by se stát, že by program byl na základě těchto indikátorů považován za úspěšně realizovaný, avšak nebyly by splněny všechny cíle a priority programu. Nabízí se tak otázka, zda je v takovém případě možné program považovat za úspěšně realizovaný. Indikátory výsledků programu představují výstupy – formální výsledky dle klasifikace užívané v RIV. Indikátory splnění cílů programu jsou stanoveny velmi obecně (podobně jako je velmi obecně stanoven cíl programu) a jsou obtížně měřitelné. Jsou stanoveny jako minimální podíl splněných cílů programu na úrovni tematických priorit, resp. specifických cílů. Splnění cíle či priority programu znamená, že v daném cíli či prioritě byl úspěšně realizován alespoň jeden projekt. Avšak skutečnost, že v dané prioritě či specifickém cíli byl realizován projekt, nemusí znamenat, že tato priorita či cíl byly splněny, zvláště pokud jde o komplexně vymezené cíle a priority. Naplnění tematických priorit programu je ovšem použito také jako indikátor dopadů. Ty mají být dále sledovány dle kvality výsledků (publikací), společenské relevance výsledků (dle vybraných výsledků v Modulu 1 Metodiky 17+) a kvalitativního zhodnocení dopadů a využití výsledků pomocí dotazníkového šetření. Využití výsledků hodnocení výzkumných organizací dle M17+ pro hodnocení dopadů může být problematické, vyžaduje úzkou spolupráci výzkumných organizací s poskytovatelem při výběru výsledků organizace předložených do hodnocení organizace. Současně tento indikátor, resp. způsob hodnocení dopadu neřeší skutečnost, že do hodnocení nebudou zahrnuty výsledky, na kterých se nepodílela výzkumná organizace, a také neřeší časovou prodlevu mezi hodnocením výzkumné organizace dle M17+ a potřebou dodat informace pro závěrečné hodnocení programu.
Text Programu bezpečnostního výzkumu pro potřeby státu 2022–2027 (MV 2020) uvádí soustavu evaluačních otázek rozdělenou do pěti sekcí: (i.) implementace programu (funkčnost programu), (ii.) cíle programu (efektivita), (iii.) další charakteristiky programu (relevance), (iv.) závěr hodnocení a úprava programu a (v.) hodnocení přínosů/ dopadů programu. Pro každou evaluační otázku jsou stanoveny obecné indikátory. Po potřebu hodnocení funkčnosti, efektivity a relevance jsou tyto indikátory blíže specifikovány a stanoveny prahové hodnoty. Pro ostatní oblasti hodnocení zůstávají indikátory obecné a nabývají spíše kvalitativní povahy. Představují základ pro formulaci otázek do kvalitativního šetření, které bude provedeno po ukončení programu.
Pro hodnocení splnění cílů programu (chápané jako hodnocení účelnosti) jsou stanoveny evaluační otázky – Jaká je stávající míra splnění cílů? Jaká je efektivita výstupů z hlediska předpokládaných výstupů? Je kvalita výsledků programu dostačující? Jako indikátory jsou k těmto otázkám stanoveny minimální počty realizovaných projektů, úspěšně ukončených projektů, maximální podíly výsledků hodnocených v Metodice 17+ jako výsledky dosahující nejnižší kvality a minimální podíl výsledků hodnocených jako nejkvalitnější výsledky.
Další indikátory jsou stanoveny velmi neurčitě, jako statistika hodnocení ukončených projektů a statistika hodnocení výsledků. Slabiny využití výsledků hodnocení dle Metodiky 17+ jsou zmíněny výše. Navržené neurčitě formulované indikátory neumožňují kvantifikovat míru (rozsah) splnění cílů programu, ale spíše představují podklad, vstupní informaci pro kvalitativní (expertní) zhodnocení splnění cílů programu. To může souviset s cíli a posláním hodnocení tohoto programu. Text programu výslovně uvádí, že veškerá hodnocení mají především formativní cíle. Účelem tedy není sumace výsledků, projektů apod., ale poskytnutí kvalitativních (formativních) informací pro zefektivnění podpory bezpečnostního výzkumu v gesci Ministerstva vnitra.
Návrh Programu na podporu aplikovaného výzkumu a inovací SIGMA (TA ČR 2021) popisuje, že dosažení cílů programu bude hodnoceno na základě kvantitativních a kvalitativních indikátorů vstupů, výstupů, výsledků a dopadů a současně podle celkové výkonnosti a úspěšnosti. Kvalitativní indikátory budou zjišťovány pomocí specifických studií. Návrh programu přináší seznam kvalitativních a kvantitativních indikátorů pro první etapu realizace programu. Indikátory jsou relevantní zaměření a cílům programu, nejsou však rozčleněny z hlediska procesu realizace programu či tematického zaměření indikátoru.
Odlišné zaměření programů a jejich realizace odlišným poskytovatelem s jistou výjimkou u programu SIGMA neumožňují plné zhodnocení kvalitativní změny v nastavení indikátorové soustavy či v přístupu k hodnocení splnění cílů programu mezi dříve realizovanými programy a programy novými. Z porovnání indikátorových soustav je zřejmé, že existují značné rozdíly mezi sledovanými programy, které reflektují odlišné přístupy jednotlivých poskytovatelů účelové podpory k evaluaci programů. Původ těchto rozdílných přístupů lze spatřovat: (i.) v tradici, zažitém způsobu hodnocení, (ii.) specifickém zaměření a zacílení programů a (iii.) odlišných potřebách hodnocení programů a odlišném chápání významu evaluací pro efektivní řízení programů.
Porovnávání způsobů hodnocení a indikátorových soustav dále ukazuje, že dochází ke kvalitativní změně v návrhu indikátorů, zejména odklonu od sledování počtu formálních výsledků. Tato změna je zřejmá u programu SIGMA a Programu bezpečnostního výzkumu pro potřeby státu 2022-2027. U obou programů je nadto uvedeno, že programy nelze hodnotit jen na základě kvantitativních indikátorů, ale na základě kombinace kvantitativních a kvalitativních indikátorů (tedy kombinace kvantitativních a kvalitativních metod).
Závěrem
Indikátory použité u sledovaných ukončených a již evaluovaných programů vykazovaly jisté nedostatky z hlediska relevance k evaluované (sledované, hodnocené) problematice, vypovídací schopnosti i měřitelnosti. Tyto nedostatky vyniknou při porovnání indikátorů s obecnými zahraničními pravidly a trendy ve využití indikátorů pro hodnocení VaVaI. Použité indikátory nebyly navrženy v návaznosti na intervenční logiku programů (nevycházely z teoreticko-koncepčních modelů) či relevantní evaluační otázky. Dále nebyly dostatečně rozlišeny výstupy a výsledky programů, a tedy příslušné indikátory výstupů a výsledků. Svou povahou indikátory neodpovídaly konceptu SMART, který je využíván pro návrh indikátorů. Použité indikátory zaměřením spíše odpovídají monitorovacím indikátorům než indikátorům použitelným pro hodnocení splnění cílů programu. Obsahově odpovídají více deskriptorům a markerům než skutečným indikátorům využitelným pro zhodnocení cílů programu.
U nových či připravovaných programů je patrná kvalitativní změna indikátorů spočívající zvláště v odklonu od zdůrazňování významu počtu dosažených formálních výsledků VaV. Výzvou však zůstává způsob hodnocení kvality výsledků. Hodnocení kvality výsledků programů není možné nahradit hodnocením výsledků výzkumných organizací (jak v takovém případě např. hodnotit výsledky organizací, které nejsou de iure výzkumnými organizacemi?) dle Metodiky 17+. Místo toho je vhodnější provádět bibliomterickou a technometrickou (patentovou) analýzu v kombinaci s peer-review.
Článek je zkrácenou verzí příspěvku Miroslav Kostiće Vladislava Čadila Daří se v ČR stanovovat smysluplné indikátory pro monitorování a evaluaci národních programů na podporu aplikovaného výzkumu? Celý článek najdete v aktuálním vydání časopisu ergo.
Autoři: Miroslav Kostić a Vladislav Čadil
Zdroj: Technologické centrum AV ČR
- Autor článku: ne
- Zdroj: VědaVýzkum.cz
