Průběžná evaluace Programu ÉTA

Manažerské shrnutí průběžné evaluace Programu ÉTA:

Program ÉTA je schválen na období let 2018 až 2023 a vstupoval do hodnocení po dvou vyhlášených veřejných soutěžích (dále “VS”), v rámci kterých bylo podpořeno 230 projektů. Další tři VS budou vyhlašovány každoročně do roku 2021. Program je tak přibližně před polovinou své implementace a závěry průběžného hodnocení mohou přispět ke zvyšování kvality podaných návrhů projektů a tím i k jejich úspěšnosti v plánovaných veřejných soutěžích a realizaci celkově.

Cílem předložené průběžné evaluace bylo především posoudit efektivitu a funkčnost průběhu implementace Programu ÉTA po dvou letech od jeho zahájení a poskytnout zjištění pro přípravu třetí veřejné soutěže vyhlašované v září roku 2019. Součástí zprávy jsou proto také návrhy vhodných změn a způsob jejich zapracování.

Předkládaná evaluace se zaměřila na tři hlavní evaluační okruhy, které představují hlavní těžiště zprávy:

• EO1: Administrace VS a projektů
• EO2: Hodnotící proces a výběr projektů k podpoře
• EO3: Naplňování cílů a záměrů Programu ÉTA

Vybraná pozitivní zjištění

Program ÉTA je unikátní svým zaměřením, výrazně se odlišuje od programů ostatních poskytovatelů, je zaměřen na témata, která jsou či zanedlouho budou společensky významná. Zkoumání aktuálních témat a výzev je již realizováno v řadě podpořených projektů (digitální gramotnosti, etika a provoz autonomních vozidel, nové didaktické metody reagující na technologické a globalizační výzvy aj.)

ÉTA akcentuje multi- a trans-disciplinaritu, aplikovaný výzkum v oborových kombinacích, které jsou zkoumány v rámci VaVaI v ČR minimálně či vůbec. Program vybízí výzkumníky v oblastech společenských, humanitních a uměleckých věd (dále „SHUV“) k hledání přesahů v jejich badatelské činnosti a snaží se je přimět k „aplikačnímu uvažování”. V řadě projektů tak dochází k propojování např. sociologie a robotiky, umění a nových technologií, nebo historie a vývoje elektronických didaktických pomůcek a ke kombinaci mnoha dalších různorodých disciplín s obory SHUV.

Program přispívá k šíření povědomí o TA ČR i mezi institucemi, které nejsou (zatím) typickými žadateli o podporu v programech TA ČR. Druhá veřejná soutěž přivedla TA ČR více tzv. prvožadatelů než soutěž první.

ÉTA aktivuje zájem vysokého počtu uživatelů výzkumných řešení (tzv. aplikačních garantů, kterých je zapojeno 553), a to nejen ze sféry soukromé, ale i ze státní správy a samosprávy, resp. veřejné sféry (města, kraje, ministerstva a úřady, příspěvkové organizace, nestátní neziskové organizace, média, kulturní organizace, sociální zařízení aj.)

Obory společenských, humanitních a uměleckých věd se zařazují do inovačního ekosystému ČR skrze navázané partnerství v rámci aplikovaného výzkumu a inovací.

Jedná se o program jedinečný i v mezinárodním měřítku. Program umožňuje TA ČR aktivněji působit na tomto poli v zahraničí, např. být partnerem současné diskusi o „mission-oriented research“, „responsible research and innovation“ (RRI) nebo “gender v oblasti výzkumu“. TA ČR získává mj. prostřednictvím tohoto programu v zahraničí nezanedbatelný respekt.

Negativní zjištění poskytující podklady pro zvýšení kvality programu

Nejčastějším důvodem pro nepodpoření projektu byla absence a jednoznačné ukotvení výzkumných záměrů v SHUV. Doporučujeme pro příští veřejné soutěže jednoznačně uvést v zadávací dokumentaci SHUV jako středobod celého programu ÉTA.

Texty zadávací dokumentace a zadání soutěže mohou být pro uchazeče z řad SHUV nesrozumitelné, nejednoznačné nebo potenciální žadatelé mohou objasnění podmínek veřejné soutěže opomíjet, ať už záměrně nebo díky nepochopení.  Doporučujeme ověřovat, zda jsou zadání a pokyny pro výzkumnou komunitu z řad SHUV srozumitelné (například formou participativní tvorby zadání, veřejnou konzultací nebo vyhodnocováním sémantické součásti ZD, jak je zvykem např. v praxi agentury Vinnova) a vzájemné porozumění podpořit jasnější definicí základních pojmů formou glosáře nebo doplněním specifických podmínek. (zejm. u pojmů jako inovační ekosystém, SHUV jádro projektu, aplikační garant, projekt aplikovaného výzkumu a inovací). Další doporučení spočívá ve zjednodušení a „zjednoznačnění“ jazyka, aby nedocházelo k ambivalentnímu chápaní požadovaných informací nebo jejich čistě formalistického (někdy velmi evidentního) naplnění.

Monitoring projektů během realizace nedovoluje plně a soustředěně sledovat naplňování mise programu. Navrhujeme tedy v průběžných zprávách a hodnocení projektů v realizaci začít sledovat, zda a jak projekt plní zadání soutěže, na základě kterého byl doporučen k podpoře. Je nutné zvážit, které údaje z návrhu projektu považovat za závazné parametry. Tomu je nutné uzpůsobit formu průběžných zpráv a protokol zpravodajů, včetně spolupráce s nimi na monitoringu a vyhodnocování projektů v realizaci. Na nutnost správného nastavení monitoringu i vyhodnocení dopadů programu upozornil také zahraniční expert Hasan Bakhshi, který doporučil využití ekonomických metod pro měření neekonomických benefitů, jak je již dobrou praxí. 

Nejednoznačnost toho, kdy je SHUV složka v projektu dostatečná a kdy nikoliv, je častou příčinou změn v názoru na podpoření či nepodpoření návrhu projektu během jeho hodnocení, což může činit hodnotící systém navenek nedůvěryhodným. Doporučujeme zavést odborný oponentský posudek, který by vyhodnocoval tzv. SHUV jádro projektu spočívající v patřičném odborném zajištění řešitelského týmu z oblastí SHUV, metodologických přístupů typických pro oblasti SHUV a v jednoznačném vysvětlení a objasnění dopadů zamýšleného výzkumného řešení na
příslušnou společenskou skupinu, uživatele, zákazníka, oblast, krajinu, sféru apod.

Jedním z nejčastějších nedostatků návrhů projektu bylo vágní objasnění novosti jejich výzkumného záměru ve vztahu ke stávajících obdobným řešením doma nebo v zahraničí, který byl umocněn nejednoznačným pokynem v elektronickém návrhu projektu. Navrhujeme, aby se toto hodnocené kritérium stalo samostatným požadavkem v projektové žádosti doprovázenou patřičným vysvětlením v nápovědě, příručce a dalších informačních aktivitách.

Témata, která se do veřejných soutěží hlásila sporadicky a nebo vůbec, jsou z oblasti vztahů mezi člověkem a technologiemi (sociologie či filosofie a etika vědy a techniky) a oblasti umění a designu, resp. propojování umění a technologií. Doporučujeme zacelit tuto mezeru prostřednictvím cílenější komunikace možných zaměření projektu s příslušnými pracovišti a dále doporučujeme blíže zjistit důvody, které vedou k nepodávání návrhů projektu ze strany uměleckých či filozofických fakult a ověřit, zda je na vině indikovaná údajně příliš vysoká spoluúčast (min 20% celkových nákladů projektu), nebo jiné faktory.

Napojení institucí a expertek a expertů z řad SHUV (výzkumná komunita, umělci, odborníci z praxe) na inovační ekosystém ČR probíhá jen pozvolna. Doporučujeme v tomto ohledu zahájení informačních a komunikačních aktivit TA ČR ve dvou směrech: 1. podpořit transdisciplinární spolupráci mezi lidmi a institucemi z řad SHUV s institucemi a lidmi z řad technických, lékařských a přírodních věd; 2. aktivizovat zájem na straně přirozených uživatelů výstupů výzkumu zejm. institucemi státní správy, samosprávy, neziskové sféry, občanské společnosti. Jako nástroj přibližování a prohlubování navrhujeme využít metodu „social labs“ (viz projekt NewHoRRIzon, kterého se TA ČR aktivně účastní).

Ačkoliv druhá veřejná soutěž přivedla více prvožadatelů o podporu než první soutěž, stále zůstává mnoho pracovišť SHUV programem ÉTA, mající pro splnění mise programu potenciálně veliký význam, neosloveno. Doporučujeme cílenější informační kampaň směrem k subjektům, které jsou pro naplňování mise programu významní, avšak soutěží se doposud neúčastnily. Zároveň doporučujeme využívat strategických partnerství stávajících organizací nejen pro přilákání institucí nových, ale i pro zvýšení kvality a ambicióznosti návrhů projektů.

Návrhy projektů přinášející výhradně akademické publikační výstupy (např. impaktované a nebo recenzované články) mají nejnižší šanci na podporu pro velmi obtížnou aplikaci těchto výstupů v praxi, resp. využití pro inovace. Doporučujeme nadále propagovat princip volby tzv. výsledků výzkumu tak, aby byly vybírány na základě jejich patřičnosti vůči dosažení zamýšlených cílů projektu. Publikační výsledky by neměly být jedinými výstupy výzkumných projektů, ale spíše naplňovat pravidlo opakovatelnosti a reprodukovatelnosti (viz Frascati manual) a sloužit diseminačním cílům projektu.

Zprávu v plném znění si přečtěte zde.

 

Zdroj: TA ČR