Workshop hodnocení aplikovaného výzkumu podle M17+

Letos proběhl první úplný běh Metodiky 2017+, který se uskutečnil ve všech pěti modulech. Nově přibyly moduly 3 až 5. Byl spuštěn nový rozcestník Hodnocení VaVaI podle Metodiky 2017+, kde najdete výstupy z Modulu 1 a 2 a také souhrnné zprávy pro poskytovatele. Hodnocení M17+ je ale proces, který prochází vývojem a neustále se zlepšuje. Byla například sestavena komise, ke které směřovaly všechny dotazy, a upřesňovalo se, kam který výsledek patří.

K diskusi o hodnocení aplikovaného výzkumu přispěl především dopis sedmi členů RVVI předsedovi vlády Andreji Babišovi z května minulého roku. Na tento dopis reagovalo Ministerstvo školství, mládeže a tělovýchovy a také Komise pro hodnocení výzkumných organizací a ukončených programů (KHV).

Přečtení příručky pomůže

Workshop provázela živá diskuze. Jaroslav Machan z Fakulty dopravní ČVUT a člen vládní Rady pro výzkum, vývoj a inovace (RVVI) hovořil o nedávno vydané uživatelské příručce. Apeloval na to, že většina dotazů a připomínek by se dala eliminovat pouhým jejím přečtením. „Nezasahujeme do metodiky, pouze upřesňujeme její výklad. Zpracováváme příspěvky, které jsme k Metodice 2017+ dostali. Pro případy hodnocení výstupů aplikovaného výzkumu je složitější nalézt kritéria pro posuzování bibliometrických údajů. Výzkumná instituce by si proto měla rozmyslet, jaké má poslání a správně výsledek zařadit.“

Předseda (KHV) Štěpán Jurajda doplnil, že probíhá pilotní setkání s technicky orientovanými výzkumnými organizacemi. Do budoucna se chtějí více věnovat také humanitním a uměleckým vysokým školám. Jejich prioritou je i zajištění kvalitních členů panelu.

„Je potřeba si uvědomit, že hodnocení neumožnuje dialog mezi hodnotiteli a výzkumnými organizacemi. Všechny informace musí být podané už na počátku, nelze je během hodnocení postupně upřesňovat. A protože hodnotitelé musí být apriori nedůvěřiví, je nutné dodat odkazy, doplňující informace, jednoduše co nejvíce materiálu. Opravdu nám k dobrému hodnocení nestačí jednostránkový informační leták. To je jeden ze základních principů,“ doplnil výklad Metodiky 2017+ Jan Marek, ředitel Odboru RVVI.

Výzkum, hodnocení, komentáře

Jelikož se diskutovaly stížnosti na hodnocení Metodiky 2017+, jedna z otázek z publika směřovala na prodloužení lhůty ze čtrnácti dnů na delší dobu. KHV panel o tom bude uvažovat.

Další poznámku měl Tomas Polcar, profesor materiálového inženýrství na University of Southampton „Zmiňuje se, že hodnocení vyšlo nízko, ale ve Velké Británii posíláme podobných aplikovaných výsledků dvanáct za rok. Pro mě to je spíš vysoké hodnocení a kvalita informací je velice nízká. Navíc některé vynikající výsledky ani v hodnocení nenajdeme.“

Další komentář zazněl k významu impakt faktoru. „Neměl by jednorázově sloužit k hodnocení, ale mělo se přihlédnout k reálným citacím. Modul 1 by neměl sklouznout k tomu, že se bude hodnotit pouze podle IF, pak se M1 bude rovnat M2.“

Jaký modul zvolíš, takovou známku si vysloužíš

Je důležité, jaký modul bude pro konkrétní výsledek zvolen. Existuje příloha definice druhu výsledku, vychází z Frascati manuálu, což je soubor pokynů pro shromažďování a vykazování údajů o výzkumu a experimentálním vývoji.

Podle výkladu se modul 1 zabývá jen výsledky výzkumu. Udává se tam kvalita výzkumu, patenty, užitné vzory, prototypy a další technologie. Zároveň je nutné si uvědomit, že smluvní výzkum v tomto modulu nelze posoudit. A to také z důvodu, že většina těchto výsledků má charakter obchodního tajemství.

Také záleží, jaké kritérium pro přihlašovaný výsledek v rámci modulu 1 zvolíte, zda přínos k poznání či společenskou relevanci. První kritérium se týká zejména poznání lidstva, kvality, originality a je vhodné zejména pro základní výzkum.

U aplikovaného výzkumu lze váhat, zda daný výsledek přihlásit do modulu 1 pod kritériem společenská relevance nebo do modulu 3. Pro mnoho diskutujících patří společensky významný výsledek právě do modulu 3. Pokud však je výsledkem jen výzkum, měl by být zařazen do modulu 1. „Moduly jsou rovnocenné, nemusí být tolik emocí okolo toho, zda dáme výsledek do 1 nebo do 3,“ poukazuje jeden diskutující.

Dalším příspěvkem je hodnocení výsledku aplikovaného výzkumu, který je financován i z jiných než veřejných zdrojů. Ten by se v modulu 1 objevit neměl.

Názor hodnotitelů se může lišit

Jeden z komentářů žádal o vyjasnění způsobu hodnocení. Poznámka vyvolala nejednoznačnou diskuzi. „Náš výzkum byl jedním hodnotitelem v modulu 1 ohodnocen dvojkou a druhým pětkou. Pro Ministerstvo průmyslu a obchodu by mělo být veřejným zájmem, že firmy fungují a my do nich předáváme naše výsledky. Co je veřejný zájem v aplikovaném výzkumu? Náš výzkum měl ekonomický přínos, věříme, že i společensky relevantní, ale naše známka byla špatná, protože to bylo jen pro jednu firmu. Je potřeba si vyjasnit základní pojmy.“

Hodnotitelé na to reagovali tím, že hodnotí výzkum z peněz daňových poplatníků. „Spousta negativních hodnocení je uděleno, protože není zřejmé v čem je daný výsledek lepší, ne vždy tam najdeme výzkum. To je stejné i s konferencí. Pokud má být v modulu 1, musí za ní být vidět výzkum. Navíc si myslíme, že uspořádání konference není výsledkem výzkumu. Patří spíše do modulu 3,“ říká hodnotitel.

Workshop pomohl vysvětlit mnohé nejasnosti, některé nezodpovězené otázky však nadále zůstávají.

 

Autor: Vědavýzkum.cz (ED)