IPN Metodika: fikce versus realita

Dne 26. 5. vyšel na tomto serveru text Vlastimila Růžičky a Vladimíra Majera O Metodice M17+, co je a co není, v němž jeho autoři slíbili „krátce poukázat na to, čím Metodika M17+ je a čím není, především v porovnání s principy hodnocení jednak navrženými v projektu IPN Metodika a jednak aplikovanými AV ČR v roce 2015.“ Vlastimil Růžička i Vladimír Majer se aktivně podíleli na Individuálním projektu národním Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (dále „IPN Metodika“), prvně jmenovaný jako garant klíčové aktivity KA4 Pilotní ověření. Jejich rozsáhlý text je velmi kritický vůči Metodice M17+, ale postrádá realistický pohled na IPN metodiku. Smyslem tohoto textu je ukázat, co naopak je a není IPN Metodika a proč není v našem prostředí použitelná.

Můj kritický pohled není pohled generála po bitvě, všechny níže uvedené kritické připomínky na adresu IPN Metodiky jsem jako člen expertní skupiny klíčové aktivity KA2 Hodnocení, jejímž garantem byl Daniel Münich, od samého začátku říkal vedení projektu. Bohužel bez odezvy. Moje základní námitka přitom spočívala v tom, že Technopolis ve svém návrhu metodiky hodnocení a financování výzkumných organizací (VO) ignoroval realitu našeho výzkumného prostředí.

Připomínám, že z hlediska zákona 130/2002 Sb. o podpoře výzkumu, vývoje a inovací z veřejných prostředků je základní smysl metodiky hodnocení VO poskytnout jeden z podkladů pro poskytnutí institucionální podpory VO na jejich rozvoj (RVO), neboť jen VO mohou získat tuto formu podpory. Podrobněji viz můj text Co (ne)znamená zápis do seznamu výzkumných organizací. Podle Nařízení EU 651/2015, které reguluje povolenou podporu výzkumu, vývoje a inovací (VaVaI) z veřejných prostředků, jsou VO definovány takto:

„'organizací pro výzkum a šíření znalostí' nebo 'výzkumnou organizací' se rozumí subjekt (např. univerzita nebo výzkumný ústav, agentura pro transfer technologií, zprostředkovatel v oblasti inovací, fyzický nebo virtuální spolupracující subjekt zaměřený na výzkum), bez ohledu na jeho právní postavení (zřízený podle veřejného, nebo soukromého práva) nebo způsob fi-nancování, jehož hlavním cílem je provádět nezávisle základní výzkum, průmyslový výzkum nebo experimentální vývoj nebo veřejně šířit výsledky těchto činností formou výuky, publikací nebo transferu znalostí. Pokud tento subjekt rovněž vykonává hospodářské činnosti, je třeba pro financování, náklady a příjmy těchto hospodářských činností vést oddělené účetnictví. Podniky, jež mohou uplatňovat rozhodující vliv na takovýto subjekt, např. jako podílníci nebo členové, nesmí mít přednostní přístup k výsledkům, jichž dosáhl."

Realita našeho systému výzkumných organizací

V době zahájení realizace projektu IPN Metodiky v květnu 2014 bylo v seznamu organizací zahrnutých do Hodnocení 2013 celkem 217 organizací, z nichž 15 mělo nulový celkový počet bodů. Zbývajících 202 organizací lze je přirozeně rozčlenit do těchto skupin:

1. Veřejné vysoké školy (počet 25)

2. Veřejné výzkumné instituce (v.v.i., počet 75), z toho

• 54 ústavů AV ČR a
• 21 resortních v. v. i.
  • Zřizovatel ČR Ministerstvo zemědělství
    • Výzkumný ústav lesního hospodářství a myslivosti,
    • Výzkumný ústav meliorací a ochrany půdy,
    • Výzkumný ústav potravinářský Praha,
    • Výzkumný ústav rostlinné výroby,
    • Výzkumný ústav veterinárního lékařství,
    • Výzkumný ústav zemědělské techniky,
    • Výzkumný ústav živočišné výroby,
  • Zřizovatel ČR Ministerstvo životního prostředí
    • Výzkumný ústav Silva Taroucy pro krajinu a okrasné zahradnictví,
    • Výzkumný ústav vodohospodářský T. G. Masaryka
  • Zřizovatel ČR Ministerstvo práce a sociálních věcí
    • Výzkumný ústav bezpečnosti práce,
    • Výzkumný ústav práce a sociálních věcí
  • Zřizovatel ČR Státní úřad pro jadernou bezpečnost
    • Státní ústav jaderné, chemické a biologické ochrany,
    • Státní ústav radiační ochrany,
  • Zřizovatel ČR Český úřad zeměměřický a katastrální
    • Výzkumný ústav geodetický, topografický a kartografický,
  • Zřizovatel ČR Ministerstvo školství, mládeže a tělovýchovy
    • Centrum pro studium vysokého školství,
  • Zřizovatel ČR Ministerstvo dopravy
    • Centrum dopravního výzkumu,
  • Zřizovatel Statutární město Liberec
    • Centrum pro výzkum energetického využití litosféry, v.v. i.
  • Zřizovatel Jihomoravský kraj
    • Ústav archeologické památkové péče Brno,
  • Zřizovatel Ústecký kraj
    • Ústav archeologické památkové péče severozápadních Čech,
  • Zřizovatel Obec Mšené-lázně
    • Výzkumný ústav balneologický, v. v. i.

3. Státní příspěvkové organizace (s.p.o., počet 52), z toho

• 21 fakultních nemocnic a Státních příspěvkových organizací (např. IKEM, Revma-tologický ústav, Endokrinologický ústav, Národní ústav duševního zdraví), zřízených Ministerstvem zdravotnictví
• 23 muzeí, galerií a knihoven (18 zřízených Ministerstvem kultury, dále Ministerstvy školství, zemědělství a kraji)
• 8 dalších (MŠMT, MO, MZe, MŽP, kraje)

4. Právnické osoby zapsané v obchodním rejstříku (počet 33, akciovky a s. r. o.)

5. Organizační složky státu (o.s.s.)

• Univerzita obrany (MO)
• Policie ČR Kriminalistický ústav Praha (MV)
• Policejní akademie České republiky v Praze (MV)
• Generální ředitelství HZS - Technický ústav požární ochrany (MV)
• Generální ředitelství HZS - Institut ochrany obyvatelstva (MV):
• Národní archiv (MV):
• Národní lékařská knihovna (MZ)

6. Obecně prospěšné společnosti (počet 7)

• ARCHAIA Brno
• Centrum ekonomických studií Vysoké školy ekonomie a managementu
• ENKI
• ŠKODA AUTO VYSOKÁ ŠKOLA
• Vysoká škola evropských a regionálních studií
• Vysoká škola finanční a správní

7. Zájmové sdružení právnických osob (počet 3)

• CESNET
• Technologické centrum Akademie věd České republiky
• Židovské muzeum v Praze

V únoru 2015 doporučila RVVI k uznání statutu VO ještě šest dalších organizací, ale základní struktura zůstala nezměněna. K 2. 2. 2017 pak bylo v seznamu organizací, které by podle přehnaně tolerantní RVVI "mohly být považovány za výzkumné organizace" dokonce 266 organizací, mezi nimi i takové organizace jako jsou Inženýrská akademie ČR, o.s., Asociace inovačního podnikání České republiky, či Asociace výzkumných organizací, o. p. s., které samy žádný výzkum neprovozují.

Spektrum našich VO je ve srovnání se zahraničím neúnosně široké a to primárně proto, že naše vláda je velmi tolerantní a institucionálně podporuje ze státního rozpočtu na vědu a výzkum a inovace (VaVaI) kromě státem zřízených VO (veřejné VŠ, veřejné výzkumné instituce, státní příspěvkové organizace a organizační složky státu) i soukromé subjekty a ze státních příspěvkových organizací řadu muzeí, knihoven a galerií, které výzkum provozují, nikoliv ovšem jako hlavní důvod své existence.

Je jasné, že jakákoliv smysluplná metodika hodnocení VO by měla být formulována tak, aby odpovídala podmínkám a potřebám hlavních sektorů našich VO. Ty jsou dva: veřejné vysoké školy a ústavy Akademie věd. Těch je sice dohromady jen méně než třetina všech organizací, které RVVI dnes považuje za výzkumné, ale ať už měřeno objemem poskytnutých financí na RVO či počtem kafemlejnkových bodů, tyto dva sektory dohromady představují 85-90 % všeho výzkumu a vývoje v ČR. Snaha formulovat smysluplnou metodiku hodnocení a financování všech našich VO nemohla a nemůže být úspěšná. Nikoho ve světě nenapadlo takovou metodiku formulovat a náš unikátní kafemlejnek to zvládnul jen za cenu ztráty smysluplnosti.

Fikce IPN Metodiky

Základní zásady IPN Metodiky jsou obsaženy v její Souhrnné zprávě Metodika hodnocení ve Výzkumu a vývoji a zásady financování (dále Souhrnná zpráva). Nebudu uvádět všechny své námitky proti IPN Metodice, soustředím se jen na tu zásadní, od níž se pak odvíjejí ty další. V úvodu svého textu Vlastimil Růžička a Vladimír Majer IPN Metodiku charakterizují slovy:

"Projekt úspěšně proběhl přes zpoždění jeho faktického začátku (odkládání podpisu kontraktu, pokusy projekt úplně zastavit), v poněkud hektickém režimu během pouhých 20 měsíců. Jeho výsledkem byl propracovaný a ucelený návrh metodiky hodnocení a financování VO, který je ve své části hodnocení blízký britskému systému Research Excellence Framework."

IPN Metodika je možná propracovaný a ucelený návrh hodnocení a institucionálního financování VO, rozhodně však není použitelný v našem prostředí. Základní důvod je v zcela nevhodné typologii VO, na níž jsem upozorňoval od samého začátku. V Souhrnné zprávě její autoři uvádějí:

"V době vzniku tohoto textu (březen 2015) existovalo v ČR celkem 223 VO, včetně těch, jež v únoru 2015 doporučila RVVI k uznání statutu VO. Hloubková analýza profilu těchto 223 výzkumných organizací ukázala, že v ČR je do kategorie výzkumná organizace zahrnuto širší spektrum typů výzkumných institucí než výše uvedené (tj. než splňující definici VO, pozn. JCh.). Kategorizovali jsme je takto:

• Vědecké výzkumné organizace – ScRO (Scientific Research Organisations) jsou instituce, jejichž primární funkcí je provádět výzkum ve prospěch výzkumné komunity. To zahrnuje instituce, které mají jako hlavní činnost provádění výzkumu (výzkumné ústavy AV ČR) a/nebo výuku a přípravu budoucích výzkumných pracovníků, tj. veřejné a soukromé vysoké školy a fakultní nemocnice. Jsou zde také zahrnuty instituce, které provádějí výzkum za účelem zlepšení svých služeb pro vědeckou komunitu, např. výzkumné infrastruktury.
• Průmyslové a podnikatelské výzkumné organizace – IBRO (Industry and Business Services Research Organisations) jsou instituce, jejichž hlavním posláním je rozvoj a přenos technologií a znalostí ve prospěch průmyslu a podnikatelského sektoru. Tato kategorie za-hrnuje RTO a poradenské společnosti (jejichž počet roste), které nabízejí odborné služby nebo jiné profesionální služby průmyslu a podnikatelským subjektům.
• Výzkumné organizace veřejného sektoru – PSRO (Public Services Research Organisations) jsou instituce, jejichž hlavním posláním je rozvoj a přenos znalostí a technologií pro veřejný sektor. Jsou to vládní laboratoře nebo poradenské společnosti, které nabízejí služby veřejnému sektoru.
• Výzkumné organizace zajišťující národní zdroje – NatRes (National Resources). Tyto výzkumné organizace poskytují služby v oblasti kultury: sbírají a ošetřují národní nebo regionální kulturní veřejné statky a zajišťují přístup k nim veřejnosti a výzkumným pracovníkům. Tato kategorie VO zahrnuje archivy, muzea a galerie.Výzkumným organizacím zajišťujícím národní zdroje, jako jsou knihovny či muzea, nejsou obvykle přiděleny prostředky institucionálního financování výzkumu. Častým vlastníkem je státní nebo krajská instituce či organizace, ale mohou být také soukromé. I když pro ně může být výhodné provádět nějaký výzkum, není to jejich hlavní aktivitou nebo hlavním záměrem."

Je pravda, že mezi organizacemi, které v současné době dostávají institucionální podporu na RVO, jsou i ty, které definici VO zjevně nesplňují, resp. není důvod, proč by je měl stát institucionálně podporovat, ale to není důvod, aby nová metodika pro tyto organizace výslovně zaváděla speciální typ. IPN metodika měla na tuto skutečnost nejen upozornit, což částečně učinila, ale hlavně měla zavést jen takové typy VO, které definici VO jasně splňují. Konkrétně:

1) Podle Nařízení EU i zdravého rozumu výzkumné infrastruktury nejsou výzkumné organizace, jde o jiný typ organizace, které podléhají jiným pravidlům podpory a které podle našeho zákona 130/2002 Sb. nemohou být financovány institucionálně, ale jen účelově. Navíc, v rámci téhož IPN projektu byl nezávisle vyvinut Návrh metodiky hodnocení výzkumných infrastruktur, podle níž "již s úspěchem hodnotilo MŠMT výzkumné infrastruktury v roce 2014." Navíc dávat do jednoho typu VO fakultní nemocnice, všechny veřejné a dokonce i soukromé vysoké školy a ústavy Akademie věd, včetně těch, kde se kde se lékařský výzkum vůbec neprovádí, nemá logiku.

2) Výzkumné organizace zajišťující národní zdroje, jako jsou knihovny či muzea, autoři správně charakterizují slovy "I když pro ně může být výhodné provádět nějaký výzkum, není to jejich hlavní aktivitou nebo hlavním záměrem.", ale pak přece nemohou být považovány za VO!!!!

3) Většina 33+ soukromých právnických osob zapsaných v obchodním rejstříku, tedy v reálu eseróček a akciovek, nemá charakter "institucí, jejichž hlavním posláním je rozvoj a přenos technologií a znalostí ve prospěch průmyslu a podnikatelského sektoru.", ale jedná se o normální podniky, které provozují výzkum jako součást svého podnikatelského záměru. Žádná z nich nemá charakter skutečných Research Technology Organisation (RTO), jako jsou ty, které uvedl Technopolis jako příklad v Rakousku:

• Austrian Institute of Technology: z 50.5 % vlastněný státem
• Salzburg Research: ze 100 % vlastněný spolkovou zemí Salzburg
• Upper Austrian Research: 100 % vlastněný spolkovou zemí Horní Rakousko
• Joanneum Research: z 90 % vlastněný spolkovou zemí Štýrsko

4) Všechny resortní veřejné výzkumné instituce zřízené různými zřizovateli, řada státních příspěvkových organizací a organizačních složek státu jsou podle IPN Metodiky "vládní laboratoře nebo poradenské společnosti, které nabízejí služby veřejnému sektoru". Ponechme stranou skutečnost, že v.v.i. nejsou vládní laboratoře, ale jaký má smysl dát do jednoho koše například tyto VO:

• Výzkumný ústav veterinárního lékařství, v v. i.
• Státní ústav jaderné, chemické a biologické ochrany, v. v. i.
• Policie ČR Kriminalistický ústav Praha, o. s. s
• Technologické centrum Akademie věd České republiky, z. s. p. o.
• IKEM, s.p.o.
• Výzkumný ústav geodetický, topografický a kartografický, v.v.i.
• Výzkumný ústav bezpečnosti práce

apod., když každá z těchto VO má úplně jiné poslání a jiného poskytovatele? U všech by přitom mělo hodnocení brát stejnou relativní váhu pěti kritérií, jimiž jsou:

Výzkumné prostředí

• Kvalita vedení výzkumu (včetně managementu lidských zdrojů)
• Přiměřenost výzkumné strategie

Členství v globální a národní výzkumné komunitě

• Mezinárodní prezentace výzkumu a spolupráce
• Národní prezentace výzkumu a spolupráce

Vědecká excelence ve výzkumu

Celková výkonnost výzkumu

• Výstupy výzkumu (včetně kvantity a celkové kvality)
• Konkurenceschopnost ve výzkumu

Relevance pro společnost

i když je zjevné, že tyto VO musí být hodnoceny z různých hledisek a že k tomu jsou kompetentní především příslušní poskytovatelé.

Nevhodnost, resp. nepoužitelnost této typologie je ještě zjevnější, když vezmeme v úvahu, že tato typologie by měla být podle IPN Metodiky základem při rozdělování části institucionální podpory VO na jejich rozvoj. Konkrétně by vláda měla na začátku rozhodnout, kolik peněz dá na každý ze 4 výše uvedených typů VO a IPN Metodika by pak sama peníze rozdělila podle výsledků hodnocení mezi jednotlivé VO různých poskytovatelů, přes něž však financování nakonec stejně musí jít. To je nejen v rozporu s platným zákonem 130/2002 Sb., ale i se standardní procedurou přípravy státního rozpočtu, v níž hrají poskytovatelé klíčovou roli.

Nedovedu si představit, že by vláda na tento způsob rozdělování prostředků na RVO přistoupila a nedivím se proto, že materiál, který na vyzvání Sekce pro VVI připravila v březnu 2016 prof. Moravcová se členy týmu pilotního ověření, se setkal s negativní reakcí ze strany Sekce pro VVI.

Poslední, opět neúspěšný, pokus změnit typologii IPN Metodiky jsem podnikl na výjezdním zasedání týnu IPN Metodika a expertních skupin v Liblicích, 1.- 2.10.2015, kde se měla metodiky doladit. Na jednu z otázek organizátorů, která zněla:

"Jsou žádoucí modifikace v navržené typologii výzkumných organizací, proč a jaké?"

jsem odpověděl:

ano, protože uvedené typologie ignoruje naši realitu a obsahuje s GBER neslučitelné kategorie. Je třeba vzít následující typy VO:

• Veřejné vysoké školy
• Ústavy Akademie věd
• Instituce lékařského výzkumu
•  Instituce zemědělsko-potravinářského výzkumu
• Instituce vojensko-bezpečnostního výzkumu

které podle mého názoru přirozené odpovídají základním segmentům našeho výzkumného prostředí a které by měly být institucionálně podporovány ze státního rozpočtu. Uvedená segmentace odpovídá i hlavním poskytovatelům: Ministerstvu školství, Akademii věd, Minis-terstvu zdravotnictví, Ministerstvu zemědělství a Ministerstvům obrany a vnitra. Metodika M17+, s níž přišla Sekce VVI na Úřadu vlády, toto přirozené členění respektuje, jen spojuje poslední tři sektory do jednoho a umožňuje zahrnout i další resortní VO.

Metodika M17+ není algoritmus, podle něhož by bylo možné přímo hodnotit, ale základní rámec, který je třeba v jednotlivých segmentech dopracovat. Hlavní problém je s veřejnými vysokými školami, které nemají zřizovatele (je jím zákon) a poskytovatel, tj. MŠMT, se dosud plně spoléhalo na kafemlejnek. Ale i v tomto případě jsem přesvědčen, že při troše snahy je MŠMT společně s reprezentacemi vysokých škol schopno Metodiku M17+ dopracovat do takového stavu, aby poskytlo podobně užitečnou informaci, jako hodnocení ústavů Akademie věd v roce 2015, které je s Metodikou M17+ konzistentní.

Segmentovat nebo nesegmentovat?

Na konec ještě k jedné zásadě Metodiky M17+, která se Vlastimilu Růžičkovi a Vladimíru Majerovi nelíbí:

"Již bylo několikrát poukázáno na nepatřičnost odděleného hodnocení různými postupy akademických a univerzitních pracovišť, kde se dělá v podstatě „stejná věda“. Jednotné oborově zaměřené hodnocení zahraničními experty, tak jak to navrhuje IPN Metodika, může poukázat na nežádoucí překryvy nebo naopak na pozitivní synergie a přispět tak i k prohloubení spolu-práce mezi AV ČR a vysokými školami. Společné objektivní hodnocení by také udělalo konec nepodloženým korporativním tvrzením „kdo je lepší“. Navržený systém segmentace bohužel nadále přispívá k udržování „příkopu“ mezi ústavy AV a vysokými školami.."

Na rozdíl od těchto autorů považuji za jeden z hlavních kladů Metodiky 17+ právě segmentaci hodnocení na veřejné vysoké školy, ústavy Akademie věd a resortní VO

Připomínám, že i britský systém hodnocení REF, na nějž se Vlastimil Růžička s Vladimírem Majerem v jejich článku odvolávají, se používá na rozdělení "core funding", tedy analogu našeho institucionální podpory, výhradně mezi cca 160 britských univerzit. Poskytovatelem je HEFCE (Higher Education Funding Coucil for England) a jeho protějšky ve Skotsku a Walesu, který dostává od vlády prostředky na výuku i výzkum na vysokých školách. V Británii existuje ovšem i několik desítek výzkumných organizací, které jsou zřízeny nebo provozovány a (spolu)financovány sedmi britskými Výzkumnými radami (Research Councils) a které tvoří páteř britské výzkumné infrastruktury, např. Rutherford Appelton Laboratory či Laboratory of Molecular Biology. Podobně jako v případě ústavů AV se jedná o neuniverzitní výzkumné organizace, které jsou hodnoceny a financovány svými zřizovateli či provozovateli zcela nezávisle od hodnocení univerzit. Rozdělení prostředků mezi HEFCE a Výzkumné rady je politické rozhodnutí.

Nikoho v Británii nenapadne volat po jednotném hodnocení univerzit a laboratoří Vědeckovýzkumných rad, protože každý chápe, že REF existuje jenom proto, že HEFCE není, na rozdíl od Vědeckovýzkumných rad, schopna kompetentně sama všech 160 univerzit ve všech oborech zhodnotit. V tom je v podobném stavu, jako naše MŠMT. Podobně nikdo nevolá po společném hodnocení univerzit a neuniverzitních výzkumných organizací jako jsou Společnosti Maxe Plancka a Fraunhofera či Společenství Helmholtze a Leibnize v Německu.
Na rozdíl od tvrzení v článku Vlastimila Růžičky a Vladimíra Majera ani ve Francii neexistuje "jednotná a centrálně prováděná hodnocení všech typů VO", ale jen jednotná pravidla pro hodnocení jakýchkoliv jednotek CNRS či vysokých škol státní agenturou AERES. Toto hodnocení je velmi podobné druhé fázi hodnocení ústavů AV, které proběhlo v roce 2015, struktura závěrečné zprávy o hodnocení daného týmu ústavu AV byla z velké části převzata právě z hodnocení AERES. AERES ovšem nehodnotí všechny jednotky CNRS a univerzit najednou, ale postupně a pro každou hodnocenou jednotku je jmenována zvláštní komise. Takové hodnocení by se mi líbilo i u nás, ale to by vyžadovalo zásadně změnit zákon 130/2002 Sb.

A pokud chce někdo srovnat kvalitu a výkonnost výzkumu v ústavech Akademie věd a na vysokých školách, může k tomu použít například standardní bibliometrické srovnání v rozsáhlé studii Oborová publikační výkonnost pracovišť výzkumných organizací v České republice v letech 2009-2013.

Autor: Jiří Chýla