Jak dál v hodnocení vysokých škol – Moduly 3 až 5

Cynismus, nestabilita, všechno špatně

Na samotném začátku byly závěry několikaletého projektu s názvem Mezinárodní audit výzkumu, vývoje a inovací v České republice a implementace jeho výsledků do strategických dokumentů, který byl realizován mezi roky 2009 a 2012 v rámci Operačního programu Vzdělávání pro konkurenceschopnost (OP VK). Vlastní audit zpracovala a doporučení navrhla společnost Technopolis Group. Ze závěrů si připomeňme třeba následující:

„Z naší zkušenosti víme, že česká úroveň cynismu a nestability v politickém životě jsou mnohem vyšší než v ostatních bohatých zemích OECD. Možná pro to existují dobré historicky dané důvody, ale zdá se, že se tím formují značně kontraproduktivní vzorce chování a politik. Metodika hodnocení je toho skvělým příkladem: jedná se o pokus užitím aritmetiky dosáhnout objektivizace alokace zdrojů, který vyplynul z toho, že se mnoho lidí domnívá, že jednotlivcům nelze důvěřovat, protože nedokáží být nestranní a nebudou objektivně rozhodovat. Zrovna tak se pravomoci přesunuly směrem k Radě pro výzkum, vývoj a inovace, protože mnozí nedůvěřují ministerstvům, že dělají svoji práci řádně. Tyto a jiné nedávné případy v oblasti vědní politiky jsou pouhé dobře myšlené náplasti, které ovšem nemohou ani vyléčit konkrétního pacienta, ani potlačit nemoc jako takovou.“

Fungování tehdejšího systému založeného na tzv. kafemlejnku popsali autoři závěrečné zprávy tímto způsobem: „Hodnocení v českém systému VaVaI funguje špatně. Použití Metodiky hodnocení pro účely institucionálního financování je nevhodné, protože deformuje chování, snižuje stabilitu výzkumného systému a je na překážku jeho výkonnosti. Obecně bere hodnocení v potaz nevhodné ukazatele. Je přespříliš zaměřeno na výstupy a poskytuje málo informací o tom, zda jsou státní zásahy úspěšné a zda programy splňují vytčené cíle. V praxi hodnocení je třeba provést radikální změny a využít hodnocení pro dosažení zodpovědnosti a k tvorbě a zlepšování politik.“

Jako jedno z 10 hlavních doporučení navrhl Technopolis Group nahradit metodiku hodnocení systémem výkonnostních smluv mezi poskytovateli a výzkumnými organizacemi, které by měly obsahovat perspektivní i retrospektivní složky.

Jak dál?

Úkolem navazujícího projektu s názvem Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (IPN Metodika), který byl taktéž financován z OP VK, bylo vytvořit návrh nového způsobu hodnocení a financování systému VVI v Česku. Byl realizován mezi roky 2012 a 2015. Na zpracování návrhů se opět podílela společnost Technopolis Group a jedním z nejdůležitějších výstupů byl dokument s názvem Metodika hodnocení ve výzkumu a vývoji a zásady financování. Navržen byl systém NERO – National Evaluation of Research Organisations, který měl být realizován každých šest let. Autoři zprávy předpokládali, že plné účinnosti systém nabude v průběhu dvou až tří rozpočtových období.

V rámci doporučení autoři existující výzkumné organizace v Česku rozdělili do čtyř kategorií, na které by byla uplatňována odlišná pravidla hodnocení i financování. Jednalo se o:

• Vědecké výzkumné organizace – ScRO (Scientific Research Organisations) jsou instituce, jejichž primární funkcí je provádět výzkum ve prospěch výzkumné komunity. To zahrnuje instituce, které mají jako hlavní činnost provádění výzkumu (výzkumné ústavy AV ČR) a/nebo výuku a přípravu budoucích výzkumných pracovníků, tj. veřejné a soukromé vysoké školy a fakultní nemocnice. Jsou zde také zahrnuty instituce, které provádějí výzkum za účelem zlepšení svých služeb pro vědeckou komunitu, např. výzkumné infrastruktury.
• Průmyslové a podnikatelské výzkumné organizace – IBRO (Industry and Business Services Research Organisations) jsou instituce, jejichž hlavním posláním je rozvoj a přenos technologií a znalostí ve prospěch průmyslu a podnikatelského sektoru. Tato kategorie zahrnuje RTO a poradenské společnosti (jejichž počet roste), které nabízejí odborné služby nebo jiné profesionální služby průmyslu a podnikatelským subjektům.
• Výzkumné organizace veřejného sektoru – PSRO (Public Services Research Organisations) jsou instituce, jejichž hlavním posláním je rozvoj a přenos znalostí a technologií pro veřejný sektor. Jsou to vládní laboratoře nebo poradenské společnosti, které nabízejí služby veřejnému sektoru.
• Výzkumné organizace zajišťující národní zdroje – NatRes (National Resources). Tyto výzkumné organizace poskytují služby v oblasti kultury: sbírají a ošetřují národní nebo regionální kulturní veřejné statky a zajišťují přístup k nim veřejnosti a výzkumným pracovníkům. Tato kategorie VO zahrnuje archivy, muzea a galerie.

Předpokladem navrhovaného systému byla existence různých fondů pro různé druhy výzkumných organizací. Systém financování měl dle návrhu obsahovat tři složky: blokový grant (fixní částku přidělenou výzkumné organizaci), výkonnostní smlouvu (jednání mezi poskytovatelem a konkrétní výzkumnou organizací) a výkonnostní systém financování (na základě výsledků hodnocení).

Metodika 2017+

Na základě dalších jednání a hledání kompromisů mezi různými aktéry českého výzkumu, vývoje a inovací byl nakonec 8. února 2017 usnesením Vlády ČR č. 107 přijat dokument Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací (M17+). Ten rozdělil organizace do odlišných kategorií, než navrhoval původní návrh. A odlišuje se také způsob financování.

Dokument zdůrazňuje to, že cílem nově zaváděného systému je kromě jiného i získání informací pro kvalitní řízení VaVaI na všech úrovních – tj. na centrální úrovni, na úrovni poskytovatelů a také na úrovni vlastní výzkumné organizace.

Zatímco první dva moduly (MODUL 1 – Kvalita vybraných výsledků a MODUL 2 – Výkonnost výzkumu) jsou organizačně zabezpečovány Úřadem vlády – Odborem Rady pro výzkum, vývoj a inovace, realizace Modulů 3 až 5 je v gesci jednotlivých poskytovatelů.

Segment vysokých škol - Moduly 3 až 5

Moduly 3 až 5 jsou v segmentu vysokých škol rozděleny následujícím způsobem:

Modul 3 – Společenská relevance – je relevantní především pro vysoké školy, které jsou zaměřeny na aplikovaný výzkum. Týká se především dopadů výsledků výzkumu a vývoje. Hodnocenou jednotkou je fakulta nebo jiná relevantní součást vysoké školy a vysoká škola posléze zpracovává sebehodnotící zprávu v rozsahu 20 normostran nebo maximálně 4 normostrany za jednotku u vysoké školy, která má více než 5 součástí. Modul je rozdělen do šesti oblastí a je posuzován pomocí 12 kritérií:

SPOLEČENSKÁ RELEVANCE / SPOLEČENSKÝ PŘÍNOS HODNOCENÉ JEDNOTKY

• Vlastní hodnocení společenského přínosu výzkumu v oborech rozvíjených na hodnocené jednotce a hodnocené jednotky jako celku (popisné kritérium)

PROJEKTY APLIKOVANÉHO VÝZKUMU

• Projekty aplikovaného výzkumu / Projekty smluvního výzkumu / Výnosy z neveřejných zdrojů (mimo smluvní výzkum) získaných výzkumnou činností

VÝSLEDKY APLIKOVANÉHO VÝZKUMU

• Výsledky aplikovaného výzkumu s existujícím nebo perspektivním ekonomickým dopadem na společnost / Významné výsledky aplikovaného výzkumu s jiným než ekonomickým dopadem na společnost

SPOLUPRÁCE S MIMOAKADEMICKÝM PROSTŘEDÍM A TRANSFER TECHNOLOGIÍ

• Přehled nejvýznamnějších interakcí akademického výzkumu s mimouniverzitní aplikační/firemní sférou / Systém a podpora transferu technologií a ochrany duševního vlastnictví / Strategie zakládání a podpory spin-off firem (lze vztáhnout k celé VŠ se zdůrazněním specifik hodnocené jednotky)

UZNÁNÍ VÝZKUMNOU KOMUNITOU

• Přehled nejvýznamnějších individuálních ocenění za výzkum / Uznání mezinárodní komunitou v oblasti výzkumu (volená členství v odborných společnostech, účast v edičních radách mezinárodních vědeckých časopisů, zvané přednášky na zahraničních institucích atd.)

POPULARIZACE VÝZKUMU

• Přehled nejvýznamnějších aktivit v oblasti popularizace výzkumu a komunikace s veřejností

Modul 4 – Viabilita – je vztažen k výzkumnému prostředí a posuzuje kvalitu řízení a procesů vysoké školy. Hodnocenou jednotkou je vysoká škola jako celek zpracuje sebehodnotící zprávu v rozsahu nejméně 25 normostran. Modul 4 obsahuje dohromady 28 hodnoticích kritérií rozdělených do 8 oblast:

ORGANIZACE, ŘÍZENÍ A PODPORA VÝZKUMU

• Organizace a řízení výzkumu / Systém podpory výzkumu a stimulační opatření pro špičkovou vědu / Institucionální pravidla využití institucionální podpory (DKRVO) / Strategie zakládání, financování a dlouhodobého rozvoje a udržitelnosti výzkumných center / Systém vzdělávání v oblasti ochrany duševního vlastnictví a transferu technologií

PHD STUDIUM

• Organizace doktorského studia / Internacionalizace doktorského studia / Navazující kariéry absolventů doktorského studia (podmínky podpory) / Pravidla financování doktorských studentů, včetně zahraničních (stimulační a motivační nástroje)

NÁRODNÍ A MEZINÁRODNÍ SPOLUPRÁCE A MOBILITA VE VÝZKUMU

• Významné spolupráce ve výzkumu na národní úrovni / Významné spolupráce ve výzkumu na mezinárodní úrovni / Mobilita akademických a výzkumných pracovníků (vč. sektorové a mezisektorové mobility) / Internacionalizace vnitřního prostředí

LIDSKÉ ZDROJE A KARIÉRA VE VÝZKUMU

• Systém kariérního růstu akademických a výzkumných pracovníků / Systém hodnocení akademických a výzkumných pracovníků a obsazování klíčových pozic ve výzkumu / Systém náboru výzkumných a akademických pracovníků z externího prostředí / Struktura lidských zdrojů / Opatření týkající se genderové rovnosti

FINANČNÍ ZDROJE PRO VÝZKUM

• Struktura finančních zdrojů pro výzkum / Podpora získávání zahraničních výzkumných projektů (vč. strategie k získávání prestižních zahraničních finančních zdrojů pro výzkum)

FORMATIVNÍ HODNOCENÍ VÝZKUMU A START-UP STRATEGIE (S APLIKAČNÍM POTENCIÁLEM)

• Interní a externí systém hodnocení výzkumných jednotek (skupin, týmů, kateder, ústavů) / Podmínky vzniku nových týmů a zavádění nových výzkumných témat (tzv. start-up strategy) / Externí poradní orgány pro výzkum (např. mezinárodní vědecká rada)

VÝZKUMNÁ INFRASTRUKTURA

• Systém pořizování a obnovy přístrojů a vybavení pro výzkum / Systém sdílení přístrojů a vybavení pro výzkum

DOBRÁ PRAXE VE VÝZKUMU / RESEARCH INTEGRITY

• Vnitřní pravidla a opatření pro udržování dobré praxe ve výzkumu (např. Code of Conduct for Research Integrity, Ethical Issues) / Strategie otevřeného přístupu k informacím z výzkumu (Open Access) / Strategie správy výzkumných dat (Data Management)

Modul 5 – Strategie a koncepce – posuzuje strategie vysoké školy jako celku pro její budoucí vývoj. Strategie a koncepce jsou zpracovány na období 2020 až 2025. Modul 5 obsahuje 4 oblasti a 5 hodnoticích kritérií:

MISE A VIZE VE VÝZKUMU

• Mise a vize hodnocené instituce ve výzkumu

CÍLE A STRATEGIE VÝZKUMU

• Výzkumné cíle a strategie pro období do dalšího hodnocení

NÁRODNÍ A MEZINÁRODNÍ KONTEXT VÝZKUMU

• Vazba na plnění vyšších národních a nadnárodních strategických cílů a opatření v oblasti výzkumu / Strategie a nástroje strategického řízení pro zahrnutí do mezinárodních žebříčků univerzit (včetně oborových žebříčků) vyjadřujících reputaci univerzity, popř. pro dosažení lepšího umístění

NÁSTROJE PRO NAPLŇOVÁNÍ VÝZKUMNÉ STRATEGIE

• Institucionální nástroje pro naplňování výzkumné strategie s důrazem na podporu kvalitního výzkumu a inovativního prostředí

Organizační zabezpečení

Předpokládá se, že hodnocení v Modulech 3 až 5 bude probíhat dvěma způsoby. Vysoké školy, které o to požádají, budou MŠMT pověřeny zabezpečením realizace svého hodnocení. Návrh, který vysoká škola podá, bude obsahovat návrh složení Mezinárodního evaluačního panelu (MEP), statut a jednací řád MEP, harmonogram hodnocení, návrh výdajů na organizační zabezpečení a popřípadě další náležitosti stanovené poskytovatelem. MŠMT návrh posoudí, může si vyžádat doplnění či úpravu podkladů, a následně pověří příslušnou vysokou školu zabezpečením realizace. Pokud vysoké školy o pověření nepožádají, hodnocení organizačně zabezpečí MŠMT.

Na konci hodnocení MŠMT zpracuje protokol o hodnocení vysoké školy, který v sobě zahrnuje i zprávu Mezinárodního evaluačního panelu. Kompletní výsledky hodnocení (všechny moduly) budou diskutovány v rámci společného jednání mezi MŠMT, Radou pro výzkum, vývoje a inovace (RVVI) a Českou konferencí rektorů (ČKR). Výsledek hodnocení a doporučení budou posléze projednány s vedením příslušné vysoké školy.

Harmonogram

Navržený pracovní harmonogram postupu prací je zatím následující. Do 30. 9. 2019 by měla být konečná podoba Metodiky hodnocení v segmentu vysokých škol (tj. především finální podoba Modulů 3 až 5) schválena Vládou ČR. Tomuto kroku by mělo předcházet předložení materiálu do meziresortního připomínkového řízení (do 31. 7. 2019). Poskytovatel, v tomto případě MŠMT, by měl zveřejnit dokumentaci do 30. 10. 2019.

Do 28. 2. 2020 by měly být vypracovány sebeevaluační zprávy a podklady pro hodnocení vysoké školy a předány poskytovateli. Poskytovatel do 13. 3. 2020 ověří úplnost podkladů. Hodnocení Mezinárodního evaluačního panelu by mělo probíhat v období od 20. 3 do 15. 6. 2020, přičemž zpráva MEP by měla být předána poskytovateli do 30. 8. 2020. MŠMT by mělo zpracovat protokol o hodnocení vysoké školy v Modulech 3 až 5 do 30. 9. 2020 a protokol o hodnocení vysoké školy ve všech modulech (M1 až M5) do 31. 12. 2020. Financování vysoké školy na základě financování výsledků hodnocení by mělo být zahájeno od 1. 1. 2021.

Problematická místa

V současné době se mezi vysokými školami diskutují určité nejasnosti, které se v souvislosti s navrženou metodikou v rámci Modulů 3 až 5 objevily. V první řadě jde o ujasnění základních definic a výrazů obsažených především v tabulkových přílohách sebeevaluačních zpráv. Dále to, že mnoho údajů, které nové hodnocení požaduje, již vysoké školy vykazují či publikují v jiných dokumentech a pro jiné účely (například výroční zprávy). Vysoké školy se tudíž obávají další zvýšené administrativní zátěže, která je podle mnohých aktérů již takto neúměrně vysoká a na úrovni institucí i jednotlivých pracovníků omezuje výkon vlastní tvůrčí a vzdělávací činnosti na úkor často příliš detailního vykazování. Velkou otázkou pak zůstává využitelnost takto koncipovaných sebehodnotících zpráv pro potřeby managementu vysokých škol či jejich součástí.

 

Autor: Vědavýzkum.cz (AV)

---

Téma Modulů 3 - 5 silně rezonovalo i nedávnou brněnskou konferencí Instituticonální management ve vědě 2019. Na portále Vědavýzkum.cz diskuze o nové Metodice 2017+ probíhá již dlouho. Čtěte například komentář Michaela Šebka k průběhu hodnocení výzkumných organizací podle Metodiky 2017+, které vloni prošlo prvním ze tří zahřívacích kol (1, 2). Václav Hořejší se analýzou hodnocení vědeckých výsledků zabývá ve svém blogu „Kafemlejnek – dobrý sluha a zlý pán?" a Michal Petr ve svém textu reflektuje výstupy z hodnocení podle Metodiky 2017+ z pohledu výzkumné organizace. Daniel Münich se problematikou nové metodiky zabývá dlouhododobě - čtěte například zde a zde.