Petr Kalíšek: Co obnášelo hodnocení vědy podle M17+ na Masarykově univerzitě?

Vytvořeno podle Metodiky 2017+ pomocí prostředků z institucionální podpory MŠMT pro výzkum a ovlivněno propuknutím globální pandemie COVID-19. Bude to napínavé čtení.

M17+

Za zkratkou připomínající spíše produkt zbrojního průmyslu se skrývá nástroj hodnocení vědy, který byl implementován v roce 2017 a jehož plné nasazení proběhlo v roce 2020. Nástup metodiky znamená změnu kultury národního hodnocení vědy v ČR – efektivnější a spravedlivější užití kvantitativních indikátorů a větší orientace na kvalitativní kritéria. Toho je dosaženo pomocí 5 modulů:

• Modul 1 Kvalita vybraných výsledků – v recenzním řízení odborné panely posuzují vybrané výsledky hodnocené instituce; zpracovává Úřad vlády.
• Modul 2 Výkonnost výzkumu – hodnotí se soubor sledovaných indikátorů o vědecké produkci; zpracovává Úřad vlády.
• Modul 3 Společenská relevance – zaměřený na aplikovaný výzkum organizačních jednotek hodnocené instituce a jeho přínos; zpracovává hodnocená instituce.
• Modul 4 Viabilita – hodnotí se různé aspekty nastavení managementu vědy na úrovni VŠ (PhD studium, HR politika, internacionalizace, čerpání grantů); zpracovává hodnocená instituce.
• Modul 5 Vize a strategie – předmětem hodnocení je vize instituce na další období hodnocení; zpracovává hodnocená instituce.

Více informací o M17+ (oficiálně Hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací dle Metodiky M17+) se dozvíte z úvodního článku v em.muni.cz nebo z webu, který na MU metodiku do detailu představuje. A jak to celé proběhlo v praxi?

Příprava a psaní sebeevaluační zprávy

Pozornost hodnocení podle M17+ věnovala MU ještě před jeho oficiálním startem. Na začátku roku 2019 se Monika Sieberová a Michal Petr z Odboru výzkumu Rektorátu MU zúčastnili společného projektu s Univerzitou Karlovou a Univerzitou Palackého, jehož cílem bylo posoudit možnosti sběru dat podle kritérií MŠMT pro hodnocení modulů 3–5. Právě realizace těchto modulů tvoří předmět našeho článku. Řešitelé jako výstup z projektu vytvořili studii proveditelnosti se závěry pro MŠMT. Důkladná znalost kritérií rozhodně pomohla při sběru dat.

Předmětem evaluace M3–M5 bylo období 2014–2018. Oficiální start se uskutečnil v prosinci 2019 zasláním žádosti o pověření organizací hodnocení. K té bylo nezbytné předložit mimo jiné i seznam hodnotitelů, jejichž oslovení proběhlo na podzim 2019. Složení panelu se ještě dvakrát proměnilo a finální počet byl ustanoven na 12 osobách s účastí dohledu z MŠMT. Kritéria pro výběr hodnotitelů byla následující: absence společných publikací s MU a účasti na projektech s MU za posledních 5 let, seniorní akademická pozice, působení ve vedoucích orgánech fakulty či univerzity.

V lednu 2020 fakulty MU začaly sepisovat sebeevaluační zprávy (SEZ) k M3. Zde se ukázal jako velmi problematický limit v počtu znaků na jednotlivé M3 (pouze 7 200 znaků na fakultu). Podklad k M4 a M5 zpracovával rektorát. SEZ tvořila hlavní zdroj informací pro mezinárodní evaluační panel. V době jejího dokončení ke konci března propukla v Evropě naplno pandemie a všechny milníky byly odsunuty. Vrchol celého hodnocení – on-site visit – se přesunul z května na listopad. Při zpětném pohledu si nelze představit, jak by to dopadlo, kdyby hodnocení běželo podle původního plánu s veškerou logistikou (ubytování, doprava, společenský program pro hodnotitele atd.). Pravděpodobně by vše bylo mnohem méně precizní a organizátoři z MU by se také mnohem méně vyspali.

On-line jednání a evaluační zpráva

V nové realitě ovlivněné uzavíráním institucí a omezením cestování probíhala spolupráce s hodnotiteli výhradně v on-line prostředí. SEZ k M3–M5 vč. shrnutí M1 a M2 byla hodnotitelům odeslána v květnu 2020. MEP měl téměř 4 měsíce na studium zpráv. Během tohoto období zaslal panel univerzitě dotazy k obsahu i formě zprávy. Na jejich zodpovězení došlo následně během on-line jednání s vedením univerzity a zástupci fakult v listopadu 2020. Pro získání aspoň částečné orientace v univerzitním i brněnském ekosystému hodnotitelé měli možnost zhlédnout u každé fakulty krátké úvodní video vytvořené speciálně pro tento účel. Jak pro evaluátory, tak pro účastníky z MU rektorát připravil web s instrukcemi pro hodnocení a práci s podklady.

A big event is happening on a small laptop display. An online International Evaluation Panel begins working with informal welcome call and opens the whole week evaluation of the @muni_cz within the frame of #metodika17. @MUNI_Science pic.twitter.com/32kxm3GjLi

— Michal Petr (@Michal_Petr_MU) November 9, 2020

Na konci čtyřdenní série intenzivních schůzek, kdy panel v plném složení diskutoval sebeevaluační zprávu každé fakulty, vznikl draft evaluační zprávy (EZ) vč. známkování podle oborové kalibrace MŠMT (různé váhy známek podle oboru). EZ byla následně předána v prosinci 2020 vedení MU ke komentáři. Po ukončení sběru připomínek na konci ledna 2021 hodnotitelé zprávu finalizovali a připravili k odeslání na MŠMT. Tímto krokem bylo hodnocení na straně MU uzavřeno. MŠMT nyní zajišťuje konsolidaci a posouzení EZ u všech škol.

Závěry hodnocení

MEP jednohlasně ocenil organizačně-technické zajištění celého hodnocení ze strany MU. Připravenost jednotlivých zástupců hodnocených jednotek a jasné instrukce přispěly k hladkému průběhu jednání s fakultami, kdy se v místnostech v aplikaci Zoom za 4 dny vystřídalo kolem 100 lidí. Hodnotitelé vyjádřili poměrně důrazný nesouhlas s netransparentním váhováním MŠMT u konečných známek u M3, které bylo založeno na výpočtu z dílčích známek u 11 kritérií u každé hodnocené fakulty. Nebylo totiž jasné, proč byly zvoleny zrovna tyto váhy u jednotlivých oborů FORD (OECD Fields of Research and Development), podle nichž MŠMT určovalo zařazení hodnocených fakult MU. Vyplňování SEZ i EZ by jistě bylo snazší pro všechny zapojené, kdyby probíhalo v uživatelsky přívětivém on-line rozhraní s možností editovat texty, sledovat změny nebo vložit odkazy.

Na finální výsledky si nicméně musíme počkat kvůli dalšímu projednávání výsledků na ministerstvu. Budou doručeny univerzitě na konci května 2021 a evaluační panel do nich již nebude zasahovat.

Využití výsledků hodnocení

Fakulty i univerzita můžou závěry z evaluační zprávy a jednání s MEP implementovat ihned, jelikož jim byly předány již v listopadu 2020 (a po úpravách letos v lednu). Evaluační zprávy M3–M5 tvoří součást podkladů každoročních interních evaluací fakult s vedením MU, které probíhají v těchto dnech (leden-únor 2021).

Z hlediska rozvoje univerzity výsledky hodnocení poslouží k implementaci opatření v nastavení řízení vědy. Doporučení MU projeví do svých strategických dokumentů . Realizovaná opatření a jejich dopad budou předmětem dalšího kompletního hodnocení po 5 letech. Závěry použije rovněž Národní akreditační úřad.

Co se týče financování MU, výsledky hodnocení v segmentu vysokých škol tvoří jeden z podkladů, ze kterého vychází Rada pro výzkum, vývoj a inovace při přípravě návrhu výdajů na vědu a výzkum pro jednotlivé poskytovatele (vč. MŠMT). Výsledek kompletního hodnocení (M1–M5) bude tedy podkladem pro stanovení výše institucionální podpory na období dalších pěti let.

Závěr

Průběh národního hodnocení v modulech M3–M5 na Masarykově univerzitě ukázal, že úspěšné zajištění celého procesu se neobejde bez dlouhodobého plánování, důkladné přípravy podkladů a výjimečného osobního nasazení hodnotitelů, zástupců hodnocené univerzity a dalších stakeholderů. Pro zjednodušení organizace práce by bylo vhodné adresovat problémy zmíněné v tomto článku.

Hodnocení vědy, ať už obecně nebo v rámci M17+, rozhodně není jednoduchý proces o pár krocích či proměnných. I přes komplexitu, potenciální informační přehlcení a politický tlak je však cenným nástrojem, který je nezbytné užít v souladu s pravidly a udržet nestranným. Jen tak se lze dopátrat výsledků, díky nimž se akademická obec může poučit a zlepšit svou pozici v mezinárodním kontextu.

Fakta o hodnocení MU

• 3 moduly z 5 zmíněné metodiky, které byly předmětem této evaluace.
• 6 lidí v úzkém přípravném týmu z Odboru výzkumu Rektorátu MU.
• 8 přípravných a finalizačních on-line meetingů s 12 členy a členkami mezinárodního evaluačního panelu (MEP) ze 7 evropských zemí a Izraele.
• Limit 7 200 znaků (4 normostrany) na sebeevaluační zprávu za jednu fakultu/institut. Sebeevaluační zpráva obsahovala 12 kritérií k vyjádření.
• 100+ lidí z MU zapojených do přípravy 1 sebeevaluační zprávy dlouhé celkem 277 stran.
• 12 on-line meetingů s vedením MU, fakultami a instituty (CEITEC a ÚVT) během „on-line visit“ MEP v listopadu 2020.
• 1 finální evaluační zpráva zaslaná MŠMT na konci ledna 2021.

 

Autor: Petr Kalíšek

Foto: Magazín M/Martin Indruch

Zdroj: Masarykova univerzita

 

Autor tohoto článku zastával během příprav a v průběhu hodnocení pozici tajemníka mezinárodního evaluačního panelu. Pohled člena hodnotitelského panelu si můžete přečíst zde.

---

Petr Kalíšek

Vystudoval obor Informační studia a knihovnictví na Masarykově univerzitě. Účastnil se organizace workshopů a zahraničních konferencí orientovaných na informační vzdělávání nebo design služeb. Vedl tým právní podpory aktivních občanů v organizaci Frank Bold Society. Od ledna 2020 působí v scientometrickém týmu (Centrum pro scientometrickou podporu a evaluaci) při Odboru výzkumu na rektorátu MU, kde facilitoval jako tajemník mezinárodního evaluačního panelu hodnocení podle Metodiky 2017+.