Třetím rokem pokračuje hodnocení výzkumných organizací dle Metodiky 2017+. Některé komentáře předsedů Odborných panelů k hodnocení vybraných výsledků v Modulu 1 jsou poměrně kritické. Dokáží čeští výzkumníci a výzkumné organizace odlišit výzkum od dalších činností a snaží se o to vůbec? A jak je obtížné prokázat společenskou relevanci výzkumu ve společenských vědách?
Na stránkách informačního systému výzkumu, vývoje a inovací (IS VaVaI) bylo nedávno zveřejněno hodnocení vybraných výsledků v Modulu 1 a také bibliometrické analýzy v Modulu 2. V tomto článku se podrobněji podíváme na to, co o hodnocení v Modulu 1 říkají předsedové Odborných panelů.
Hodnocení vybraných výsledků v rámci Modulu 1 realizované Odborem Rady pro výzkum, vývoj a inovace prostřednictvím Odborných panelů pomocí vzdálených recenzí je jedním z podkladů pro hodnocení výzkumných organizací podle Metodiky M17+. Zveřejněné zprávy shrnují závěry tohoto hodnocení po oborových skupinách a identifikují organizace, které se autorsky podílely na vzniku nejlépe hodnocených výsledků.
Výzkumné organizace určily, zda jimi přihlášený výsledek má být posouzen buď podle kritéria přínos k poznání, nebo podle kritéria společenská relevance. Celkem bylo za tři roky (2017–2019) zhodnoceno téměř osm tisíc výsledků. Úkolem hodnotitelů je konstatovat, zda daný výsledek je v souladu se světovými či národními standardy kvality v příslušném oboru a ohodnotit ho na stupnici 1–5 (jedna nejlepší, pět nejhorší) doprovázené zdůvodněním. Podrobný postup hodnocení a popis hodnotící škály pro obě posuzovaná kritéria naleznete zde.
Odborný panel 1: Natural Sciences
Předseda Odborného panelu 1 Natural Sciences Stanislav Kozubek v komentáři k hodnocení výsledků uvádí, že mezi 810 hodnocenými výsledky převažoval podíl výsledků hodnocených z hlediska přínosu k poznání, což odpovídá povaze výzkumu v oblasti přírodních věd. Výsledky se společenským významem byly hodnoceny v průměru známkou 2.94, zatímco výsledky s přínosem k poznání měly průměrnou známku 2.02. Pro další hodnocení panel navrhuje některá zlepšení, například, aby v pravidlech pro přihlašování výsledků bylo doporučeno přihlašovat pouze výsledky, na nichž mají předkládající organizace zásadní tvůrčí podíl.
Celou zprávu si můžete přečíst zde.
OP 2: Engineering and Technology
Zpráva Odborného panelu 2 Engineering and Technology, jehož předsedou je Michael Šebek, konstatuje, že úroveň výzkumu v technických oborech je u nás špatná. „Velká většina našich výzkumníků nemá dobré výsledky teoretické ani aplikační, nemá prostě žádné dobré výsledky! Výjimky existují, ale jsou stále jen výjimkami! To ukázaly již loňské analýzy a ty letošní to jen potvrzují. A počet těchto výjimek – ostrůvků excelence – neroste, za což může špatné řízení většiny našich výzkumných organizací, které jsou více či méně založené na samosprávě. Většinu vysokých škol a výzkumných ústavů u nás neovládají „ti excelentní,“ ale „ti průměrní a podprůměrní.“ Proto se ani v technických oborech náš výzkum nijak rychle nelepší,“ stojí v úvodu zprávy.
Michael Šebek dále kritizuje například skutečnost, že výzkumné organizace a výzkumníci nedokáží rozlišit výzkum od dalších činností, nebo se o to ani nesnaží. Opakovaně jsou tak k hodnocení předkládány inženýrská díla, předpisy, normy a metodiky, učebnice, přehledové články a další nevhodné výstupy, které nepřinášejí nové výsledky. Celkově bylo ve třetím roce zasláno v této skupině věd 438 výsledků, přičemž více než polovina získala známku 4 (37 %) nebo 5 (16 %), naopak pouze 3 %, tedy 11 zaslaných výsledků získalo známku 1.
Celou zprávu si můžete přečíst zde.
OP 3: Medical and Health Sciences
Celkově bylo ve třetím odborném panelu v tomto roce hodnoceno 258 výsledků, přičemž podle kritéria přínos k poznání bylo hodnoceno 167 výsledků a podle společenské relevance se hodnotilo 91 výsledků, což je dle zprávy u těchto oborů pochopitelné. Větší podíl hodnocení dle společenské relevance byl znát spíše v oboru Clinical medicine.
Ve svém komentáři předseda panelu Miroslav Ryska konstatuje, že se ve třetím roce podařilo stabilizovat seznam kvalitních hodnotitelů a jejich znalost o metodice hodnocení. V příštím hodnocení by pak podle něj měli členové panelu mít více na zřeteli posuzování přínosu tuzemského člena autorského kolektivu na pozici dodavatele dat oproti hlavnímu či korespondujícímu autorovi.
Celou zprávu si můžete přečíst zde.
OP 4: Agricultural and Veterinary Sciences
V této oblasti bylo v roce 2019 předloženo k hodnocení celkem 187 vybraných výsledků výzkumných organizací. Výrazně zde převyšoval počet výsledků hodnocených dle kritéria společenské relevance (135) nad přínosem k poznání (52). Podle předsedy Odborného panelu 4 Radima Váchy došlo k viditelnému zlepšení v rozlišování těchto dvou kategorii a celkově v procesu předkládání excelentních výsledků k hodnocení.
Panelisté konstatovali zlepšení i v oblasti práce vzdálených hodnotitelů. Přetrvávají však dílčí problémy, kterými jsou zejména nedostatečný počet kvalitních odborníků v některých oborech nebo opožděné reakce některých hodnotitelů. Naopak klesl počet případů, kdy se posudky jednoho výsledku výrazně lišily. Hodnotitelé tak získali více zkušeností a jejich práce je podle zprávy vyváženější.
Oproti minulému roku vzrostl počet výsledků hodnocených stupni 1, 2 i 3 a poklesl počet výsledků hodnocených stupni 4 a 5. Profil hodnocení vylepšují bibliometrizovatelné výsledky kritéria přínosu k poznání, které bylo možno letos do hodnocení přihlásit. Trend nárůstu lépe hodnocených výsledků je však znát i bez zohlednění tohoto kritéria.
Celou zprávu si můžete přečíst zde.
OP 5: Social Sciences
V Odborném panelu 5 bylo hodnoceno 400 výsledků, tedy výrazně méně než v minulém roce. Jak v komentáři uvádí místopředsedkyně OP 5 Radka Dudová, i z tohoto důvodu se podařilo pro všechny výsledky sehnat hodnotitele a hodnocení zrealizovat. Ve výsledném hodnocení panovaly značné mezioborové rozdíly. Nejlepší průměrnou známku (2,56) dosáhly výsledky v kategorii Social and Economic Geography, naopak v kategorii Other Social Sciences dosáhly výsledky průměrné známky 4,1.
Oproti minulému roku vzrostl i zde podíl špičkových výsledků (známka 1) z 2,6 na 5 % a excelentních výsledků (známka 2) z 13,8 na 18 %. Důvodem je patrně opět možnost přihlašovat do vzdáleného hodnocení bibliometrizované výsledky.
Neúměrně vysoký počet (28 %) podprůměrných výsledků vykazují výsledky hodnocené z hlediska společenské relevance. Průměrné hodnocení podle společenské relevance bylo ve všech oborových skupinách horší než podle přínosu k poznání. To je částečně způsobeno nižší kvalitou výsledků zasílaných do hodnocení podle tohoto kritéria, ale také obtížností reálně prokázat společenskou relevanci v sociálních vědách (zejména 1–2 roky po publikování výsledku).
Celou zprávu si můžete přečíst zde.
OP 6 Humanities and the Arts
Oproti ostatním výše zmíněným Oborovým panelům měla v 6. panelu možnost vykazovat i bibliometrizovatelné výsledky menší vliv na strukturu výsledků, neboť pro tuto oblast nepředstavují hlavní typ publikační činnosti. Výrazněji strukturu výsledků ovlivnila možnost poslat do hodnocení výsledky za předchozích 5 let, která umožnila organizacím vybírat z většího množství dříve uplatněných výsledků. To se projevilo poklesem podílu výsledků hodnocených stupni 4 a 5 ve prospěch výsledků hodnocených stupněm 2.
Předseda Odborného panelu 2 Petr Vorel uvádí, že třetí rok implementace Modulu 1 v rámci 6. vědní oblasti lze souhrnně hodnotit jako úspěšný. Systém hodnocení už je stabilizován a prokázal svou funkčnost i v obtížných podmínkách karanténních opatření a hodnocení přineslo validní výsledky, které budou použitelné pro hodnocení organizací jako součást delší časové škály. Upozorňuje však, že zejména v humanitních vědách bude dostatečně reprezentativním vzorkem až soubor dat z celého pětiletého cyklu.
Celou zprávu si můžete přečíst zde.
Autor: Vědavýzkum.cz (JS)
- Autor článku: ne
- Zdroj: Vědavýzkum.cz
