Na redakci portálu Vědavýzkum.cz se obrátili autoři petice, která vyzývá k zachování pravidelné roční periodicity hodnocení vybraných výstupů podle Modulu 1 Metodiky 2017+ s prosbou o zveřejnění. O vyjádření jsme požádali nejen autory petice, ale i další odborníky. Přinášíme vám jejich názory.
Ilustrativní obrázek vygenerovaný pomocí AI
Požádali jsme o vyjádření autory petice Tomáše Matyse Grygara a Michaela Šebka a dále také Tomáše Polívku, hlavního koordinátora hodnocení podle Metodiky 2017+, který se možnou úpravou periodicity hodnocení zabývá, a ekonoma zabývajícího se (mimo jiné) bibliometrií, Daniela Münicha.
Petici sepsali Tomáš Matys Grygar z Ústavu anorganické chemie Akademie věd ČR a Michael Šebek z Elektrotechnické fakulty Českého vysokého učení technického v Praze, který působil jako hlavní koordinátor hodnocení podle Metodiky 2017+ v letech 2018–2021. Autoři reagovali především na vystoupení Tomáše Polívky, současného hlavního koordinátora hodnocení podle Metodiky 2017+ na konferenci Implementace Metodiky 2017+ (v čase 4:17:00). Michael Šebek na konferenci vystoupil v čase 5:02:00. O konferenci jsme psali zde.
Vyjádření spoluautora petice Tomáše Matyse Grygara:
Bylo už řečeno mnoho o exponenciálním nárůstu počtu publikací a přetížení recenzního procesu v tradičních zavedených časopisech, i o tom, že sehnat kvalitního recenzenta rukopisů je těžké, protože všichni jsou přetížení vlastním psaním v rostoucím publikačním tempu. Méně se mluví o nástupu publikační aktivity doktorandů, kteří jsou v počátcích kariéry, a přesto mnozí píší rychleji, než si prohlubují vlastní znalosti. Recenzenti většinou víc propagují vlastní myšlenky, než nestranně hodnotí cizí myšlenky v rukopisech, a editoři sledují hlavně módní trendy v oboru, aby svým časopisům udrželi co nejvyšší pozice v citačních žebříčcích. Modul M1 v Metodice2017+ ale přináší méně zaujatý pohled na publikace a vlastně návrat ke kořenům vědecké práce.
Kdysi se na pracovištích a domácích konferencích diskutovalo, kolegové si precizovali myšlenky ve vzájemných debatách, na které dnes není čas a chuť. Výsledkem je, že mezi kvantitou a kvalitou publikací se zvolna posiluje vztah nepřímé úměry – a tady opravdu stačí pouhé přečtení někým, kdo není přímo ze stejného směru bádání a navrch k tomu ví, že jeho posudek bude veřejně vystaven. Díky modulu M1 můžeme ve formě „známkování“ dostat informaci, která je principiálně odlišná od jakýchkoli bibliometrických analýz a na rozdíl od nich má moji důvěru. Něco velmi podobného by se dalo napsat i o hodnocení aplikovaného výzkumu.
Proto jsem pro zachování ročních sběrů pro M1. Roční perioda nebude tolik zatěžovat hodnotitele, umožní plynule reagovat na dynamickou situaci v publikačním prostoru a bude umožňovat systém průběžně vylepšovat, jako dosud.
Vyjádření hlavního koordinátora hodnocení podle Metodiky 2017+ Tomáše Polívky:
Návrh na změnu periodicity hodnocení vychází z požadavků na snížení administrativní zátěže pro jednotlivé výzkumné organizace (VO) a na zlepšení efektivity procesu hodnocení, což jsou cíle, které byly pro aktualizaci Metodiky schváleny Radou pro výzkum, vývoj a inovace. Tyto cíle vycházejí z připomínek poskytovatelů, kde se požadavek na prodloužení intervalu hodnocení systematicky opakuje, a aktualizace Metodiky hodnocení se snaží tyto připomínky a návrhy poskytovatelů v rozumné míře reflektovat. Současný stav, kdy každá VO předkládá výsledky k hodnocení do modulu M1, je zbytečně administrativně náročný a je také třeba poznamenat, že podobné schéma se v hodnocení vědy ve vědecky vyspělých zemích neuplatňuje (například britský REF, ze kterého český model hodnocení vychází, hodnotí výsledky jednou za sedm let).
Proto je v rámci aktualizace Metodiky zvažován přechod na pětiletý cyklus hodnocení s tím, že každý rok bude hodnocen jiný segment VO (rezortní VO, ústavy AV ČR, ve dvou letech VŠ, pro pátý rok je navržen pro všechny VO tzv. tematický modul zaměřený na specifickou oblast výzkumu).
Není tedy pravdou, že dojde k narušení kontinuity práce hodnotitelů a panelistů, jelikož hodnocení by se podle tohoto návrhu provádělo každoročně s tím, že každý rok v pětiletém cyklu budou hodnocené jiné VO, což bylo vysvětleno i na konferenci Implementace Metodiky 2017+ (proběhla 14. 2. 2024) zmiňované v textu petice. Navrhovaná změna periodicity hodnocení je stále ve stavu návrhu, jehož parametry jsou intenzivně diskutovány.
Vyjádření spoluautora petice a dřívějšího hlavního koordinátora hodnocení podle Metodiky M17+ Michaela Šebka:
Nesnižujme nároky – všichni určitě výborní nejsou! Na světové špičce jsou jen někteří a hodnocení v Modulu 1 to správně ukazuje. Rozsah a definice známek dobře pokrývají široké spektrum kvality výzkumu. Dostat trojku je velký úspěch a pochvala, dvojka je určena pro opravdu vynikající výsledek a jedničku si zaslouží jen mimořádný výsledek skutečně světového dopadu a významu. Tohle rozmezí prostě odpovídá realitě a bylo by chybou je úpravami jakkoli nivelizovat! Dalšího zvýšení kvality nedosáhneme tím, že všem dáme ty nejlepší známky.
Zachovejme průběžné hodnocení s roční periodicitu – bez zpětné vazby řídit kvalitu nelze!
Každoroční výběr, zasílání a hodnocení výsledků poskytuje výzkumným organizacím rychlou a opakovanou zpětnou vazbu, která je nezbytná pro průběžné řízení kvality. Přitom pro ně nepřináší skoro žádnou práci navíc, nebo by alespoň přinášet nemělo. Dobře řízená pracoviště stejně vlastní průběžné hodnocení provádějí a jejich manažeři jisté dobře vědí, co se u nich nedávno nejlépe povedlo. Vlastní výběr nejlepších výsledků, kterými se chtějí pochlubit, tedy vlastně nepřináší žádnou práci navíc. A pro organizace řízené špatně, jejichž manažeři se průběžně o kvalitu nezajímají, je jen dobře, když je k tomu národní hodnocení přinutí. To je ostatně jedním z jeho cílů. A potřeba zamyslet se – alespoň jednou za rok – nad dopady a přínosy vlastního výzkumu a ujasnit si odezvu a přínosy vlastních výsledků prospěje jistě každému výzkumníkovi.
Vyjádření ekonoma Daniela Münicha:
Vždy je třeba vážit výhody a nevýhody změn praxe hodnocení dle Metodiky 17+. Některé agendy má smysl dělat průběžně každý rok. Např. zhodnocení vybraných vědeckých výsledků v Modulu 1. Jiné je lepší dělat jednou za pět let. Např. nemá smysl každoročně komentovat bibliometrické zprávy v Modulu 2.
Petice je primárně o periodicitě hodnocení v Modulu 1. Tam je opravdu důležité, aby hodnocení probíhalo nadále průběžně a výsledky se za pět let nenakupily. Už dnes je těch výsledků každoročně kopec. A přitom to stále není dostatečně vypovídající vzorek. Modul 1 je ale zralý na změny jiné.
Za prvé, do Modulu 1 by se měly předkládat články hodnocené v Modulu 2 pouze v případech, kdy má organizace pocit, že výsledek je výrazně přínosnější, než se jeví z bibliometrického Modulu 2. V Modulu 1 by to umožnilo zvýšit počet výsledků, u nichž se bibliometrie použít nedá.
Za druhé, výsledky se společenským přínosem by se do Modulu 1 měly předkládat až v momentě, kdy lze přínosy doložit. Dnes je většina předkládána příliš zčerstva a doprovází je pouze vize užitečnosti. Vyhodnocovat fungování organizací každý rok, jako dosud, smysl nemá. Každoročně se to dělat dobře nedá a za rok se toho moc nezmění.
V mezidobí však musí být jasné, co se bude za pět let hodnotit. Mělo by být jasné, že v Modulu 2 půjde o články v nejvlivnější desetině (prvním decilu, D1) či čtvrtině (Q1) časopisů dle impaktního faktoru (AIS), případně i v druhé čtvrtině (Q2). Měly by mít jasnou váhu řízení, internacionalizace, doktorandi, národní a mezinárodní projekty. Zodpovědní za řízení vědy musí v mezidobí nést větší díl zodpovědnosti za chod organizací. Musí umět rozlišit dobrou vědu a vědět, jak se dělá. Nemohou se spoléhat, že to za ně odpracují hodnoticí panely.
Autor: respondenti, Vladislava Vojtíšková (Vědavýzkum.cz)
Názory nijak nevyjadřují názory a postoje redakce.
Tomáš Matys Grygar pracuje od roku 1990 v Ústavu anorganické chemie AV ČR v oblasti chemické analýzy materiálů, sedimentů a půd. Kolem roku 2013 začal spolupracovat s FŽP UJEP, kde se podílí hlavně na vedení kvalifikačních prací studentů. Spolu s Michaelem Šebkem sepsal Petici za zachování dosavadní metodiky hodnocení vybraných výstupů výzkumných organizací podle M2017+.
Tomáš Polívka je od roku 2021 hlavním koordinátorem hodnocení podle Metodiky 2017+. Byl členem expertních panelů a komisí v IPn Metodika, Metodika 2013–2016, Metodika 2017+. Od roku 2018 je členem Komise pro hodnocení výzkumných organizací a ukončených programů. Profesor biofyziky na Přírodovědecké fakultě Jihočeské univerzity v Českých Budějovicích, je vedoucím laboratoře ultrarychlé spektroskopie, kde vede výzkum zaměřený zejména na studium primárních fotochemických dějů ve fotosyntéze.
Michael Šebek je profesorem kybernetiky na FEL ČVUT. Pět let působil jako národní koordinátor hodnocení podle metodiky M17+, místopředseda Komise pro hodnocení výzkumných organizací a předseda panelu pro technické vědy.
Daniel Münich je akademický ekonom zabývající se empirickými výzkumy v oblasti ekonomie trhu práce, vzdělávání, veřejných politik a hodnocení jejich dopadů. Působí na CERGE-EI, společném pracovišti Univerzity Karlovy a Akademie věd. Kromě výzkumné a pedagogické činnosti působil a působí jako expert či poradce v rámci projektů EU, MMF, OECD, Světové banky a dalších institucí. V posledních 20 letech se v různých orgánech výrazně podílel a podílí na národním hodnocení VaV. Je spoluautorem řady bibliometrických nástrojů nabízených široké veřejnosti akademickým think tankem IDEA při CERGE-EI. Aktivně působí v České společnosti ekonomické, publikuje popularizačně osvětové a názorové články v novinách a časopisech a komentuje témata související s trhem práce, školstvím, vzděláváním, vědou a výzkumem. Přes deset let píše popularizačně-názorový blog O hodnocení a financování vědy.
