facebooktwittergoogleinstagram

Věda a výzkum

Portál Vědavýzkum.cz - Nezávislé informace o vědě a výzkumu

IOCB Tech, s.r.o. - hlavní partner portálu Vědavýzkum.cz

Hlavní partner portálu
facebooktwittergoogleinstagram

Z veřejných peněz platíme i mnoho špatných výzkumů

9. 11. 2020
Z veřejných peněz platíme i mnoho špatných výzkumů

Česko stále vykazuje nadprodukci vědeckých publikací, mnohdy v ne zrovna kvalitních časopisech. Situace je specifická v každém oboru, nicméně ve většině z nich výrazně zaostáváme za zeměmi EU 15. Co říkají komentáře odborných panelů k nově zveřejněným bibliometrickým analýzám v rámci Metodiky 2017+?

Vládní Rada pro výzkum, vývoj a inovace (RVVI) dokončila další ročník hodnocení výzkumných organizací na národní úrovni (Moduly 1 a 2) podle Metodiky 2017+ a zveřejnila výstupy tohoto hodnocení. Na základě výsledků se připravuje takzvané indikativní škálování výzkumných organizací do čtyř skupin podle kvality jejich vybraných výsledků v národním měřítku. Výsledky po dvou letech hodnocení byly zveřejněny letos v dubnu. Jak dopadlo v segmentu vysokých škol, se podívejte zde. Nyní byly přidány kompletní výstupy hodnocení za třetí rok.

Na začátku října jsme pro vás připravili výběr z komentářů předsedů odborných panelů k hodnocení vybraných výsledků v Modulu 1. Na webu RVVI si už můžete prohlédnout také bibliometrické analýzy pro jednotlivé oboryvýzkumné organizace, které jsou s hodnocením vybraných výsledků v Modulu 1 komplementární a společně tvoří podklad pro plánované celkové hodnocení výzkumných organizací dle Metodiky 2017+.

FMcartoon132 2019

Bibliometrické zprávy jsou určeny především poskytovatelům institucionální podpory a institucím samotným pro účely manažerského řízení, ale nabízí také transparentní indikativní srovnání všech aktérů VaVaI členěné podle Metodiky M17+ do segmentů (Akademie věd ČR, vysoké školy, rezortní organizace).

Při jejich čtení je třeba mít na paměti, že bibliometrická analýza má pro různé organizace různou vypovídací hodnotu a je dána jak obory, ve kterých organizace publikuje, tak jejím zaměřením - například v oblasti aplikovaného výzkumu je obvykle relevance bibliometrie nízká. Odbor RVVI upozorňuje, že pro výzkumné instituce, pro které není publikování v impaktovaných časopisech relevantním měřítkem kvality, jsou všechny poskytnuté údaje v bibliometrických analýzách pouze doplňkovým kritériem hodnocení.

Jak předsedové odborných panelů okomentovali bibliometrické analýzy pro jednotlivé obory, které přináší koncentrovanou informaci o výkonnosti oborů VaVaI na úrovni České republiky?

Natural Sciences

Podle názoru odborného panelu pro přírodní vědy zprostředkovaného v komentáři Stanislava Kozubka jsou podíly špičkových výzkumných prací napříč těmito obory v ČR srovnatelné se světem, nicméně výrazně nižší ve srovnání se zeměmi EU15. Při přepočtu na počet obyvatel nebo na počet výzkumných pracovníků v oblasti vědy a výzkumu se počet výsledků v prvním decilu pohybuje na úrovni 40–67 % těchto zemí. Nejvyšší hodnoty dosahuje fyzika, kde však téměř třetinu výsledků tvoří velké kolaborace, na kterých se podílí mnoho autorů a které nejsou v zemích EU15 natolik obsaženy. Podobná situace je i v prvním kvartilu (Q1) nejlepších publikací, kde je počet českých publikací ve většině oborů zhruba na úrovni 60 % zemí EU15. Naopak ve čtvrtém kvartilu (Q4), kde jsou časopisy s nejméně obtížným recenzním řízením, je v těchto oborech v Česku produkce vysoká.

Význam mezinárodní spolupráce v těchto oborech dokládá fakt, že její podíl narůstá s kvalitou výsledků – největší je v horním decilu a postupně klesá od Q1 po Q4.

Kompletní výsledky za přírodní vědy naleznete zde.

Engineering and Technology

Předseda odborného panelu pro technické vědy Michael Šebek konstatuje, že z hlediska publikačního profilu podle očekávání zaostáváme ve všech těchto oborech nejen za EU15, ale i za světem. Ve dvou oborech se nicméně EU15 a světu alespoň blížíme – jsou jimi 2.6 Medical engineering2.7 Enviornmental engineering. Naopak v oboru 2.2 Electrical, Electronic, Information engineering je většina českých výsledků ve čtvrtém kvartilu. Z hlediska podílu na špičkovém světovém výzkumu (produkce článků v D  a Q1) má nejlepší výsledky ve srovnání s EU obor 2.5 Materials engineering, současně však také vede v nadprodukci nekvalitních výsledků v třetím a čtvrtém kvartilu.

I v technických vědách se tedy ukazuje celkově vysoká nadprodukce výsledků oproti většině ostatních zemí EU. „Šílená nadprodukce článků v nejhorších časopisech, které nikdo ani nečte, ani nepoužívá, postihuje většinu našich technických oborů,“ komentuje Michael Šebek a dodává: „Tohle opravdu neznamená nic jiného než to, jak mnoho špatných výzkumů z veřejných prostředků zbytečně platíme.“ Ve svých závěrech se tak shoduje s komentářem k Modulu 1, který hodnotil vybrané výsledky.

Celou analýzu za technické vědy najdete zde.

Medical and Health Sciences

Také zpráva za lékařské a zdravotnické obory, kterou vypracoval Miroslav Ryska, konstatuje zaostávání úrovně výzkumu v ČR za vyspělými zeměmi EU, především v rozložení výsledků podle indikátorů AIS. Při mírně se zvyšujícím celkovém počtu výsledků zůstává podíl prací v nejprestižnějším prvním decilu v letech 2016–2018 konstantní (7 %) se snižováním podílů prací v nejhorším čtvrtém kvartilu a zvyšováním druhého kvartilu. Počet výsledků ve čtvrtém kvartilu je však stále neúměrně vysoký.

I v této oblasti se potvrzuje výrazný vliv mezinárodní spolupráce – z více než šesti set padesáti výsledků v prvním decilu bylo jen 32 prací pouze s domácími autory, ostatní vznikly v rámci mezinárodních spoluprací. Nejvíce špičkových prací s korespondujícím českým autorem bylo zaměřeno na imunologii a neurovědy. Tyto obory mají také shodně 60 % svých výsledků v prvním decilu či kvartilu.

Z pracovišť mezi špičkovými výsledky v D1 a Q1 převažovala Univerzita Karlova s jejími fakultními nemocnicemi, které publikovaly přibližně polovinu všech těchto výstupů, což odpovídá jejich velikosti. Významný je též podíl Masarykovy univerzity a Fakultní nemocnice u sv. Anny v Brně a nelékařských výzkumných organizací Akademie věd ČR.

Celou analýzu za lékařské a zdravotnické obory naleznete zde.

Agricultural and Veterinary Sciences

Radim Vácha v komentáři Odborného panelu pro zemědělské a veterinární vědy potvrzuje trendy minulých let, kdy dobrých výsledků v mezinárodním srovnání dosahuje především obor 4.1. Agricultural, Forestry and Fisheries, v němž bylo 45 % výsledků publikováno v Q1 a D1. Současně se jedná o obor s celkově nejvyšším počtem výsledků a některé dílčí obory jsou podle hodnocení plně srovnatelné s EU15.

V ostatních veterinárních a zemědělských oborech není situace již tak příznivá a mají obecně podprůměrné zastoupení excelentních výsledků ve srovnání s EU15 i světovým průměrem. V některých zemědělských oborech existuje tendence publikování především v českých impaktovaných časopisech, spadajících stěžejně do Q3 a Q4. „Přes obecně kritické hodnocení tohoto faktu je však nutné si uvědomit, že se zpravidla jedná o výsledky aplikovaného výzkumu, které mají větší význam a potenciál pro využívání v národní zemědělské praxi (vyšší uplatnění v oblasti společenské relevance), než výsledky publikované v časopisech s vysokou hodnotou AIS, které mají obecně větší přínos pro světové poznání,“ dodává v komentáři Vácha. Mezinárodní spolupráce má ve všech oborech rostoucí tendenci.

Kompletní výsledky analýzy pro zemědělské a veterinární obory najdete zde.

Social Sciences

Bibliometrická analýza pro společenské vědy zahrnuje jak databázi Web of Science (WoS), tak Scopus, která v průměru zahrnuje trojnásobné množství časopisů. Jak konstatuje Ladislav Rabušic, značný počet časopisů ve Scopusu způsobuje, že tato databáze obsahuje časopisy vědecky méně vlivné, lokální, a dokonce pochybné, z nichž některé vykazují znaky časopisů predátorských.

Souhrnně lze konstatovat, že publikační výkon ČR v časopisech databáze Scopus vychází ve společenských vědách vyšší než výkon v časopisech WoS a také se objevují s vyšší frekvencí ve vyšších pásmech (D1 a Q1). Problém je ovšem v tom, že tytéž časopisy zpravidla ve Scopusu spadají do vyššího pásma než ve WoS.

Ukazuje se – a svědčí o tom srovnání počtů výsledků v obou databázích – že publikovat články v časopisech Scopus je snadnější než v časopisech databáze WoS už jen z toho důvodu, že Scopus obsahuje mnohem více českých časopisů. „V mnoha oborech společenských věd je už samotná skutečnost, že výzkumná organizace (VO) vydává časopis, který se „dostal“ do Scopusu, považována za důkaz kvality oboru. A pokud se takový časopis postupně dostane z Q4 do Q3 nebo do Q2, může to být považováno za úspěch,“ komentuje Rabušic. Odborný panel si z těchto a dalších důvodů nedovoluje souhrnně hodnotit publikační výkon českých společenských věd a odkazuje na jednotlivé oborové zprávy.

Celou bibliometrickou analýzu pro společenské vědy naleznete zde.

Humanities and the Arts

I v humanitních oborech byl vypracován komentář jak na základě analýzy databáze WoS, tak Scopus. Odborný panel nicméně stejně jako v letech 2018 a 2019 došel k názoru, že pro hodnocení výsledků v této oblasti není bibliometrická analýza údajů ve WoS vhodným nástrojem a označil ji za zbytečnou.

Na problematičnost využití bibliometrické analýzy údajů z databáze SCOPUS upozorňoval odborný panel opakovaně v minulých letech a nic se na tom nemění ani letos. Petr Vorel v komentáři uvádí, že databáze SCOPUS poskytuje rozsáhlejší datovou základnu, neboť zahrnuje širší spektrum časopisecké produkce, nicméně vyskytují se zde analogické problémy jako ve WoS: zahrnuje výsledky oborově nepatřičné a spektrum časopisů není z hlediska jednotlivých oborů dostatečně reprezentativní.

Hlavní výhradou k nevhodnosti bibliometrické analýzy z databází WoS a Scopus je nicméně fakt, že nezahrnují hlavní oborové výsledky VaV, především autorské knižní monografie.

Analýzu pro humanitní vědy si můžete prohlédnout zde.

 

Autor: Vědavýzkum.cz (JS)