Michael Šebek komentuje průběh hodnocení výzkumných organizací podle Metodiky 2017+, které letos prošlo prvním ze tří zahřívacích kol. V první části blogu ukazuje výhody oproti dosavadnímu způsobu hodnocení a blíže rozebírá přínos bibliometrických zpráv za obory.
Metodika 17+ úspěšně nabíhá
Nová Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací, nazývaná Metodika 17+, prošla letos prvním ze tří zahřívacích kol. Podle plánu v dost omezeném rozsahu, s neplánovaným zpožděním způsobeným snad všemi zúčastněnými, ale jinak celkem úspěšně. První běh ukázal mnohé o metodice samotné. To umožní pro druhé kolo provést jak změny praktické, tak i drobné metodické, jen v mezích vládou schválených principů. Už první běh však ukázal i mnoho nového o výzkumu v ČR. O jeho kvalitě, o jednotlivých oborech i výzkumných organizacích. Nebo alespoň naznačil, šlo koneckonců o první krok, zkoumající plánovaně omezenými metodami výsledky jediného roku – 2016. Další běh nejspíš něco potvrdí, něco vyvrátí. S postupem času spolehlivost poroste. Později za plného běhu proběhne úplné hodnocení vždy jednou za 5 let a zahrne celé období od hodnocení minulého.
Metodika 17+ versus Kafemlejnek
Metodika 17+ se od té minulé – neblaze proslulého Kafemlejnku – liší tak moc, že od počátku vyvolává vášně. A jak je u nás zvykem, chválí se potichu, ale kritizuje nahlas. Kritika často vychází z neznalosti, proto je třeba do omrzení opakovat a vysvětlovat. Někteří kritici se bojí, že Metodika 17+ funguje dobře - že proto ukáže něco, co dříve vidět nebylo. Konec konců, ani špatné pracoviště nechce špatně vypadat navenek. Část kritiky je přirozeně oprávněná. Pokud to jde - při prakticky omezených zdrojích, personálu a datech a v mezích závazného rozhodnutí vlády – jsou detaily postupně upravovány a laděny. Konec konců, právě k tomu zahřívací období slouží.
Některá zjištění prvního běhu nepřekvapí, jiná překvapí hodně. Pokud se v příštích letech potvrdí, bude to pro mnohé šok, přinejmenším oficiálně. Pokusím se tu ukázat, co nového už první běh Metodiky 17+ přinesl, co dosud neviděného prozradil nebo alespoň naznačil. Upozorním na chování, která Kafemlejnek ignoroval. O konkrétní organizace ani obory mi dnes nejde, to nechám na jindy a jiným. Anonymizovaně použiji zveřejněná data a grafy, konkrétnosti ať si každý vyhledá sám. Přes možná menší spolehlivost prvního běhu je toho nově vidět dost. Těšte se!
Chci také ilustrovat největší přínos Metodiky 17+ oproti Kafemlejnku: Hromadění špatných, bezvýznamných a zbytečných výsledků už v novém hodnocení nepomůže. Naopak může uškodit, neboť je konečně vidět! A vidět skutečně je! Právě proto a podle očekávání, je odpor autorů špatných výsledků a jejich lobby proti Metodice 17+ značný. Snad bude marný!
Najednou vidíme, co jsme dosud neviděli
Odrazím se od rozboru „Co nám dalo Hodnocení'17,“ který tu nedáváno publikoval Daniel Münich. Daniel je známý odborník na hodnocení vědy, nové metody sám vyvíjí, jejich výsledky prezentuje a komentuje. V minulosti byl vášnivým kritikem Kafemlejnku. Dnes na to zapomněl a kritizuje zas hlava nehlava Metodiku 17+? Aniž by její principiální a dnes už zřejmé výhody oproti Kafemlejnku zaregistroval a zmínil? Není to překvapující a kontraproduktivní v situaci, kdy mnozí mocní kolegové pořád myslí kafemlejnkově a z nejrůznějších důvodů by ho rádi vrátili? Viz. Např. Česká konference rektorů, Dalibor Štys zde, a mnozí další mimo veřejný prostor.
Daniel uznává užitečnost prvního běhu pro další ladění Metodiky 17+. Tvrdí však, že jinak už nám nic „nedal.“ Dal! Už první běh naznačil některá překvapení a poodhalil některá „tajemství“, Kafemlejnkem neviděná a neviditelná. Některá z nich tu ukážu. Nebudu přitom novou Metodiku srovnávat s Danovými „soukromými“ výpočty, neboť ty nebyly nikdy oficiálně prosazeny, schváleny ani použity. Budu-li srovnávat s Kafemlejnkem - jejím hlavním politickým soupeřem. Pro lepší reference však použiji strukturu Danova textu.
Bibliometrické zprávy za obory
Bibliometrické zprávy za obory prezentují, graficky zpracovávají a komentují několik typů dat. Já se tu soustředím na Srovnání podílů národních a mezinárodních výsledků (článků) oboru v prvním decilu a v kvartilech WoS podle AIS časopisu, podobně jako Dan, který mu říká tvar kvalitativního profilu publikací. Dalším zajímavým typům dat, např. porovnání národního a mezinárodního oborového mediánu podle pořadí článků nebo seznamům výzkumných organizací s největším počtem výsledků oboru v prvním decilu a v prvním kvartilu pořadí dle AIS časopisů, se tu pro nedostatek místa věnovat nebudu.
Srovnání podílů národních a mezinárodních článků v oboru ve kvartilech WoS podle AIS časopisu
Podle Dana tyto zprávy „nic zásadně nového a užitečného z hlediska hodnocení oborů nepřináší. Až příliš pozornosti zprávy věnují tvaru kvalitativního profilu publikací.“ Ve skutečnosti tyto zprávy mnoho užitečného přinášejí, a například už ten profil je opravdu velký přínos! Ještě užitečnější a zásadně nové je to, že je na stejném obrázku profil národní porovnán s profilem světovým. Jak že se v Kafemlejnku poznalo, ve kterém oboru je naše země na špičce a ve kterém zaostává? Vůbec nijak! Určitě ne ze součtu bodů za publikace v oboru. Vždyť ten šlo jednoduše „vylepšit“ nadprodukcí špatných článků v mizerných časopisech. Jen jako příklad uvedu, že v mém vlastním oboru jeden článek ve špičkovém časopise nahradilo 30 článků v časopisech nejhorších! A Kafemlejnek nic nepoznal! Stačilo publikovat sto článků v mizerných časopisech a Kafemlejnek z vás udělal špičkového vědce! A patřičně vás odměnil. Zvenku to nikdo neviděl a odborná komunita mlčela. Až dnes je to z Metodiky 17+ vidět jasně - a to právě z kvalitativního profilu publikací!
Tři národní oborové profily jako příklad
Podívejte se na následující tři obrázky s publikačními profily tří oborů podle WoS-AIS časopisu. Nesrovnávejte je, obory mají jiný charakter, raději posuďte každý obor zvlášť. Ve sledovaném roce 2016 publikovali naši autoři v každém z oborů přes 300 článků, takže jsou data poměrně robustní. První obor (395 článků z ČR a 34487 ze světa) má profil skvělý:
Skoro čtvrtina českých článků je ve špičkových časopisech (v prvním decilu D1 podle AIS-WoS), skoro polovina v časopisech výborných (v prvním kvartilu Q1), a ve špatných časopisech (v posledním Q4) skoro nic. Srovnání se světem, které je z obrázku také vidět, kvalitu ještě zvýrazňuje! Porovnejte červené a modré sloupce! Osobně je mi ten obor vzdálený, ale měl jsem ho za nic moc. Moje chyba, opravuji své mínění a v duchu se omlouvám! Publikačním profilem tento obor letos dopadl skvěle!
Druhý obor (358 z 69763) tak skvělý profil nemá, ale ještě to jde. Také srovnání se světem dopadlo hůř. Svět publikuje hlavně ve špičkových a dobrých časopisech, my hlavně v průměrných. Dál se v tom už vyznáte sami. Přitom máme v tomto oboru velkou tradici. Považujeme ho za pilíř hospodářství a sebe za téměř světovou špičku. Tak tohle publikační profil určitě nepotvrzuje! Že by se slavná minulost proměnila v neslavnou přítomnost?
A do třetice obor (323 ze 46804), který dopadl vyloženě špatně. Nemáme skoro nic špičkového, jen desetina je výborná. Zato s horšící se kvalitou a prestiží časopisu naše produkce roste až k maximu na samém dně kvality. V nejhorším kvartilu, v časopisech bezvýznamných a obskurních, publikujeme více než polovinu českých článků! Proč tohle děláme, proč za to platíme? A nebýt v obrázku modrá barva, nebýt tam srovnání se světem – které v Kafemlejnku nebylo – hned by se objevilo obvyklé vysvětlení dotčených: „Když v našem oboru je zvykem publikovat v národních časopisech, a ty naše jsou v nejhorším kvartilu jen kvůli češtině.“ Ne, ve světě tohle zvykem není! Dnes je to z obrázku jasně vidět!
Konečně vidíme na špatné články – a to je dobře!
Tak tohle vše nám dal už první běh Metodiky 17+. Přesněji, tohle nám dal její jediný nástroj, srovnání podílů národních a mezinárodních výsledků (článků) oboru v prvním decilu a v kvartilech WoS podle AIS časopisu. Daniel Munich k tomu dál píše: „Tvar profilu je do velké míry určen podílem publikací malého významu v málo vlivných časopisech." No jak kde, záleží zřejmě na oboru. A pokud ano, už to je nová informace! Teprve z těchto obrázků je to jasně vidět.
Dan větu pokračuje slovy “takové články je stejně snadné levně produkovat (když se za ně počítají čárky)“, tím však jen slovně kritizuje Kafemlejnek, který to umožnil a neukázal! A věta končí tvrzením „je snadné je do hodnocení přestat hlásit, když se tvar profilu nějakým omylem stane důležitým ukazatelem kvality oboru či pracoviště.“ Tak tohle už pravda není!
Co když se špatné články zatají?
Podívejme se na to podrobněji a zapomeňme na chvíli, že Metodika 17+ má i jiné nástroje, které tím neošálí vůbec. Špatné výsledky se dají „přestat hlásit“ dvěma způsoby:
Buď tak, že by někdo publikoval článek v nejhorším časopise, nahlásil ho ve zprávě jako výsledek výzkumného projektu či grantu, ale přitom ho neregistroval v Rejstříku informací o výsledcích RIV. Pak je to zřejmé porušení zákona (výsledky výzkumu za veřejné peníze se do RIV hlásit musí) a hodnotitelé příslušného projektu na to musí přijít! Ale, hlavně, Metodika 17+ takový zatajený článek započítá stejně! Vždyť bere data přímo z WoS.
Nebo Dan myslí „trik“, kdy špatný článek nebude vůbec napsán a publikován, protože špatný výzkum nebude nikdo nedělat? Není tohle ideální řešení? Když špatní výzkumníci nebudou mít žádné výsledky (neboť na dobré nemají a špatné budou tajit), no tak je přece agentury ani instituce za výzkum nebudou vůbec platit? A bude vymalováno! Ušetří se tak výzkumné peníze. „Výzkumníky“ neschopné dobrých výsledků a nevydělávající za ně peníze zaměstnají jinak či jinde. A zbude víc peněz na špičkový výzkum! Kéž bychom všichni „podváděli“ tak, že bychom publikovali jen v Nature a spol.!
Benchmarking
Snad jsem vám ukázal, že kvalitativní profil publikací je jedním z dobrých ukazatelů kvality oborů v ČR. S dalšími běhy Metodiky se bude počítat za stále delší období a jeho spolehlivost ještě poroste. Později uvidíme i trend profilu, což bude také (!) zajímavé. Ale Danovu poznámku o „rychlosti a zrychlení“ v kontextu vůbec nechápu?
Ano, bylo by náročnější nesrovnávat se s „celým světem,“ ale hlavně s vhodně vybranými evropskými zeměmi. Však se to na druhý běh už chystá. Pak i dnes dobře vypadající obory mohou dopadnout hůře, srovnání prostě bude přísnější. Na druhou stranu, o třetím z výše uvedených oborů to nového neřekne nic – ten přece dopadl hrozně už v mírném srovnání se světem?
Autorské a institucionální podíly
V bibliometrii se mohou, ale nemusejí, započítávají podíly jednotlivých autorů a/nebo institucí (má-li jeden autor u sebe několik adres). Obě metody mají své výhody i úskalí. Nezapočítat podíly je jednodušší a usnadňuje porovnání oborů mezi sebou. Započítání podílů (podle lidí a jejich adres) je nejen složitěji, ale hlavně oborově závislé. V některých oborech je správný podíl prostě jedna lomeno počet všech autorů/adres, v jiných záleží ještě na pořadí autorů. V některých oborech dokonce mají ustálenou posloupnost vah klesající s pořadím. Někde se počítá jen první autor, jinde zase první a poslední. A ještě jinde zas „autor korespondující,“ bez ohledu na jeho pořadí.
V tomto běhu Metodiky 17+ se prostě podíly nepočítaly. Tím ale profil není „zkreslen“, jak mylně tvrdí Dan. Prostě jsou zobrazené profily bezu podílů, to je jejich vlastnost! Nejsou tím o nic nesprávnější či správnější než případné profily se započtením podílů, podle jednotlivých metod naznačených výše. Je to prostě jeden z možných pohledů.
Opravdu problematickým se ukazuje vliv článků s velmi mnoha autory – desítkami, stovkami, tisíci - které jsou typické třeba pro klinikou medicínu. Nebo pro částicovou fyziku, kde vedle počtu autorů je problém i v tom, že mezi autory je zvykem řadit všechny zaměstnance skupiny/kolaborace, i když se třeba na konkrétním výsledku vůbec nijak nepodíleli! Pokud jsou takové články zamíchány mezi ostatní, anebo mezi jiné obory, úplně je převálcují a výslednou statistiku zamlží. Napříště proto budou články se 30 a více autory od ostatních odděleny. Osobně navrhuji je z bibliometrie přeřadit mezi vybrané výsledky. Tam může hodnotitel podíly a přínosy konkrétních jednotlivců podrobněji zkoumat a ověřovat třeba dotazem na vedoucího projektu či experimentu.
Autor: Michael Šebek
Pokračování článku, ve kterém se Michael Šebek zaměřuje na bibliometrické zprávy za organizace a zprávy z peer-review vybraných výsledků najdete zde.
