Zeměkoule je placatá a Nature Index je drsně kafemlejnkovitá metoda hodnocení?

Pokud se v problematice orientujete, čtěte můj článek normálně, od začátku. A pokud ne, pak článek raději začněte číst od konce. Na konci je totiž stručná historie a přece jen podrobnější vysvětlení porovnávaných metodik.

Když Dalibor Štys tvrdí, že „Nature Index je drsně kafemlejnkovitá metoda hodnocení,“ mýlí se naprosto! Pravý opak je totiž pravdou. Nature Index je totiž mnohem podobnější Metodice 17+ , konkrétně její bibliometrické části v Modulu 2. Nature Index je s kafemlejnkem v principiálním rozporu!

Své hodnocení v kafemlejnku jste snadno mohli zlepšit nadprodukcí průměrných a špatných výsledků, publikovaných v průměrných a špatných časopisech. A mnozí to dělali. Nature Index zajímají jen silně nadprůměrné výsledky, vše ostatní ignoruje. V něm si (nad)produkcí průměrných a špatných výsledků nepomůžete. Ale ani neuškodíte. Metodika 17+ jde ještě dál: průměrné a špatné výsledky vám také nepomohou, ale dokonce uškodí. Tohle je úplně nový prvek a pro naši zemi je podstatný! Naše instituce nemůžeme hodnotit jen podle nejlepších vědců. Pár dost dobrých mají totiž leckde, neboť často působí jedna hvězda i v několika institucích současně. Ve světě běžně existují instituce a školy špičkové - a v nich pracují jen špičkoví vědci. Pak tam jsou školy a instituce průměrné a podprůměrné. V těch ale špičkoví vědci nebývají. U nás je situace jiná, a to je jen dalším důkazem naší nenormálnosti. Malé mobilitě – která by tohle napravila – obvykle brání mnohé: setrvačnost, akademický inbreeding, nadvláda průměru a pokřivené financování.

Rozdíly jsou u nás hlavně ve vědcích špatných. Zatímco v dobré zahraniční instituci špatné vědce nenajdete, u nás je tomu naopak. Většina našich institucí špatné vědce má. Mnohde tvoří většinu a mají moc, takže se jich nelze zbavit. České vědě jako celku i jednotlivým organizacím moc nepomůže, když se jejich špičkoví vědci ještě o trochu zlepší. K zásadní nápravě je nutné, aby se zlepšili ti průměrní vědci. Tedy ti z nich, kteří na to mají. A ti ostatní, aby výzkumu raději nechali a neutráceli výzkumné peníze. Aby se věnovali něčemu, v čem budou prospěšnější a co i je samotné bude víc bavit. Ono být špatným vědcem je dost deprimující.

Teď ještě jednou a trochu podrobněji:

Nature Index¹ počítá jen články v nej-nej-nej-špičkovějších časopisech. Časopisy vybírá zvláštní komise z oblasti přírodních věd a naposledy jich bylo jen 82! Vybíravější snad ani být nejde. Nature Index nepočítá už vůbec nic jiného! Kdo nemá články v 1 % super-časopisů, ten tady neuspěje. Nature Index prostě oslavuje génie. Všechny ostatní - dobré, průměrné a podprůměrné vědce - ignoruje. A také ignoruje všechny vynálezce, kteří sice tvoří, ale nepíší. Ať už jsou geniální, průměrní nebo podvodní. To zas tak nevadí, vždy přece úspěšný vynález přinese autorům slávu a peníze přímo, stát a jeho hodnocení vlastně nepotřebuje.

Naopak kafemlejnek započítal všem všechno možné i nemožné! Za prvé započítal všechny články ve všech 20 tisících časopisech indexovaných v databázi Web of Science (WoS), tedy celých 100 % namísto 1 % z Nature Indexu. A k tomu ještě připočítal všechny články ve 23 tisících časopisech indexovaných databází Scopus. Přitom sice články vážil (s pomocí impakt faktoru časopisu, relativně v jejich oboru-kategorii), tím ale nezabránil možnosti převážit dopad kvalitního výsledků množstvím výsledků nekvalitních. V jistých fázích k tomu ještě připočítal i články v dalších časopisech neindexovaných nikde. Stačilo, když časopis předstíral jakés takés recenzní řízení. A k tomu ještě přidal knihy a kapitoly v nich, které často odborně nevybírá nikdo.

Obě databáze se dost překrývají. Přesto je Scopus považován za méně náročný, protože kromě většiny časopisů z WoS obsahuje i další časopisy horší a méně uznávané. Rozdíl mezi oběma databázemi se ale v posledních letech stírá, protože se přibližuje jejich obchodní politika.

Kafemlejnek přitom sice články vážil (s pomocí impakt faktoru časopisu, relativně v jejich oboru-kategorii), tím ale nezabránil možnosti převážit dopad kvalitních výsledků množstvím výsledků nekvalitních. Uvedu příklad z roku 2012. Tehdy jste v mém oboru dostali za článek v nejlepším časopise 305 bodů a za článek v nejhorším časopise 10 bodů. Jak jste se mohli stát „nejlepším vědcem v oboru“, i když jste na nejlepší časopis neměli? Bylo to snadné, stačilo napsat 30 článků do nejhorších časopisů! Žádný problém, tam berou vše! Že je to směšné? Ano, v civilizovaném světě takový autor sklidí hanbu. U nás ne, a ještě se chlubí počtem bodů v kafemlejnku. Už chápete, proč někteří našinci publikovali až 100 článků ročně?

A bylo ještě hůř! Pod heslem „důležitější jsou aplikace“ započítával kafemlejnek i nepublikační, tzv. „aplikační výsledky “. Ty už úplně bez jakéhokoli výběru a posuzovaní kvality. Kus jako kus. Už vůbec se kafemlejnek nestaral o kvalitu u nepublikačních výsledků aplikovaného výzkumu. Sice rozlišoval mezi patentem americkým a českým, ale vůbec ho nezajímalo, zda patentovaný vynález vůbec funguje a jak moc se vyrábí, prodává a používá, zda se prodávají licence, a jestli na něm autoři, firmy a instituce vůbec něco vydělali. Hloupě započítával i tzv. užitné vzory, což je celkem směšná lokální varianta patentu. U ní se kromě formálních náležitostí neposuzuje vůbec nic - novost ani původnost být nemusí. Klidně vám dnes zaregistrují vynález žárovky. A pokud Edison nepodá protest, má smůlu a je to vynález váš. Že už to nemůže být horší? Ale může! V některých obdobích se počítaly i prototypy, tzv. ověřené technologie a tzv. funkční vzorky. Do těchto kategorií se vešlo opravdu všechno: bakalářské a diplomové práce, pomalu každý kus železa a elektroniky, který se v laboratořích našel. Anebo i nenašel, neboť byl hned po registraci a započtení „rozmontován na součástky.“ Každý tu sice mluvil o obecné důležitosti aplikačních výsledků – jenže nikoho nezajímalo, zda vůbec a jak úspěšně byly konkrétně aplikovány.

„Ó bože, jak hluboko jsme klesli!“. Pak se divte, že to v naprosté většině případů nebyly žádné převratné vynálezy, které by se masově vyráběly, prodávaly, používaly a vydělávaly někomu peníze. Kafemlejnek – ani nikdo jiný – se totiž neptal, jestli byly takové výsledky vůbec někdy někde aplikovány. Vlastně se nikdo neptal na nic, ani nic nekontroloval. Kafemlejnek nejprve institucím věřil, a teprve až se situace stala neúnosnou, pomalu zpřísňoval různé kontroly a zaváděl některá omezení. Na jeho přirozenosti to ale nezměnilo nic: důraz zůstal na počtech výsledků, nikoli na kvalitě. Některé z odměňovaných výsledků dokonce ani neexistovaly, některé byly úplně směšné a naprostá většina byla úplně k ničemu. Autoři je totiž dělali jen a jen kvůli kafemlejnku! Věty jako „Dělejme to co nejvíc, když to stát platí“ jsme v éře kafemlejnku často slýchali od šéfů, kolegů i senátorů. Bývalý předseda našeho fakultního senátu se dokonce domníval, že hlavním účelem patentu je přinést státní peníze z kafemlejnku. Často to bezostyšně tvrdil veřejně a prosazoval při řízení a odměňování.

Teprve na samém konci fungování se kafemlejnek přece jen začal trochu o kvalitu zajímat - v tzv. Pilíři 2. Knihy začaly být posuzovány metodou peer review. Z malého počtu aplikačních výsledků bylo expertně vybráno pár „excelentních“. Dopad byl ale mizivý a velkou pozornost to nevzbudilo.

Nová Metodika 17+ je komplexní a klade si širší cíle než Nature Index i kafemlejnek. Ve své bibliometrické části je však Nature Indexu podobná. Také oborům a institucím počítá jen články ve špičkových časopisech. Není sice tak náročná, takže místo 1 % nejlepších sleduje 10 % (první decil) a 25 % (první kvartil) těch nejlepších časopisů z WoS. Špičkové kategorie má tedy širší: namísto 82 z přírodních věd, je tvoří asi dva tisíce a pět tisíc relativně dobrých časopisů všech oborů. (Nezapomeňme, že se Nature Index omezuje jen na vědy přírodní. Pokud by ho někdy autoři rozšířili i na ostatní skupiny věd, počet sledovaných časopisů by určitě násobně vzrostl). Je to možná hodně, ale přesto mnohem méně než 20+ tisíc časopisů započtených kafemlejnkem.

V dalším se nová Metodika liší: Články v horších časopisech tak úplně neignoruje - jako to dělá Nature Index - ale ani nesčítá - jako to dělal kafemlejnek. Všímá si jejich rozložení a to porovnává se světem. Pokud v nějakém oboru nebo organizaci čeští vědci oproti světovým zvyklostem publikují výrazně více v horších časopisech, nová Metodika to ukázala – myslím poprvé v dějinách naší vědy. A že tu takových oborů máme. Protože má Metodika 17+ komplexnější cíle, nezkoumá jen časopisy, ale i další typy výsledků. Ani v tom se však kafemlejnku nepodobá! Tyto nepublikační výsledky na rozdíl od něj tupě nesčítá, ale jednotlivě posuzuje jejich kvalitu. Známkuje ty, které jí samy výzkumné organizace předvybraly jako své nejlepší. Přitom je ale předepsáno, kolik takových výsledků mají předložit. Aby se ukázalo, že třeba těch dobrých mají málo nebo žádné. Počet vybraných nepublikačních výsledků, které organizace k peer review předkládá, se v počátečním období odvozuje od celkového počtu takových výsledků, které organizace v hodnoceném roce do Registru informací o výsledcích přihlásila. To je tak trochu škodolibý trest za přehánění v kafemlejnku. V období plného běhu Metodiky se počet odvodí od výše institucionálního příspěvku. Podle konkrétního oboru bude, nebo nebude na škodu, pokud organizace takové výsledky vůbec nebude mít. Hlavní roli tu zase hraje rozložení kvality, nikoli počty a součty. Dobrá organizace má přece mít dobré všechny jí vybrané výsledky. Pokud ne, pak to možná není dobrá organizace.

A to jsme zatím probrali jen první dva moduly nové metodiky M1 a M2, které už letos poprvé proběhly. Ty další, M3 - Společenská relevance, M4 - Viabilita a M5 - Strategie a koncepce, se teprve připravují. Osobně mám obavu, že právě tam leží hlavní slabiny a brzdy rozvoje naší vědy. Tak třeba v prokázaných dopadech, podílu cizinců mezi výzkumníky, anebo ve vizi a konkrétním plánu, jak vize dostáhnout? Znáte snad u nás organizaci, která má jasnou vizi, ví jak ji dosáhnout a dokonce k ní měřitelnými kroky směřuje?

Na závěr dovolte stručnou historii hodnocení naší vědy, jak jsem je sám zažil. Aby bylo vidět, že zarytým nepřítelem kafemlejnku nejsem a nějaké zásluhy mu přičítám. Tak nejprve se u nás kvalita výzkumu nehodnotila vůbec. Dobří vědci se pro vlastní zábavu snažili uspět na světovém kolbišti, a proto publikovali v dobrých světových časopisech. Průměrní vědci se moc nesnažili a jen občas něco publikovali v časopisech našich nebo spřátelených, spíš aby si sami připadli jako vědci. Špatní vědci nedělali nic ani nikde nepublikovali - nebylo co a nebylo proč. Nemuseli – všude panovala atmosféra nenáročnosti, zoufalá nebo radostná, to podle nátury a schopností. Navenek byli všichni vědci stejně dobří. A pokud vliv a moc výzkumníků nějak souvisely s jejich výsledky, byly jim úměrné spíš nepřímo. Stát výzkum platil sice málo, ale zase za ty peníze nic nechtěl. Mnohým se to tak líbilo a ještě se jim po tom stýská.

Pak přišel kafemlejnek a všechno bylo rázem jinak. Mnozí se až díky němu dozvěděli, že výzkum má vůbec mít nějaké výsledky, publikace, aplikace a dopady. Že nezáleží na tom, kdo co zkoumá, ale na tom, kdo co vyzkoumá. A že by i oni měli nějaké výsledky mít. Mnozí se o to pokusili a zažili druhé překvapení. Zjistili totiž, že mezi různými výsledky, články a aplikacemi může být rozdíl. Že některé časopisy každý článek otisknout nechtějí a že některou předkládanou aplikaci nechce aplikovat nikdo. Že některý výsledek má velký dopad na odbornou komunitu, průmysl a na společnost. A jiný výsledek žádný dopad nemá. V tomhle byl kafemlejnek dobrá věc a buďme mu za to vděčni. Jenže.

Kdo měl dobré výsledky, dostal díky kafemlejnku trochu víc peněz. Kdo žádné výsledky mít nechtěl, šel dělat něco jiného. Jenže mnozí to chtěli, ale neuměli. Chvíli se trápili, ale pak bohužel přišli na to, jak kafemlejnek ošidit. Když už jste neměli článek v dobrém časopise, stačilo mít hodně článků v časopisech špatných – a přišli jste si na stejné peníze. Když už jste neuměli vymyslet a aplikovat nic originálního a rozumného - aby to skutečně někomu k něčemu bylo – stačilo svůj výsledek za aplikační prohlásit. Dále jste se starat nemuseli, peníze a body se z kafemlejnku sypaly. Při chabé etice naší výzkumné komunity a při absenci vzájemného upozorňování na neetické chování to způsobilo katastrofu. Následovalo možná mírné zlepšení těch dobrých, ale hlavně exploze výsledků těch špatných. Když se trochu rozhlédnete, jistě v okolí najdete kolegu s desítkami až stovkami článků ročně – a v dobrých časopisech určitě nejsou. Proto byl kafemlejnek postupně upravován a zpřísňován, ale peníze za špatné výsledky tekly dál. Ironií osudu byl ukončen právě ve chvíli, kdy už tak snadno ošidit nešel. Nebo to byl úmysl?

Nahradila ho Metodika 17+, která právě nabíhá a od 2020 se rozjede naplno. Hlavní chyby kafemlejnku napravuje zdařile. Zda nepřináší jiné, to ještě uvidíme. Pro jistotu ještě jednou zopakuji to podstatné: V nové metodice si produkcí špatných článků nepomůžete, ale naopak uškodíte. V nové metodice se aplikační výsledky tupě nesčítají, ale vybrané posuzují jednotlivě - podle svého přínosu a dopadu. Vlastně se nesčítá skoro nic, spíše se poměřuje se světem.

Chcete vědět, v jakých oborech jsou Češi nad světovým průměrem, v jakých jsou průměrní a jakých jsou zdaleka podprůměrní? Odpověď najdete ve výstupech Metodiky 17+. Zpočátku nemusí být nejspolehlivější, ale v průběhu let jejich vypovídací schopnost určitě poroste. Konsistentně s tím poroste i použitelnost Metodiky pro řízení na různých stupních a pro rozdělování peněz.

Autor: Michael Šebek

1. Nature Index je poměrně nová věc. Vydavatelství Springer Nature ho sestavuje pro oblast přírodních věd (a pouze pro ni!) tak, že různými způsoby sečítá počty článků ve velmi úzké skupině těch nejlepších časopisů z oblasti přírodních věd, naposledy jich bylo 82. Nature Index tvrdí, že tyto časopisy vybrané dvěma nezávislými panely představují méně než 1 % všech přírodovědeckých časopisů zahrnutých ve Web of Science, ale téměř 30 % všech citací na tyto přírodovědecké časopisy. Hezké poučení a pohodlné odkazy na originální zdroje najdete na tomto webu v článku Jiřího Chýly O čem vypovídá Nature Index.