Metodice 17+ „na velikosti záleží“ aneb „Kdo je slepý“

K reakci mě vyprovokovalo neférové srovnání aplikace s Metodikou 17+. Zásadní výroky v Münichově textu jsou totiž buď nepravdivé anebo zmatené. Metodika 17+ rozhodně není „slepá k velikosti pracoviště“! K velikosti při hodnocení organizací přihlížíme, jak jen můžeme. Dokonce jsme k tomu jako jeden z nástrojů použili právě zmíněnou aplikaci, Dan by nás za to měl pochválit! Dávat M17+ a aplikaci do protikladu je absurdní!

Metodiku 17+ najdete na webu Rady vlády (text, příloha, FAQ). Dílčí výsledky posledního hodnocení jsou tam také (M1-vybrané výsledky, M2-bibliometrie oborů a M2-bibliometrie organizací), závěrečné škálování organizací zatím ne. Pokud Metodiku neznáte, alespoň si ji projděte. Než k ní zaujmete nějaké stanovisko, přečtěte si ji důkladně. Zatím ji moc lidí nečetlo - určitě ne její kritici včetně Daniela Münicha.

Pomiňme skutečnost, že konečné hodnocení výzkumných organizací ještě nebylo zveřejněno, takže ho Daniel nezná, a proto nemůže kritizovat. Horší jsou tvrzení „Národní hodnocení je vůči velikosti pracovišť slepé. Klíčové závěry dělá na základě počtu publikací, jako by bylo lhostejné, kolik vědců za nimi stojí.“ To prostě není vůbec pravda!

M17+ nedělá „klíčové závěry na základě počtu publikací“, to si snad kritik spletl s dávno opouštěným Kafemlejnkem. Současná Metodika je rafinovanější a moudřejší. Namísto mechanického sečítání a dělení se různými pohledy dívá na rozmanité výstupy: V Modulu 1 zkoumá nejen publikace, ale i jiné typy výsledků, například aplikační. Přitom ji nezajímají počty, ale konkrétní dopady každého výsledku, jeho přínosy k poznání anebo jeho společenská relevance. K tomu používá peer review – vše posuzují anonymní hodnotitelé pod kontrolou odborných panelů. Dřívější zaslepenost kvantitou dnes nahradilo hodnocení kvality. Dokonce ani v „bibliometrickém“ Modulu 2 se Metodika neomezuje na počty, zajímá ji kvalita, publikační profily a srovnání s EU a světem. Roli hraje i to, odkud jsou korespondenční autoři článků. Největší změnou oproti Kafemlejnku je, že hromady zbytečných článků v bezvýznamných časopisech už dnes hodnocení organizace nevylepší, ale naopak zhorší. Na rozdíl od Kafemlejnku už ani milion špatných výsledků nepřeváží jediný excelentní.

Metodika není „slepá vůči velikosti pracovišť,“ naopak k ní prohlíží na základě všech dostupných dat. Bohužel nemáme oficiální údaje o tom, který výzkumník kam patří a hlavně jakým podílem se kterému oboru věnuje. Výroční zprávy a podobné lokální zdroje zas bývají velmi nespolehlivé a účelově upravované. Proto musí hodnoticí panely vycházet z údajů měkčích. Například berou v úvahu, jestli má škola v daném oboru speciální fakultu nebo pracoviště, jestli má v oboru doktorské studijní programy apod. A hlavně vychází z osobních zkušeností panelistů, kteří v přidělených oborech sami pracují. No a posledně využila i zmíněnou Danovu aplikaci, avšak s rozmyslem a s vědomím jejích nedostatků. Při srovnání kvality výzkumných organizací totiž rozhodně nevystačíme s prostým dělením dvou čísel, tento primitivní kafemlejnkový způsob hodnocení jsme dávno opustili. Věda je složitá intelektuální činnost a její hodnocení také - a proto žádné jedno číslo kvalitu organizace samo o sobě nevyjádří!

Naprostým nesmyslem je i tvrzení, že „zkreslené závěry hodnocení se pak promítají do institucionálního financování.“ Ještě nikdy totiž nebyly podle závěrů Metodiky 17+ rozdělovány žádné peníze, a proto se hodnocení dosud do žádného institucionálního financování nepromítá!

Stejně tak není pravdou, že „kvalita (vysoká produktivita) menších pracovišť pozornosti hodnocení většinou uniká.“ Münich tohle zcestné tvrzení „dokládá“ několik příklady. Rozeberu podrobněji ten z technického oboru Mechanical Engineering, který patří do mého panelu. Celá kritika se tu točí okolo jedné pasáže z oborové zprávy Panelu 2, který Dan ukazuje na obrázku. Já jsme si jeho obrázek vypůjčil, ale navíc jsem k jeho žlutému podbarvení zeleně zdůraznil další věty.

Obr. 1: Převzatý obrázek (1c) z Munichova blogu. Žluté zvýraznění je jeho, já jsem jen navíc zeleně zvýraznil poslední větu.

V odpovědi na jednu z otázek tu panelista-garant správně uvádí, které naše organizace mají v tomto oboru nejvíce článků v časopisech horního kvartilu Q1. Doslova píše „jsou nejproduktivnější“, což jasně znamená nejplodnější, mající nejvyšší produkci, ale nikoli nutně „nejvyšší produktivitu.“ Poté se vyjadřuje k jejich velikosti a uvádí, že jsou to naše „největší techniky.“ Dále panelista správně uvádí, že naopak poměrně málo takových článků v oboru má například ZČU.  I zde se hned vyjadřuje k velikosti pracoviště. Malý počet zde opravdu neodpovídá faktu, že má ZČU celou strojní fakultu, byť zhruba poloviční velikosti než mají ty největší techniky.

Uvedená zjištění zpráva prostě konstatuje, ale nic nedovozuje. Vůbec naše techniky v oboru nehodnotí ani neporovnává, neboť to vůbec není jejím úkolem – jde přece o zprávu o oboru!

Naopak Münich ze své aplikace dovozuje, že ZČU v oboru Mechanical engineering je co do publikační produktivity v Q1 daleko před velkými technikami. Tím ale myslí produktivitu ve smyslu své vlastní definice, tedy jako počet článků dělený počtem „pracovníků pracoviště, kteří v oboru v časopisech WoS převážně publikují.“

Jakým přesně číslem počet článků ZČU dělí, to v blogu neuvádí, ale použitím aplikace to snadno zjistíme. Výsledek je na následujícím obrázku:

Obr. 2: Počty článků a pracovníku v oboru Mechanical engineering podle aplikace D. Münicha.

Z aplikace tedy vyplývá, že ZČU měla ve sledovaném období v Q1 WoS oboru Mechanical Engineering celkem 8 článků, všechny z Fakulty aplikovaných věd a žádný z Fakulty strojní. Aplikace dále udává, že v tomto oboru zkoumají celkem dva pracovníci ZČU, oba z Fakulty strojní. Podíl 8/2 je velký a navozuje vysokou „produktivitu“. Münich je nadšen a Metodika zatracena.

Ale pozor, opravdu můžeme hodnocení pracoviště založit na jediném poměru? Samozřejmě ne, taková kafemlejnkovská zkratka je vždy ošidná, dokonce i tady. Než mechanicky vydělíme osm dvěma, případně nulu dvěma, nebo dokonce osm nulou, neměli bychom se rozhlédnout a zamyslet?

Moudrého hodnotitele musí hned zarazit, že podle aplikace má ZČU na Fakultě strojní jen dva „převážně strojaře,“ když podle výroční zprávy tam pracuje zhruba stovka akademiků a výzkumníků? Co asi dělá těch zbylých 98? Proč Münich dělí počet článků dvěma a ne stem? A vůbec, je tato škola ve strojařině opravdu tak skvělá?

M17+ se hodnocením fakult z definice nezabývá, ale Dan ano. Zkusme to tedy taky a podívejme se dovnitř. Co vlastně znamená, že Fakulta aplikovaných věd má 8 dobrých článků v Mechanical Engineering, ale přitom žádného člověka, který by tam převážně publikoval? Opravdu je v tom nekonečně produktivní? Nebudou to spíš články primárně z jiného oboru, které do strojařiny spadly jen vedlejším efektem (časopis je zařazen do několik různých oborů)? K tomu je potřeba se podívat na konkrétní články! To Munich nedělá, ale panelista ano. V případě potřeby je to jeho povinností. Mimochodem, zde články většinou do oboru opravdu patří, jenže to aplikace nezjistí.

A co ta Fakulta strojní, které Dan přiznává jen dva strojaře, i když jich ve skutečnosti má sto? Vždyť ta nemá v Q1 ani jeden článek!

A vůbec, proč dělit počet článků zrovna počtem lidí, proč ho raději nedělit množstvím do nich investovaných peněz, například těch institucionálních za výzkum? Navíc, nemáme také do jmenovatele započítat miliardy na zřízení těch velkých center? Vždyť soutěž o ně nebyla férová, pražská pracoviště – často ta nejlepší v oboru – z nich přece byla předem vyloučena. Copak by vlastně nebylo „umění“ nevyprodukovat za několik miliard pár článků v Q1?

Je tedy ZČU ve strojařině opravdu tak dobrá? Obávám se, že na tuhle otázku nám Dan ani jeho aplikace smysluplně neodpoví, k tomu intepretace jediného vzorečku nestačí.

K moudrému hodnocení potřebujeme mnohem víc dat, znalostí a přemýšlení. Podrobnosti jsou nad rámec mého příspěvku, ale snad nic nepokazím, když dopředu prozradím výsledek hodnocení ZČU v Mechanical Engineeering, jak nám letos vychází podle Metodiky 17+.

Oborové známky technických univerzit jsou v následující tabulce. Ve druhém sloupci je známka celková, v dalších pak dílčí známky v Modulech M2, M1, a M1 jen podle Společenské relevance. Škála je A až D, nejlepší je A. Srovnání provádíme vždy jen v rámci oboru a vždy jen uvnitř rezortu. U VŠ navíc jen v příslušné skupině: školy všeobecné, technické, zemědělské, státní a ekonomické. V tomto případě pro přehlednost řadím ZČU k technickým školám. Za tímto hodnocením stojím a celkem odpovídá tomu, co asi „všichni technici vědí.“ Obr. 3: Celkové a dílčí hodnocení technických univerzit v oboru Mechanical Engineering

Zřejmě patří ZČU v Mechanical Engineering spolu s VŠB-TUO a VUT do skupiny lepších technik, které všechny mají známku B. V horší skupině (se známkou BC, tedy mezi B a C) jsou v tomto oboru ČVUT, TUL a VŠCHT. ZČU má přitom jasně nejlepší články (jediné A v oboru), ale pokazila si to špatnými vybranými výsledky (C), hlavně těmi aplikačními (C). Není tu tedy žádný důvod „k pláči“ (Dan se mýlí), ale ani k oslavě, protože za světem i EU naši strojaři stále zaostávají.

Za samotnou aplikaci patří autorům díky a opravdu ji už používáme i při hodnocení podle Metodiky 17+, Komise pro hodnocení výsledků RVVI ji k tomu ostatně doporučila. Přesto tato aplikace není dokonalá, ani být nemůže. Žádný jeden vzoreček a žádné jedno číslo nemůže plně zhodnotit výsledky složité a rozmanité intelektuální činnosti, jako je věda a výzkum. Ani tuto aplikaci nemůžeme používat slepě a mechanicky. Bez férových, zkušených a moudrých hodnotitelů s nadhledem a přehledem to prostě nejde! 

Na některé principiální problémy a nepřesnosti aplikace jsem už narazil výše. Tady jsou další:

1. Mnozí pravidelně publikují v několika různých oborech, například informatici a kybernetici typicky v oborech Computer and Information Sciences a Electrical Engineering, Electronic Engineering, Information Engineering. Aplikace však každého přiřadí jen do jednoho oboru, a navíc ještě „plným úvazkem.“ To přirozeně Münichovu „produktivitu práce“ v jednom oboru nesprávně zvýší a ve druhém zase nesprávně sníží.
2. Mnozí akademici nepublikuji vůbec, anebo publikují jen v časopisech neregistrovaných WoS. Aplikace je ve jmenovatelích vůbec nepočítá, čímž produktivitu nafukuje. Jenže se s nimi počítat musí, vždyť i oni utrácejí na výzkum peníze z veřejných zdrojů.
3. Chybou je i to, že Daniel ve svém blogu úplně ignoruje články v časopisech nejhorších kvartilů. Jako by ani neexistovaly a jejich příprava nestála čas a peníze. Přitom je ze dvou pracovišť stejně úspěšných v Q1 samozřejmě mnohem horší to, které je současně více produktivní v dolních kvartilech. I špatné publikace musíme do hodnocení počítat, protože odčerpávají peníze těm dobrým. Tento pohled je pro nás naprosto kritický, protože právě v ČR se to hemží pracovišti, které jsou výrazně nejproduktivnější v časopisech Q4, často lokálních, malajských, tureckých či rumunských. Co asi může vést vědce k tomu, že svůj čerstvý výsledek běží hned publikovat do Rumunska? A jak asi vypadá atmosféra na pracovišti, které vedle jednotek článků v D1 produkuje desítky nebo stovky článků v Q4? Nic z toho Danova aplikace nevidí, ale my v odborných panelech ano!
4. Aplikace nevidí z výzkumu nic jiného než články! Jako by ani neexistovaly vynálezy, patenty, prodané licence, vyráběné, prodávané a používané, tedy výsledky výzkumu, které, řečeno s klasikem, „svítí a hřejí“.
5. Z principu ani nevidí „dovnitř článků“ takže vůbec neodliší originální výsledek vlastního výzkumu od sice užitečného, ale neoriginálního přehledu cizích výsledků (Review papers).

Milý Dane, kdo je tu tedy „slepý“? Národní hodnocení podle Metodiky 17+ zřejmě ne! Není naopak slepá tvoje aplikace? Já bych ji tedy slepou nenazval, je prostě poměrně úzce zaměřeným nástrojem. Pokud je použita s vědomím nedostatků, určitě je užitečná. Jenom ji nesmíte prezentovat jako samospasitelnou, jako se kdysi tvářil Kafemlejnek.

Autor: Michael Šebek