Co všechno unese kritika druhého pilíře kafemlejnku

Obecněji ke kritice Dana Münicha

Asi základním nedostatkem Münichovy kritiky je to, že zaměňuje výběr - které konkrétní výsledky byly vybrány za excelentní a jak – se slovním zdůvodněním, které má doprovázet konkrétní vybrané výsledky, ale přirozeně nepopisuje, jakým způsobem byly vybrány. Jde o dvě úplně jiné věci, přičemž hlavní je určitě výběr samotný. Celý Pilíř II totiž stojí a padá s tím, zda jsou nebo nejsou vybrány výsledky skutečně nejlepší.

Jak jsem snad ukázal v „Pohledu do kuchyně“, Panel EP04 při výběru postupoval pečlivě a zdlouhavě. Každý člen panelu nejprve zvážil u každého výsledku mnoho různých aspektů, zejména však originalitu, novost a původnost výsledku na jedné straně a jeho dopad na straně druhé. Při mnoha různých typech výsledků ve vědách technických a informatických je právě zhodnocení jejich dopadu velmi užitečným nástrojem. Proto u něj zůstanu trochu déle. Dopad teoretického článku na vědeckou komunitu se nejlépe zjistí nejen z počtu nevlastních citací, ale i z toho, kdo konkrétní cituje a co konkrétního v citaci píše. Dopad patentovaného vynálezu na trhu se nejlépe změří počtem a cenou prodaných licencí, vyrobených a prodaných výrobků, ziskem, podílem na trhu atp. Dopad freewaru či public domain softwaru na společnost se zase dobře zjistí z počtu užívaných instalací po světě, z toho kdo významný ho používá, k čemu atp. A když může některý výsledek prokázat dopady různého druhu (na komunitu i na trh), je to jeho veliká výhoda. Prokazování toho všeho u tolika zaslaných výsledků je velmi obtížné, a proto náš panel postupoval následovně: Vždy jsme vycházeli z toho, co napsali sami autoři do svého popisu výsledku a to jsme samozřejmě nejprve ověřovali (obvykle několik málo z nás, zato dost pečlivě). Pokud však autoři sami dobře nepopsali, proč svůj výsledek považují za excelentní, Panel to za ně nedělal. Vždyť my jsme přece hodnotitelé a ne detektivové.

Podstatným rysem práce Panelu bylo, že jeho členové své názory i svá zjištění mezi sebou sdíleli, diskutovali a nakonec každý učinil své individuální rozhodnutí (A nebo B). Opět všichni členové viděli jednotlivé individuální známky, což jistě přispělo k férovosti celého procesu. Takto jsme ke každému výsledku získali sadu mnoha individuálních známek (statistika viz „Pohled do kuchyně“). Podle nich jsme všechny výsledky seřadili (vzorečky opět viz „Pohled do kuchyně“). Z výsledného pořadí jsem nakonec já „vyřízl“ horní část a navrhl ji Panelu jako můj osobní návrh. Všichni členové do jednoho s mým návrhem konsenzuálně souhlasili.

Teprve pak, až na poslední chvíli, jsme přistoupili k sepsání slovních zdůvodnění ke každému výsledku. Rozhodli jsme se je napsat velmi stručně, často formou jediné krátké věty, a to z mnoha dobrých důvodů. Pár jich tu uvedu:

• Popsat formálně, proč byl výsledek vybrán, by bylo snadné: zhruba proto, že získal dostatek individuálních Áček a že jich dostal víc než individuálních Béček (přesný vzoreček viz „Pohled do kuchyně“). V textu závěrečné zprávy Panelu to samozřejmě bylo napsáno. Opakovat to ale v každém jednotlivém zdůvodnění by bylo k ničemu.
• Popsat fakticky, proč tento výsledek dopadl lépe než jiný, by bylo naopak velmi obtížné a zdlouhavé.
• Minule (před dvěma roky) jsme měli podobně stručná hodnocení a nikomu to nevadilo.
• Toto zdůvodnění je vždy uvedeno pod vlastním zdůvodněním autorů, které hlavně potvrzuje. Proč tedy opakovat detaily dvakrát na jedné stránce?
• Nedostatek času: Po mnoha týdnech zdržení, a diskusí s administrátory a po mnoha dalších týdnech práce na vlastním výběru nám zbyly na sepsání zdůvodnění v podstatě 1-2 dny. Napsat je podrobně, diskutovat jednotlivé formulace se všemi členy, zaparkovat jejich námitky a získat jejich konsensuální souhlas by trvalo další týdny.

Shrnuto: Zdůvodnění jsem sepsal sám za odpoledne a příští den mi to všichni schválili. Možná tohle je trochu odbyté, ale jinak to nešlo. Hlavně ale, nepovažuji to za důležité! Za důležitý považuji samotný výběr!

Reakce na některé pasáže textu Dana Münicha

Nyní rozeberu některé pasáže Münichova kritického textu „Co všechno unese druhý pilíř kafemlejnku“ a vyjádřím se k nim.

„Nad tím, co bylo zveřejněno jako výsledek mnohaměsíčního úsilí expertních panelů, lze jen nevěřícně zakroutit hlavou.“

Opakuji, že výsledkem mnohaměsíčního úsilí expertních panelů je zejména samotný soubor vybraných výsledků! Na ten jsme se soustředili, protože ho považujeme za nejdůležitější. Slova ve zdůvodnění už tak důležitá nejsou. Konec konců jde o expertní výběr, za který prostě ručí celý Panel expertů. Najde-li se ve výstupu panelu jediný výsledek, který si nezasloužil být vybrán, pak kritizujte.

„Vybrané výsledky předkládané do tzv. II. pilíře nejsou hodnoceny strojově ani bibliometricky jako v I. pilíři, ale expertními panely“

Snad už jsem vysvětlil, že alespoň náš EP04 „bibliometricky“ nepostupoval. Americký patent neměl šanci, pokud neprokázal prodané licence či výrobky. Článek v časopise s vysokým IF neměl šanci, pokud neměl prokázaný dopad – třeba mnoha skutečnými dobrými citacemi od respektovaných autorů. A jen tak mimochodem, ani Pilíř 1 (kafemlejnek) nebere skutečné citace do úvahy a nehodnotí je.

„Solidní panely... budí dojem solidně odvedená práce. Jde o Panel 3: Společenské vědy typu C, ...“

Tak např. Panel 3 měl práci nesrovnatelně lehčí: posuzoval sotva čtvrtinu výsledků ve srovnání s naším. Zajímalo by mě, kolik individuálních hodnocení ke každému výsledku dal dohromady?

Dan Munich dále příkladně chválí např. následujíc zdůvodnění od EP03:

„ID32 (Panel 3): This article tackles a very important topic and a clear research question, with a high impact on the current academic debate and societal challenges. The analysis is clear, precise, straightforward and understandable. The paper uses appropriate methodological framework. The results are saliently interpreted and discussed. The paper was published by a top-notch international journal.“

a naopak kritizuje následující zdůvodnění z EP04:

„ID43 Excellent experimental paper on a hot research topic. Very good journal and very high number of citation response.“

To tedy zase přijde k smíchu mně! Vždyť chválený ID32 říká v podstatě totéž, co ten kritizovaný ID43: totiž skoro nic. Jenom obsahuje mnohem více slov k vyjádření téhož. Podle mě zbytečně, ale to už je asi specifický rozdíl mezi společenskými a technickými vědami. Já naopak vidím závažný nedostatek v Danem chváleném ID32 - postrádá důležitý aspekt, totiž dopad výsledku. A naopak v krátkém kritizovaném ID43 dopad zmíněn je. Já tedy považuji popis ID43 za lepší. Méně slovy toho řekl o něco víc! A navíc, mám z toho usoudit, že se Panel EP03 nezabýval dopady a ohlasy výsledků a kritizovat ho za to?

„Panel 4: Technické a informatické vědy svá rozhodnutí skoro výhradně opíral o bibliometrickou informaci. To ale popírá smysl peer-review hodnocení panely. Na základě bibliometrie se totiž hodnotí v I. pilíři."

Ne neopíral! A když, tak jen minimálně. A navíc, znovu: Počty citací, kdo cituje a co v citaci píše, to NENÍ bibliometrie (alespoň NE kafemlejnek). Je to férová míra dopadu na mezinárodní komunitu a ohlasu v ní, kterou může posoudit jen expert. Vydělané peníze či vyrobení výrobky nejsou bibliometrií už vůbec. Vlastně nechápu, kde to Dan vzal?

„Spousta odůvodnění se pouze odkazuje na hodnocení v minulém kole typu: this paper carries an "a" from the previous evauiation.“

Ano, jinak ani nelze. Tyto zdědily Áčko z minula a letos se k nim přihlásila další instituce. Panely je letos nehodnotily, protože nemohly. Přesně a správně podle Metodiky část VII. 3. Podrobněji níže.

„Ze zveřejněných výsledků je zřejmé, že koordinace a sladění přístupů k hodnocení mezi panely byly minimální nebo absentovaly úplně. Nasvědčují tomu velmi rozdílná pojetí odůvodnění napříč panely.“

Snad. Nemožnost koordinace je ale většinou vysvětlováno slovy, že „každý obor má svá specifika“ a že „výsledky nelze porovnávat napříč mezi obory“. Neříká tohle často i Dan Münich?

„Absence kalibrace mezi panely je další závažný nedostatek, protože přístup panelů musí být stejný. A to prostě jen s návodem bez koordinace a vnějšího dohledu nejde."

Tak tedy, jeden výsledek hodnocený EP04 vydělal spoustu peněz a ještě měl článek o něm stovky heterocitací dle WoS, přes desetinásobek IF příslušného časopisu. Naopak výsledky vybrané chváleným panelem EP03 mají kolem 10 heterocitací, což je u toho nejlepšího asi jen čtyřnásobek IF příslušného časopisu. Peníze tyto výsledky samozřejmě nevydělaly žádné a jiný dopad prokázán ani zmíněn není nikde. Zkusí to Dan Münich nějak kalibrovat?

„Ti, co výsledky do hodnocení předkládají, by také měli mít předem jasnou představu, co se vlastně hodnotí a ne muset předem odhadovat, jak k hodnocení přistoupí ten který panel.“

Ale to přece všichni vědí! Prostě každý zašle ty nejlepší výsledky, které ve SVÉM OBORU má. A panel lidí ze STEJNÉHO oboru je zhodnotí. V čem je problém? A pokud někdo neví, co je v JEHO oboru excelentní, tak ať jde ze hry.

V mém oboru je to jasné: Excelentní výsledek musí mít nějakou výraznou výhodu před konkurencí a musím mít prokázaný velký dopad (na vědeckou komunitu nebo na průmysl nebo na trh nebo na společnost nebo tohle vše dohromady). Zda je to splněno nebo ne – o tom rozhodnou experti. Dopad na mezinárodní vědeckou komunitu se nejlépe pozná z toho, jak moc slavných vědců výsledek cituje, co pochvalného o něm píší, jak pomohl dalším vědcům v jejich práci atp. Další druhy dopadů se posoudí podobně, viz výše a „Pohled do kuchyně“.

„Velmi mnoho výsledků bylo mezi excelentní zařazeno jen a pouze na základě toho, že jako excelentní byly vyhodnoceny už v minulém Hodnocení'14. Jenomže pravidla jsou nastavena tak, že i tyto výsledky, pokud je opět někdo předložil, mají projít hodnocením v soutěži o nejlepších 20 %. Kdyby to tak být nemělo, tak je v Metodice napsáno, že již dříve excelentní výsledky panely se už znovu nehodnotí.“

Jenže právě to v metodice napsáno JE. Tohle je další omyl kritika. Výsledek jednou hodnocený A se už příště nehodnotí. Ale ostatní instituce, které se na něm podílely, se k němu mohou později přihlásit a mají tak podíl na tom Áčku zajištěn automaticky. To je nejen psáno (viz Metodika část VII. 3.), ale i konzultováno s autorem Metodiky Tomášem Opatrným. Letos byly v našem Panelu takové výsledky dva. Jelikož si už „přinesly A z minula,“ byly oba na hodnotitelském webu Úřadem vlády zablokovány předem s hodnocením A, a Panel to už ani nemohl změnit. Nemohl je hodnotit, ani kdyby chtěl.

„Že jsou u výsledků navíc zřejmě špatně uvedeny autorské podíly, je v tomto ohledu jen lapálie.“

Ale vždyť podíly vyplňovaly samy zasílající výzkumné organizace! Tedy v lepším případě. Do našeho panelu se totiž dostalo i několik desítek výsledků bez podílu. Na žádost Úřadu jsem je doplňoval sám. Ostatní podíly jsme kontrolovali a byly více méně OK. Kdyby některý podíl uvedený organizací zjevně neodpovídal pravdě, výsledek by dostal B.

Závěrem

Na mě tedy působí podivně a odbytě zase celý kritický text Dana Münicha. Měl by si raději osvěžit Metodiku, získat správné informace a celé si to lépe rozmyslet. Jindy píše lepší a zasvěcenější texty. Co kdyby raději zkusil najít nějaký problematický výsledek, který byl vybrán nezaslouženě, to by měl opravdu důvod ke kritice.

 

Michal Šebek
předseda EP04