Tento text je inspirován článkem Václava Hořejšího Kafemlejnek – dobrý sluha a zlý pán?, který vyšel zde 2. 12. 2016. V něčem s ním souhlasím, v něčem ne, a konečně jsem se odhodlal to sepsat. Dovolím si předpokládat, že čtenář tohoto blogu je obeznámen jak s proklínaným kafemlejnkem, tak s tahanicemi okolo hodnocení naší vědy vůbec.
Proč nebyl kafemlejnek hned zpočátku udělán chytřeji? Nevím. Snad byli autoři první verze opravdu neznalí, naivní, či co? Rozhodně se systém postupně vylepšoval a šlo by ho vylepšit ještě víc. Nemohu se ubránit dojmu, že byl zrušen právě ve chvíli, kdy už byl docela rozumný – anebo právě proto?
Co by šlo snadno vylepšit a co mohlo být lepší hned od začátku? Tak třeba by šlo:
- Započítat jen články v nejlepších časopisech oboru, třeba jen z prvního kvartilu Q1 nebo dokonce prvního decilu D1 WoS. A navíc použít AIS místo IF, jako ve studii CERGE. Potom by libovolné množství odpadu to dobré nikdy nevyvážilo.
- Započítat také skutečné citace, samozřejmě bez autocitací přímých, nepřímých, ze stejné školy, regionu nebo ČR vůbec?
- Vybrané obory - kde to snad skutečně nefunguje - ošetřit nějak jinak. Obvykle v nich bývá publikací méně, takže je možné je nechat ohodnotit někde v cizině?
- Omílané “aplikační výsledky” hodnotit úplně jinak, např. přes peníze, které vydělaly. Tím by se osvětlil typický nedostatek “aplikačních výsledků” v naší zemi: Totiž to, že nejsou vůbec nikde aplikovány, nevyrábějí se, neprodávají se, nekupují se, nepoužívají se, ...
- Udělat osvětu a konečně komunitu rozhýbat a otevřít. Je přece nenormální a nemorální, že sice o manipulacích a podvodech v kafemlejnku “každý ví”, jenže konkrétní příklady téměř nebyly zveřejněny, nebyly veřejně propírány a tak nesklidily zasloužený posměch – pro komunitu tak ozdravný a proto tak potřebný!
Takto či ještě více vylepšený kafemlejnek by jistě fungoval lépe, ale stoprocentně dokonalý by nebyl. Jenže stoprocentně dokonalá přece není žádná metoda hodnocení.
A teď ještě shrnu, co je kafemlejnku vyčítáno neprávem. Co není pravda. Anebo co pravda je, ale čemu se nelze vyhnout při žádném hodnocení – a tedy to není nedostatkem výhradně kafemlejnku!
- Tak „špatná souměřitelnost různých oborů“ je přece fakt, se kterým si musí poradit každá metodika. Máme-li určitou sumu peněz rozdělit mezi různé obory, nikdy se vzájemnému srovnání nevyhneme! At už dáme každému stejně, kamarádům víc, rozdělíme to náhodně, podle názoru některých anebo podle vzorečku, vždy přece budeme obory srovnávat! Dáme-li jednomu více, musíme prostě dát druhému méně.
- Pokud je kafemlejnek „naprosto nevhodný“ pro některé obory, pak to určitě nejsou obory technické a to si troufám posoudit lépe než Hořejší. Vlastně ani nevím, kde to vzal? Výsledky základního výzkumu v technických oborech se primárně zveřejňují právě v mezinárodních časopisech a korelace impaktových faktorů časopisů s “kvalitou” je skoro taková, jako v přírodních vědách. Výsledky aplikovaného výzkumu v technických oborech se také publikují v mezinárodních časopisech - byť třeba až po udělení patentu - a dokonce je tam publikují i výzkumníci z hi-tec firem. Zbývá tedy jen otázka, jak posoudit patenty, prototypy, software apod. K tomu je asi nejlepší posoudit jejich dopad a peníze z nich plynoucí, a originalitu nechat na peers – třeba jako to děláme v Pilíři II.
- Konečně „zneužitelnost systému“ je důležité zkoumat a ošetřit nejen u kafemlejnku. K „aplikačnímu balastu“ se vyjadřuji v předchozím. Zde se jen zeptám, jak mohli být autoři prvních verzí kafemlejnku tak naivní a kdo z technických oborů jim vlastně radil?
S „faktickou stimulací výzkumníků k produkci (pod)průměrné kvantity na úkor skutečné kvality” to nebylo zas tak hrozné. Kvalitní výzkumníci se k produkci braku nesnížili, už jen proto, že jim se to nevyplatilo. Stimulováni tak byli pouze ti kvalitních výsledků neschopní. Ti dříve negenerovali nic a vlivem kafemeljnku nekvalitní výsledky. To zas není takový rozdíl a kafemlejnek tu moc nezkazil. Dokud nebudou špatní výzkumníci od financování odříznuti úplně, k nápravě nedojede. A konečně - kafemlejnek nekafemlejnek – proč se současně ruší i dobrý Pilíř II – výběr excelentních výsledků? Jen tak mimochodem? Anebo proto, že něco ukazuje?
Na závěr ještě pár slov k Metodice 17+, které je jako Bílá paní: Každý o ní mluví, ale kdo ji kdy viděl? Na webu RVVI je jen fotka, nic víc? Googlem jsem na webu našel jen jakési značně nekonkrétní 17 stránkové Zásady Metodiky 17+ . Je-li tohle vše, co se zatím ví, pak vůbec nechápu, proč se Hořejšímu „zdá“, že to bude lepší než Metodika současná? Má jít o kvalitativní hodnocení výzkumných institucí, ale návrh je tak obecný a nekonkrétní, že se o něm snad ani nedá přemýšlet. Přesto se o pár připomínek pokusím:
- Jak bude toto velmi nejasné a velmi složité hodnocení institucí odolné proti vlivům a tlakům mocenským, politickým a regionálním? Jak zabráníme lobování typu: „V našem kraji přece musí být alespoň jedno A?“ Nebo být odolné nemá?
- Jak bude ošetřena velmi rozdílná kvalita uvnitř našich institucí? Ta totiž v civilizovaném světě neexistuje a u nás je způsobena nefunkčními řídícími procesy uvnitř institucí, které jsou bohužel danými špatnými zákony. Tak i na nejlepší univerzitě je mnoho špatných fakult a často jich je dokonce většina. I na nejlepší fakultě (ústavu) jsou špatné katedry (oddělení) a často jich je dokonce většina. Jak potom chcete známkovat - klastrovat? Podle nejlepších, nejhorších nebo průměru? Copak není každá z možností špatná? A jak zajistíte, aby se uvnitř áčkové instituce dostaly peníze opravdu k áčkovým lidem, když těch céčkových tam je víc a instituci vládnou? To se céčkoví zase jen povezou? A nově, za áčkové peníze, ještě pohodlněji? To už nebudou muset výzkum ani předstírat? Nebo právě o to šlo?
- A proč bude podpora fixována na základě současné metodiky, když tvrdíte, že je špatná? A dokonce bude používat data z doby, kdy bylo vše ještě horší?
- Ani se budu ptát, proč je opět staré zrušeno mnohem dříve, než je nové připraveno a rozmyšleno.
Proč vůbec chválit Bílou paní dřív, než ji uvidíme?
