Kafemlejnek – dobrý sluha a zlý pán?

Pro všechny instituce, které se zabývají VaVaI, dostávají na to podporu z veřejných prostředků a vykazují své výsledky, lze pak určit každoročně celkový počet takto vyprodukovaných bodů. Tak by se mělo objektivně ukázat, jak byla která instituce produktivní, a tato předcházející výzkumná produktivita by se měla vzít v úvahu při rozdělování veřejných institucionálních prostředků těmto institucím na další období.

Tento systém vznikl z dobrého úmyslu získat nástroj k odlišení těch, kteří produkují skutečně cenné výsledky (publikace v mezinárodních časopisech, vědecké monografie, mezinárodní patenty), od těch, kteří namísto toho produkují spíše jen “informační šum”, bezcenné výzkumné zprávy a publikace v obskurních časopisech. Problémy ovšem nastaly, když se část institucionálních prostředků začala rozdělovat přímo úměrně k počtu dosažených bodů. Tehdy se objevil i termín “kafemlejnek” jako posměšné označení systému, do kterého se nasypou výsledky a ty jsou podle daných pravidel automaticky “přemlety” na body (a ty posléze zase prostou trojčlenkou na peníze). Ukázalo se, že v tomto systému lze poměrně snadno nahradit kvalitu kvantitou, že je velmi problematické srovnávat bodové hodnocení podobných výstupů (vědeckých publikací) v různých oborech, že bodové hodnocení aplikačních výstupů (patenty, software, funkční vzory inovačních produktů) je zcela arbitrární. Vše toto u některých subjektů pak vede k absurdní produkci “bodů pro body”, což nemá nic společného s původním bohulibým záměrem objektivizovat výzkumnou produktivitu.

Je třeba poznamenat, že v případě vědeckých publikací má “kafemlejnek” zabudovaný mechanismus, který v principu preferuje kvalitní výsledky – bodové hodnocení se odvíjí (poměrně sofistikovaným způsobem) od kvality a prestiže časopisu, ve kterém byly výsledky publikovány (tuto kvalitu v daném oboru do určité míry reprezentuje, možná trochu sporně, tzv. impaktový faktor (IF) daného časopisu) a bere v úvahu i oborová specifika. Problém ale stále zůstává v tom, že počet bodů za publikaci v opravdu špičkovém, vysoce prestižním světovém časopise, je stejný nebo i nižší než za několik publikací v průměrných či dokonce podprůměrných časopisech, které se dají “vyrobit” mnohem snáze. Zásadní problém je i v tom, že je opravdu těžké objektivně říci, zda např. odborný článek v nějakém kvalitním chemickém mezinárodním časopise má mít obdobný počet bodů jako článek v kvalitním matematickém či sociologickém časopise (“srovnávání hrušek a jablek”). Je dobré si ale uvědomit, že v “předkafemlejnkové” době se často jako měřítko výzkumné produktivity používal prostě celkový počet publikací stylem “kus jako kus”, bez ohledu na to, jestli se jednalo o články ze světově prestižního časopisu nebo z “Podbrdských rozhledů”. To je určitě ještě horší, než “kafemlejnek”!

Musím přiznat, že vznik tohoto “kafemlejnkového” systému mám do značné míry na svědomí (a mnozí mi to dodnes předhazují). V letech 2003-2005 jsem totiž byl předsedou jedné ze tří poradních komisí při Radě pro výzkum a vývoj (RVV; dnes má tento poradní orgán ve svém názvu ještě veledůležité “inovace”, takže je to RVVI). V této komisi pro oblast věd o živé přírodě a chemických věd tehdy působila řada význačných vědců (P.Hobza (ten byl místopředsedou), M. Anděl, M. Elleder, J. Fulka, J. Krekule, E. Marek, B. Ošťádal, V. Pačes, B. Říhová, V. Viklický, K. Wichterle, J. Zrzavý). Od samého počátku naše komise považovala za prioritu vypracovat pro RVV návrh systému hodnocení kvality a produktivity výzkumných institucí. V té době totiž snahy o nějaké objektivizované hodnocení vědeckých institucí narážely na názory vlivných lidí typu “my přece sami víme, kdo je dobrý”, případně “kvalitu vědecké práce hodnotit z principu nejde”; téměř všechny grantové projekty končily hodnocením “vynikající výsledky na světové úrovni”.

Výsledkem byl v roce 2004 návrh naší komise velmi podobný dnešnímu “kafemlejnku”, přiřazující body za publikace v závislosti na impaktovém faktoru příslušného časopisu normovaném “oborovým koeficientem” založeným na oborovém třídění v informačním systému Web of Science. Od samého počátku nám bylo zřejmé, že existuje problém, jak ohodnotit aplikační výsledky, knihy a monografie, prezentace na významných konferencích (které jsou v některých oborech považovány za důležitější než časopisecké publikace), výsledky v humanitních oborech (např. výstavy a podobné prezentace). Vzniklo postupně několik verzí návrhu, které sice předpokládaly vazbu mezi kumulativním počtem bodů a přídělem financí, ale upozorňovaly i na nutnost konečného “moudrého zhodnocení” získaných údajů (kontrolu toho, zda nedochází k nějakému účelovému zneužívání systému, podvodům), ale také na nutnost vzít v úvahu “strategické” aspekty (např. cílená selektivní podpora nově vzniklých institucí).

O tom, jak nakonec naše návrhy definitivně dopadly, již mnoho nevím – na členství v komisi jsem rezignoval počátkem roku 2005 na protest proti postupu RVV v ostudné záležitosti Výzkumných záměrů vysokých škol ukázkově zpackané tehdejším MŠMT.

Jisté je, že systém přijatý RVVI na základě návrhu naší komise v prvních dvou letech zafungoval docela dobře – jasně identifikoval instituce, které nevyprodukovaly žádné nebo téměř žádné systémem oceňované výsledky. Jakmile se ale systému zmocnili úředníci, kteří v něm našli jakýsi zázračný “objektivní” nástroj, který z nich sejme zodpovědnost za rozhodování, a začalo se s přidělováním části institucionálních prostředků přímým převodem “kafemlejnkových” bodů, začaly být zřejmé zásadní problémy:

• špatná souměřitelnost různých oborů,
• naprostá nevhodnost systému pro některé obory (humanitní, technické, matematika), ve kterých není nutně primárním způsobem zveřejňování výsledků publikování v mezinárodních časopisech a ve kterých je korelace impaktových faktorů časopisů s “kvalitou” velmi problematická,
• snadná zneužitelnost systému účelovou produkcí zhusta aplikačního balastu typu “funkční vzorky”, “software”, “ověřená technologie”.

Jako další zásadní problém se ukázalo použití přímé úměry mezi (problematickými) body a přidělovanými financemi a faktická stimulace výzkumníků k produkci (pod)průměrné kvantity na úkor skutečné kvality.

Přiznejme ovšem, že na některých pracovištích měl “kafemlejnkový” systém zjevně pozitivní efekt – zvýhodnil ty týmy, které byly publikačně (či jinak) produktivní, na úkor těch, které dlouhodobě neprodukovaly téměř nic, nebo jen balast, který ani v “kafemlejnku” nezabodoval. Výsledky pak poskytly vedoucím takových pracovišť vítané “alibi” k likvidaci či reorganizaci neproduktivních součástí pracovišť a podpoře těch produktivních.

Na zásadní vady “kafemlejnku” (mimochodem zřejmě českého unikátu) poukázal před několika lety audit provedený mezinárodní firmou Technopolis:

“Použití Metodiky hodnocení pro účely institucionálního financování je nevhodné, protože deformuje chování, snižuje stabilitu výzkumného systému a je na překážku jeho výkonnosti. Obecně bere hodnocení v potaz nevhodné ukazatele.”

I kdyby existoval nějaký teoreticky “ideální” kafemlejnek, který by zcela spravedlivě oceňoval dosažené výsledky a neměl by výše uvedené problémy (což je zřejmě nemožné), bylo by problematické převádět takovéto “spravedlivé” body přímou úměrou na peníze a zohledňovat i poměrně malé bodové rozdíly. Smysl takovýto (i třeba ne zcela ideální) systém má pro odhalení skutečně velkých (násobných) rozdílů, které velmi pravděpodobně indikují reálné rozdíly v produktivitě posuzované jakýmkoli způsobem.

Je pravda, že i ten nynější velmi nedokonalý systém dobře funguje pro odhalení toho nejhoršího “suchého dřeva”; naproti tomu nefunguje příliš dobře pro identifikaci opravdových kvalitativních špiček a má tendenci odměňovat méně náročnou velkoobjemovou produkci průměrných či dokonce podprůměrných výsledků. Tisíc bodů získaných za několik článků v nejprestižnějších světových časopisech je určitě mnohem cennější než stejný počet bodů za několikanásobně více článků v časopisech průměrných či ještě horších. Ideální systém by se rozhodně měl zaměřit na odhalení „suchého dřeva“, ale i na identifikaci a podporu toho kvalitativně nejlepšího v našem výzkumu.

Nynější systém je podle mého názoru velmi užitečný, i pokud jej použijeme jako důležitý podklad pro srovnávání produktivity oborově blízkých pracovišť, a to ve velkých přírodovědeckých oborech (např. různých ústavů či kateder zabývajících se molekulární biologií, nebo jiných zabývajících se organickou chemií, či fyzikou pevných látek), ve kterých jsou hlavním všeobecně ceněným výstupem vědecké publikace v mezinárodních časopisech a citovanost těchto článků ostatními badateli; i tam ovšem může snadno docházet ke zkreslení typu “kvantita místo kvality”, a je tedy potřeba kvalifikovaného a moudrého zhodnocení těchto podkladů.

Je třeba si uvědomit, že i při použití velmi solidního a důkladného systému hodnocení základního výzkumu metodou “peer review” ti nezávislí odborní hodnotitelé používají v podstatě jakýsi “kafemlejnek” – vyhodnocují především kolik a jak kvalitních odborných článků (posuzováno do značné míry podle impaktového faktoru časopisu a následného citačního ohlasu) posuzovaný subjekt vyprodukoval.

V každém případě může “kafemlejnkový” systém posloužit při rozumném použití jako užitečný pomocný, avšak nikoli absolutní nástroj.

Úplně nevhodný je zajisté u oborů, kde publikace v “impaktových” časopisech má relativně malý význam. Arbitrární kvantifikace různých výstupů např. aplikovaného výzkumu nebo výzkumu v humanitních oborech může vést až k směšným absurditám (slyšel jsem o úvahách přidělovat uměleckým vysokým školám body např. podle velikosti namalovaných obrazů nebo délky komponovaných skladeb...). Upřímně řečeno nevím, jak by se měla objektivně hodnotit kvalita a produktivita aplikovaného výzkumu a vývoje – jako samozřejmost asi každého napadne prokazatelná ekonomická návratnost, ta se ale zpravidla ukáže až po několika, případně mnoha letech.

Důkladnější diskusi by si zasloužila kontroverzní otázka, jaký význam a použitelnost mají impaktové faktory vědeckých časopisů – brzy se k tomu vrátím v dalším článku.

Závěrem:

Ano, skutečně jsem se významně podílel na vypuštění „kafemlejnkového džina” z láhve, a nijak se za to nestydím. Nemoudré použití tohoto džina mají totiž na svědomí jiní. Myslím, že jako i v této záležitosti platí, že “všechno zlé je k něčemu dobré” – jsem přesvědčen, že někdejší návrhy naší poradní komise otevřely velmi důležitou otázku “jak hodnotit kvalitu a produktivitu výzkumu”, že vedly k opuštění ještě horšího stavu absence jakéhokoli hodnocení, resp. sčítání publikací “kus jako kus”, a že po zjištění, že primitivní použití “kafemlejnku” je slepou uličkou, vbrzku dospějeme k něčemu lepšímu. Zdá se, že nynější návrh hodnocení „Metodika 17+” schválený RVVI, který byl před několika dny rozeslán do připomínkového řízení, něčím takovým už opravdu je.