Čas od času mi v e-mailu přistane článek nebo proklamace kritizující bibliometrické ukazatele. Namnoze oprávněná kritika však často trpí dvěma zásadními nedostatky. Jednak pomíjí reálné alternativy k hodnocení pomocí bibliometrie. A dále neberou v potaz, že s bibliometrickými ukazateli pracují lidé z masa a kostí, jejichž schopnost pojmout rozsáhlé sestavy alternativních ukazatelů mají své limity.
Časopis Nature nedávno otiskl článek skupiny uznávaných bibliometrických odborníků "Rethinking impact factors: better ways to judge a journal". Autoři v něm poukazují na nedostatky impakt faktorů - bibliometrických ukazatelů založených na citovanosti, kterými se zvyklo poměřovat kvalitu a význam vědeckých časopisů. Autoři v článku varují před jejich slepým používáním, před falešnými motivacemi, které může vyvolávat jejich používání při hodnocení a financování vědců a jejich pracovišť.
Autoři pak v závěru vyzývají k založení mezinárodní inkluzivní řídicí organizace. Předpokládají, že by mohla navrhovat nové a alternativní indikátory vědeckých časopisů, upozorňovat na jejich nedostatky a rozvíjet standardy. Dále by podle nich mohla vytvářet vzdělávací a osvětové materiály a zveřejňovat konkrétní příklady nedostatků bibliometrických ukazatelů a jejich špatného užívání. A formou osvěty by mohla poskytovat i jistou ochranu méně zkušených vědců před predátorskými praktikami v časopiseckém publikování.
Než půjdu k jádru věci, musím osvětlit, že autoři mají ve své kritice na mysli používání impakt faktorů jako informační opory pro peer-review hodnocení. Jen stěží by je asi napadlo, že někde budou bez peer-review převádět hodnoty impakt faktoru rovnou skoro všechny rozdělované peníze, jak se to dělalo donedávna v éře kafemlejnku u nás, a jak se to do velké míry dělá na řadě našich vysokých škol dodnes.
Dokonalost nebo nic
Kritika impakt faktorů ve výše uvedeném článku je oprávněná. Ostatně s tím máme u nás bohaté zkušenosti. Autoři, podobně jako řada jiných, však přehlíží jednu zásadní věc. Absentuje povědomí o reálně dostupných alternativách k bibliometrickým ukazatelům při hodnocení vědy. Alternativ se totiž moc nenabízí, nejsou automaticky dokonalé a navíc jsou diametrálně nákladnější a zdlouhavější. Rozhodování se pak někdy chybně redukuje na otázku zda Dokonalost nebo Nic?
První přirozenou alternativou k hodnocení na základě bibliometrické informační opory je hodnocení čistě metodou peer-review. Jako se to dělá například v britském hodnocení vědy na vysokých školách, tedy REF. V něm je dokonce používání impakt faktorů časopisů výslovně zakázáno i jako informační opora.
Druhou alternativou bibliometrického hodnocení je vysoce konkurenční systém vysokých škol postavený do velké míry na tržních principech (školném, financemi od firem a absolventů) - například diverzifikovaný, velmi autonomní a deregulovaný systém vědeckých univerzit v USA s vysokou úrovní kulturou decentralizovaného hodnocení. Věda se tam dělá na světové úrovni i bez centralizovaného systému hodnocení vědy. Každá univerzita si tam vědu hodnotí jak uzná za vhodné. Když ale šlápne vedle, třeba nevhodně používá bibliometrii, má smůlu a časem jí ostatní předběhnou.
Jenomže obě uvedené alternativy bibliometricky založeného hodnocení pro mnoho zemí v našich zeměpisných šířkách představují řešení spíše pouze teoretické. Ne že by se o vytvoření funkčního systému peer-review hodnocení na národní a institucionální úrovni neměly země a výzkumné organizace snažit. Ale vytvořit a provozovat ho je velmi náročné, zdlouhavé a nákladné. A pustit do univerzitního světa tolik trhu a konkurence jako například v USA či UK je pro mnoho zemí včetně České republiky myšlenka považovaná za extrémistickou a politicky neprůchodnou.
V takových zemích se samozřejmě vždy nabízí ještě alternativa třetí - nedělat nic. Prostě kvalitu a efektivitu bádání nesledovat a neměřit, vědu nehodnotit. Aby to nevypadalo trapně, jako zástěrku se namnoze provozuje nějaká forma pseudohodnocení. To však v takových zemích ještě posiluje skepsi a odpor k samotné myšlence hodnocení vědy.
Nehodnocení samozřejmě problém s nedokonalostmi bibliometrických ukazatelů z gruntu řeší, stejně jako problém se špatnými motivacemi, které může jejich používání vyvolávat. Bude však takový systém VaV efektivně fungovat? Možná v nějakém malém měřítku nemnoha organizací a hrstky vědců se silnou vědeckou kulturou. Ale určitě ne v situaci jako ta naše, kde koexistuje sto a více velmi rozmanitých výzkumných organizací, desítky tisíc vědců a vše to z velké míry bez konkurence financuje stát. Výsledkem nehodnocení je, že všichni se považují za dobré a užitečné, do systému snadných peněz se hrnou další, kterým se musí házet klacky pod nohy... A výsledky systému jako celek jsou nevalné, jen se to nesluší říkat.
Kompromis, matka moudrosti
Nedostatky impakt faktorů časopisů jako informační opory hodnocení lze samozřejmě omezit řadou způsobů: lze vylepšit jejich konstrukci, je možno jejich nedostatky pojmenovat a zanést do povědomí uživatelů, je možno používat více různorodých ukazatelů atp. Přesně jak doporučuje v úvodu zmíněný článek.
Jenže si musíme uvědomit, že uživatelé těchto nástrojů v převážné většině nejsou a nikdy nebudou scientometři. Uživatelé budou běžní vědci, tedy lidé, kteří jsou mentálně schopni uchopit jen omezené množství informací a podrobností. Pokud před uživatele položíme příliš mnoho informací a budeme od nich vyžadovat vysoce sofistikované nakládání s bibliometrickými ukazateli, skončí to tak, že většina z nich se v tom utopí a na jejich používání rezignuje.
Prostě platí pravidlo, že pokud chceme, aby se bibliometrické ukazatele staly skutečnou oporou hodnocení, musíme přistoupit na řadu kompromisů co do jejich kvantity a složitosti. Pokud budeme trvat na dokonalosti, nebudeme mít nic.
České tápání
Vývoj Česka posledních 20ti let je pěkným příkladem toho, jak velmi hypotetické jsou alternativy k bibliometrickým ukazatelům. Nejdříve se v Česku v devadesátých letech minulého století výzkumné instituce v podstatě nehodnotily (hry na hodnocení nepočítám). Společnost měla jiné starosti. Dlužno dodat, že v tehdejší době bylo použití bibliometrie ještě poměrně komplikované s ohledem na omezenou dostupnost dat, nerozvinuté metodologické postupy a nedostatky výpočetních nástrojů.
Pak přišla éra výzkumných záměrů. Těm však chyběly klíčové atributy institucionálního hodnocení i financování. Nedostatky a selhání v peer-review hodnocení výzkumných záměrů nejenže vedly k zániku systému samotného, ale zrodily velmi životaschopnou myšlenku institucionálního financování "bez doteku lidské ruky" - slavný kafemlejnek. A zásadní roli 'neviditelné ruky' v kafemlejnku sehrál právě Impakt Faktor časopisů (impakt faktor s velkým I, zkratkou označovaný také jako IF). Paradoxní bylo, že se IF v rámci kafemlejnku k opravdovému hodnocení vlastně ani nepoužíval. Jen si zkuste z té éry najít nějaké hodnocení vysokých škol nebo fakult, které by bylo na IF založeno a dávalo smysl.
Šlo hlavně o vzoreček na peníze. Podle něj se rozdělovala institucionální podpora výzkumu mezi vysoké školy a další. Kafemlejnek na vysokých školách vládl od roku 2010, v rozdělování peněz mezi vysoké školy se po fixaci rozpočtů pokračuje i nadále a uvnitř některých VŠ kraluje zřejmě dosud. Byť v případě kafemlejnku o hodnocení fakticky nešlo, pro forma se tomu tak říkalo: Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů.
A šlo nejen o vzoreček na rozdělování peněz. Podle bodů se zvyklo hodnotit programy účelové podpory, staly se významným parametrem při rozdělování normativů veřejné podpory vzdělávací činnosti škol a podpory doktorandského výzkumu. Světově unikátní, ale absurdní koncept kafemlejnku po necelých deseti letech ukončilo bující účelové chování vědecké komunity reagující na špatné motivace jeho éry.
Ale to, že byl impakt faktor použit absurdním způsobem v kafemlejnkovém rozdělování peněz ještě neznamená, že si zaslouží zatracení. Druhý rok sledujeme rozjezd hodnocení podle nové Metodiky 2017+. Klíčovou roli v ní hraje peer-review a bibliometrie s impakt faktory je velmi důležitou informační oporou. I zde však stojí otázka nedostatků a nevhodného používání impakt faktorů v popředí důležitosti a zájmu. Ale o tom až někdy příště.
