Motivace ve vědě fungují, i ty špatné

Časopis PLOS One nedávno zveřejnil článek Alberta Baciniho a kol. Ve volném překladu se článek nazývá "Citační hry vyvolané bibliometrickým hodnocením". Analýza odhaluje, že relativně nové národní hodnocení italské vědy a vědců založené mimo jiné na citacích spustilo mezi italskou vědeckou komunitou vlnu strategického citování se, ať už formou sebe-citací nebo citačních klubů. Zjištění studie ale rozhodně neznamená, že bibliometrie je k ničemu, a že hodnocení vědy je třeba poslat k šípku.

Zjištění italských autorů pouze potvrzuje, že s bibliometrickými ukazateli se musí nakládat obezřetně a že motivace fungují i ve vědě, i pokud jsou špatné. České shrnutí zmíněného vědeckého článku si můžete přečíst zde.

Italská věda jako celek na tom před deseti lety, na poměry zakládajících členů EU 15, nebyla žádný zázrak (a ostatně není ani dnes - viz interaktivní nástroj, kde si publikační výkon Itálie ve významných časopisech můžete srovnat s EU15). Snaha o změnu, podobně jako tehdy u nás, před deseti lety v Itálii vyústila v zavedení zbrusu nového hodnocení výzkumných organizací VQR. Napsal jsem o tom blog již v roce 2013 (to to letí), když se do plné formy dostával český kafemlejnek.

Publikační výkon Itále (X-celkem, Y-ve významných časopisech) ve srovnání s průměrem zemí EU15

V roce 2010 byla v Itálii založena agentura ANVUR, která pak v roce 2011 realizovala první hodnocení výzkumných organizací a další potom za čtyři roky v roce 2015. Součástí italské reformy byla i změna habilitačních pravidel (nároky na dosažení profesury). Ta celonárodně zavedla kritéria počtu vědeckých publikací, počtu citací a h-index. Reforma tedy zavedla motivace ke strategickému (účelovému) citování vědců rovnou dvě: jednak citování v zájmu osobního akademického postupu a jednak v zájmu dobrého zhodnocení vlastního pracoviště.

Institucionální hodnocení

Podobně jako dnes u nás v Modulu I podle Metodiky 2017+, bylo a je součástí italského hodnocení peer-review vybraných vědeckých výsledků. Na rozdíl od nás, kde se počet organizacemi předkládaných výsledků do Modulu I odvíjí od objemu veřejné institucionální podpory, v Itálii se předkládaly tři výsledky na vědce (to je myslím vhodnější). Každý z výsledků musel být hodnocením zařazen do jedné ze 4 kvalitativních skupin. Aby se ušetřilo na drahém a zdlouhavém peer-review výsledků, většina vědeckých článků se do kvalitativních skupin zařadila automaticky pouze na základě významu časopisu a citovanosti. Hodnotitelům se pak pro zhodnocení zasílaly pouze ty články, u kterých byl zjištěn příliš velký rozdíl mezi významem časopisu a citovaností článku (chlívky "U" na obrázku).

Italská matice zařazení článku dle kvality časopisu (X) a jeho citovanosti (Y)

Tak jsem tě citoval, teď je řada na tobě

Italským vědcům samozřejmě hned po prvním kole hodnocení v roce 2011 došlo, že větší počet citací jejich článku se do budoucna může hodit jak jejich pracovišti, tak v jejich habilitačním řízení. A protože se na původ citací v italském hodnocení nikdo dosud neptal, kostky byly vrženy. Někteří vědci začali účelově citovat sama sebe a své spřízněné kamarády a známé. Nežádoucí motivace zabudované nezáměrně do hodnocení spustily sebe-citační závody. Mnozí vědci v Itálii se jich jistě zúčastnit nechtělo. Ale mnozí z nich posléze podlehli tlaku okolností podobně, jako mnozí podlehli tlaku kafemlejnku. Pokud by se totiž závodů nezúčastnili, mohli by v hodnocení skončit na chvostu. A připomeňme si, že i u nás měli a možná stále mají dobří vědci na některých školách problém překonat příliš vysoký počet publikací (libovolných) požadovaný jako habilitační kritérium vysoké škole. Trendy v míře vědecké sebe-citovanosti zemí - inwardness index (z článku Alberta Baciniho a kol.)

Poučení, matka moudrosti

Italská zkušenost je příkladem toho, že každé hodnocení vědy je o hledání optimální kombinace nedokonalých metod (peer-review vs. bibliometrie vs. něco dalšího). Je také o pečlivém vážení mezi mírou přijatelné nedokonalosti a nepřesnosti na straně jedné a časovou a finanční nákladností hodnocení na straně druhé.

Když jsou v zemi či výzkumné organizaci slabé akademické standardy, není dobře nastaveno institucionální prostředí a nedostává se kultury hodnocení, ze zoufalství se začnou jako hodnotící kritéria používat primitivní bibliometrické ukazatele: např. prosté počty publikací a citací. O tom všem jsem zde již psal: o nerozlišování mezi zdroji citací; o posvátné krávě h-indexu [1 | 2 | 3]; o citačních bratrstvech; o problematičnosti obyčejného impact factoru; o raketovém růstu počítaných publikací zde [1 | 2 | 3]. O počtu publikací jako habilitačním kritériu na vysokých školách jsem ještě nepsal.... Odhaduji, že situace v řízení italské vědy a výzkumných organizací byla před tamní reformou dost zoufalá.

Od ďábla

Skutečnost, že italské hodnocení vyvolalo účelové chování vědců neznamená, že hodnocení vědy je od ďábla a je třeba ho zavrhnout. Pravděpodobně ani neplatí, že nežádoucí motivace nového italského hodnocení byly větší než jeho přínosy. Jak to je doopravdy se takto z dálky neodvažuji soudit. Každopádně je možné a žádoucí primitivnější bibliometrické indikátory pro hodnocení upravit tak, aby se výrazně zmenšil prostor pro jejich účelové manipulace. Například lze rozlišovat odkud citace pocházejí (ale je to technicky náročnější) nebo místo obyčejného impact factoru časopisu používat index AIS. Obehrát tyto indikátory je totiž mnohem obtížnější, byť také nejsou dokonalé.

Další čtení

Seeber, Marco, Cattaneo, Mattia, Meoli, Michele, and Paolo Malighetti (2019) "Self-citations as strategic response to the use of metrics for career decisions," Research Policy, 48(2): 478-491. Ukazují, jak italští akademici reagovali na kvantitativně založené citační metriky používané v kariérním systému: zvýšilo vzájemnou citovanost, nejvíce ve společenských vědách.

Baccini, Alberto, De Nicolao, Giuseppe, and Eugenio Petrovich (2019) "Citation gaming induced by bibliometric evaluation: A country-level comparative analysis," PLOS ONE, 14(9): e0221212.

Bagues, M., Sylos-Labini, M., and N. Zinovyeva (2019) "A Walk on the Wild Side: 'Predatory' Journals and Information Asymmetries in Scientific Evaluations," Research Policy, 48(2): 462--477. Zjistili, že poměrně dost, kolem 5 % italských akademiků publikovalo v časopisech na Bealových seznamech žurnálů podezřelých s predátorství. Mezinárodní srovnání ve studii IDEA.