Dora, Dora, Dora!

Volání deklarace po co nejkvalitnějších a nejkompletnějších podkladech hodnocení naopak používání bibliometrických ukazatelů vlastně doporučuje.

Deklarace DORA (The Declaration on Research Assessment CZ / EN) vznikla v roce 2012 během výročního setkání American Society for Cell Biology v San Franciscu.¹ Posléze se rozšířila po celém světě a dorazila i k nám. Varuje před nevhodných používáním bibliometrických ukazatelů a v některých případech jejich používání odmítá jako takové. Její doporučení se ale primárně týkají hodnocení jednotlivců, týmů a grantů. Nikde jsem v ní nenašel explicitní zmínku o hodnocení výzkumných organizací, resp. větších pracovišť. Ve vztahu k hodnocení výzkumných organizací pro účely jejich řízení a financování je podle mě většina kritických bodů deklarace irelevantní.

Navzdory tomu jsou zkratkovitě a paušálně interpretované závěry deklarace v Česku občas používané k absolutnímu odmítnutí bibliometrické opory hodnocení výzkumných organizací a jejich součástí. U někoho jde o pouhý důsledek nepochopení deklarace, když si ji dotyčný pořádně nepřečetl. U jiných jde o naivní víru v snadnou realizovatelnost kvalitního peer-review hodnocení. Ale najdou se i tací, kteří se bibliometrickou oporu hodnocení snaží odsunout na vedlejší kolej, protože v informační mlze se snadněji mlží a manipuluje.

Níže jsem proto převzal český překlad deklarace DORA z webu Vědavýzkum.cz a proložil ho komentáři (zvýrazněné tučně, uvozené zkratkou DM).

Deklarace DORA s komentáři

Organizace poskytující finance, akademické instituce a další subjekty hodnotí výstupy vědeckého výzkumu metodami, které je nezbytné zlepšit. K vyřešení tohoto problému se sešla skupina editorů a vydavatelů vědeckých časopisů na výročním zasedání Americké společnosti pro buněčnou biologii (The American Society for Cell Biology – ASCB) v San Franciscu v Kalifornii dne 16. prosince 2012. Skupina vypracovala soubor doporučení známý jako Sanfranciská deklarace o hodnocení výzkumu. Vyzýváme zúčastněné strany ve všech vědeckých oborech, aby vyjádřily svou podporu a tuto deklaraci podepsaly.

Výstupů vědeckého výzkumu je mnoho a jsou různorodé, zahrnují odborné vědecké články sdělující nové poznatky, data, chemické sloučeniny a software; dále také duševní vlastnictví i vysoce kvalifikované mladé vědce. Organizace poskytující finance, instituce zaměstnávající vědecké pracovníky i samotní vědci potřebují zhodnotit kvalitu a význam vědeckých výstupů. Je proto nezbytné, aby vědecké výsledky byly posuzovány a hodnoceny objektivně a spravedlivě.

DM: S výše uvedeným lze jen souhlasit. Snad jen poznámka, že zhodnotit tolik dimenzí vědeckých výsledků vědecké práce je velmi složité a tedy i náročné. Posoudit ve vědě něco objektivně a spravedlivě je velmi náročné a není vůbec snadné toho dosáhnout.

Impakt faktor vědeckých časopisů je často používán jako primární parametr, pomocí kterého se porovnávají vědecké výstupy jednotlivců a institucí. Impakt faktor časopisu, dle výpočtu společnosti Thomson Reuters, byl původně vytvořen jako nástroj pro knihovníky, aby mohli identifikovat časopisy k zakoupení, nikoli jako měřítko vědecké kvality výzkumu publikovaného ve vědeckém článku. S ohledem na to je důležité pochopit, že impakt faktor má řadu známých a zdokumentovaných nedostatků jakožto nástroj pro hodnocení výzkumu. Tato omezení zahrnují: (A) distribuce citací v časopisech je velmi zkreslená [1, 2, 3]; (B) hodnota impakt faktoru časopisu je specifická pro danou vědeckou oblast: je složena z několika velmi rozmanitých typů publikací, včetně výzkumných článků a recenzí [1, 4]; (C) hodnotou impakt faktoru lze manipulovat (nebo si s ní „hrát“) pomocí redakční politiky [5]; (D) údaje použité pro výpočet impakt faktoru nejsou transparentní ani veřejně přístupné [4, 6, 7].

DM: I zde lze s kritikou A až D více méně souhlasit. Ale jisté výhrady mám. Z textu je zřejmé, že deklarace kritizuje Impact Factor (IF) časopisů databáze Web of Science firmy Clarivate (kdysi Thomson Reuters). IF je ale historicky nejstarší a jeden z nejprimitivnějších citačních indexů časopisů, které dnes máme. Dnes se běžné používají mnohem sofistikovanější citační indexy časopisů. Příkladem budiž citační index AIS, se kterým pracuje české národní hodnocení VaV. Psal jsem o něm už před lety zde.

V případě AIS do velké míry odpadá problém (B), protože index AIS je mezioborově normalizován. Například český systém hodnocení navíc pracuje s percentilovým pořadím časopisů v rámci oborů, což oborová specifika mažou zcela.

Podobně AIS téměř eliminuje problém (C), tedy manipulovatelnost, protože hodnotu AIS je velmi těžké manipulovat záměrným citováním z vědecky nevýznamných časopisů, jako to jde v případě IF.

Moc nechápu kritizovaný nedostatek (D), protože IF je velmi transparentně počítán jako průměrný počet citací připadajícím na jeden článek v časovém okně dvou let. Je pravda, že výpočet AIS je složitější, protože jde o výsledek optimalizačně-iteračního výpočtu. Ale vstupní data i způsob výpočtu AIS je velmi rigorózně popsán a lze ho replikovat.

Zůstává nám tak zkreslení (A). Ale autoři deklarace se bohužel neobtěžovali vysvětlit, jakým způsobem může zkreslení IF zkreslit i výsledky samotného hodnocení.

Jistě, ani nejsofistikovanější citační indexy nebudou dokonalým ukazatelem kvality vědy. Ale to je v oblasti společenských věd běžné. I v přírodních a technických vědách je často měření nepřesné a zkreslené a přesto se používají, když nic lepšího není k mání. Výsledky vědy jsou velmi rozmanité, obtížně popsatelné. Žádný dokonalý nástroj měření kvality vědy prostě neexistuje a nikdy existovat nebude. A nedokonalým nástrojem, a víme že velmi často, je i lidský úsudek ve formě peer-review,. Ten deklarace DORA implicitně považuje za zlatý grál hodnocení vědy. Teoreticky to platí, prakticky nikoliv.

Zde se nabízí otázka, do jaké míry se shoduje pohled špičkových vědců na vědeckém významu časopisů na straně jedné s vědeckým významem indikovaným citačními indexy. Zajímavé srovnání nabízí tzv. Nature Index (NI). NI je seznam 82 časopisů v oblasti přírodních věd, na kterých se jako na vědecky nejvýznamnějších shodlo 60 špičkových vědců z celého světa plus tisíce připomínkujících. V on-line aplikaci a na níže uvedeném Grafu 1 z ní jsou časopisy na NI označeny bíle. Na ose X a Y je relativní oborové pořadí časopisů na základě hodnoty IF, resp. AIS. Významnější časopisy jsou v severovýchodním rohu. Je zřejmé, že mezi hodnotami citačních indexů a názory vědecké obce je poměrně velká shoda a to včetně primitivnějšího IF. Rozdíl je v tom, že hodnotu IF i AIS zjistíte klikem během pár sekund na webu, zatímco zjistit názor vědecké obce je velmi těžké až nemožné.

Graf 1: Oborová percentilová pořadí časopisů databáze WoS v oblasti přírodních věd na základě hodnot jejich citačních indexů IF (osa X) a AIS (osa Y)

Níže uvádíme řadu doporučení, jak zlepšit způsob hodnocení kvality výzkumných výstupů. Při hodnocení kvality výzkumu budou v budoucnu čím dál více figurovat i jiné výstupy, nicméně recenzované vědecké články zůstanou ústředním výstupem pro hodnocení výzkumu. Naše doporučení se proto zaměřují především na postupy týkající se vědeckých článků publikovaných v recenzovaných časopisech, ale mohou a měly by být rozšířeny i pro další důležité výstupy reflektující kvalitu výzkumu, jako například soubory dat. Tato doporučení jsou určena organizacím poskytující finance, akademickým institucím, časopisům, organizacím poskytujícím metriky hodnocení a také samotným výzkumným pracovníkům.

DM: Zde si autoři Deklarace dost zjednodušili práci. Ačkoliv hned v úvodu za jedno z východisek své kritiky deklarace postulovala velkou rozmanitost forem výsledků vědy, zde redukuje pozornost pouze na časopisy.

Napříč těmito doporučeními se prolíná několik témat:

• potřeba eliminovat použití metrik založených na hodnocení časopisů, jako je impakt faktor časopisu, při rozhodování o finanční podpoře a personálních otázkách (jmenování a povýšení);
• DM: Jde zatím pouze o shrnutí, ale přecijen hodně vágní. Volá se po eliminaci všech bibliometrických metrik, ale zmiňuje se pouze primitivní IF. Není navíc jasné, jakých finančních otázek se má hodnocení týkat. Jednotlivců, týmů, grantů, pracovišť, výzkumných organizací?
• potřeba hodnotit výzkum na základě jeho vlastního významu, nikoli na základě časopisu, v němž je článek publikován;
• DM: K tomuto se níže dostanu podrobně. Problém tohoto doporučení je, že glorifikuje peer-review jako dokonalý, levně a rychle dosažitelný zlatý grál hodnocení. To je však velmi naivní představa.
• potřeba využít příležitosti, které poskytuje online publikování (např. upuštění od nepotřebných omezení počtu slov, obrázků a odkazů v článcích a zkoumání nových ukazatelů významu a dopadu).

Víme, že mnoho financujících organizací, grantových agentur, institucí, vydavatelů a výzkumných pracovníků již podporuje zdokonalené postupy při hodnocení výzkumu. Tyto postupné kroky vedou k sofistikovanějším a smysluplnějším přístupům hodnocení výzkumu, na kterých lze nyní stavět a mohou je přijmout všechny zúčastněné strany.

DM: Figuruje v tom výčtu hodnocení výzkumných organizací a jejich součástí nebo nefiguruje? Já mám pocit, že ne.

Signatáři Sanfranciské deklarace podporují přijetí uvedených postupů pro hodnocení výzkumu.

Obecné doporučení

• Nepoužívejte měřítka hodnocení založená na impakt faktoru časopisů jako náhražku za hodnocení kvality jednotlivých vědeckých článků, k hodnocení příspěvků jednotlivých vědců ani v personálních otázkách (přijímání, povýšení) nebo při rozhodování o financování.
• DM: Zde určitě souhlasím s tím, že v případě hodnocení jednotlivých článků nebo jednotlivých vědců je použití hodnot citačních indexů časopisů nevhodné a primitivního IF určitě. V případě malého počtu článků, tzv. „problém malých čísel", se může snadno dojít k chybným závěrům. Vědecká práce každého jednotlivce je totiž specifická a na základě citačních indexů časopisů lze velmi snadno střelit vedle a člověka poškodit. Ale už nesouhlasím s tím, že by měl být citační faktor nahrazen zcela. V případě, že se bude hodnotit schopnost vědce v oblasti základního výzkumu oboru, kde je bernou mincí vědecké úspěšnosti publikování výsledků v časopisech, by citační index stále měl být doplňkem peer-review hodnocení těchto článků. Nezapomínejme, že sehnat kvalitního a nestranného vědce, který vám ochotně a zadarmo posoudí kvalitu a přínos třeba pěti až dvaceti článků nějakého vědce, třeba kvůli udělení docentury, není nic jednoduchého. Snadno se totiž může stát, že právě peer-review hodnocení je zatíženo zkreslením. Už jen proto, že hodnotitel byl vybrán tak, aby hodnocení dopadlo dobře nebo naopak špatně. V českém prostředí to není nic neznámého. Vždyť na některých pracovištích u nás se ani neví, co jsou v oboru špičkové světové časopisy...

Organizacím poskytujícím finance

• Jasně definujte kritéria používaná pro hodnocení vědecké produktivity žadatelů o grant a zdůrazněte, zejména pro začínající výzkumné pracovníky, že vědecký obsah článku je mnohem důležitější než publikační měřítka nebo renomé časopisu, ve kterém byl publikován.
• DM: S tím lze souhlasit Ale všimněme si, že zde jde o grantové agentury, které hodnotí uchazeče o granty, tedy jednotlivé vědce či týmy. Jde tedy o problém malých čísel, který jsem diskutoval výše. Zde se k tomu přidává problém hodnocení mladých výzkumníků, kteří z principu nemohou mít bohatý publikační seznam.
• Pro účely hodnocení výzkumu zvažte, kromě výzkumných publikací, hodnotu a dopad všech výstupů výzkumu (včetně kolekce dat a softwaru), přičemž je třeba brát v úvahu širokou škálu měřítek dopadu, včetně kvalitativních ukazatelů dopadu výzkumu, jako jsou například vliv na používané metody a praxi.
• DM: Dtto.

Institucím

• Jasně definujte hodnotící kritéria používaná při rozhodování o přijetí do zaměstnání či pracovního poměru a o povýšení, přičemž zdůrazněte především mladým začínajícím výzkumníkům, že vědecký obsah jejich výzkumu je daleko důležitější, než bibliometrické indikátory nebo renomé časopisu, ve kterém jsou výsledky jejich výzkumu publikované.
• DM: S tímto opět nelze než souhlasit. V personálních záležitostech je používání citačních metrik skutečně velmi ošemetné. Ale neznamená to, že by se s hodnotami těchto metrik neměli hodnotitelé seznámit. Mohou totiž odhalit věci, jak v dobrém, či špatném, kterých by si jinak hodnotitelé nevšimli a nevzali je v úvahu.
• Při hodnocení vědy zvažte hodnotu a význam všech vědeckých výstupů (včetně sdílení dat a zdrojových kódů softwarů), nejen recenzovaných vědeckých článků a vezměte v potaz i široké spektrum jiných ukazatelů významu, včetně kvalitativních indikátorů, jako je vliv na obecné postupy a praxi.
• DM: Zde se autoři deklarace odkazují obecně na ,hodnocení vědy'. Není tedy jasné, zda hovoří o hodnocení osob, týmů, grantů, pracovišť či celých organizací. Takže s tím lze stěží polemizovat. Vhodnost bibliometrických ukazatelů se totiž účel od účelu liší. Určitě lze ale souhlasit s tím, že při hodnocení je záhodno hledět nejen na publikované články, ale i další charakteristiky a výstupy vědecké práce. To ale použití bibliometrických ukazatelů při hodnocení nevylučuje.

Vydavatelům

• Výrazně omezte důraz kladený na hodnotu impakt faktoru časopisů jako propagačního nástroje, v ideálním případě jej přestaňte propagovat nebo tento ukazatel prezentujte v širším kontextu dalších bibliometrických údajů časopisu (např. hodnota impakt faktoru časopisu za posledních 5 let, EigenFactor [8], SCImago [9], h-index, ediční a publikační časy, atd.) poskytujících širší přehled o hodnoceném časopisu.
• Zpřístupněte větší množství údajů týkajících se článku, abyste podpořili přechod k hodnocení na základě vědeckého obsahu článku, namísto používání bibliometrických údajů časopisu, ve kterém byl článek publikován.
• Podporujte odpovědné uvádění autorství a poskytujte informace o konkrétním podílu každého autora.
• Bez ohledu na to, zda jde o časopis s otevřeným přístupem (Open Access) nebo časopis dostupný na základě předplatného, odstraňte všechna omezení přístupu a opětovného využití seznamů citované literatury ve vědeckých článcích a zpřístupněte je pod licencemi Creative Commons Public Domain Dedication [10].
• Odstraňte nebo zredukujte omezení počtu citací ve článcích a tam, kde je to vhodné, upřednostněte citace primární literatury oproti přehledovým studiím (reviews), aby se tak dostalo uznání skupině nebo skupinám, které dané zjištění publikovaly jako první.
• DM: S výše uvedeným lze souhlasit. Ale doporučení se rozhodně netýkají hodnocení pracovišť a výzkumných organizací. Týkají se vydavatelské a redakční praxe časopisů. Pravda, výzkumných organizací se dotýkají v případě, kdy tyto vedle vlastního výzkumu samy vydávají vědecké časopisy. Tam tato doporučení dokonce platí na druhou.

Hodnotícím organizacím

• Buďte otevření a transparentní při poskytování dat a metod použitých pro výpočet všech hodnotících ukazatelů.
• DM: Tohle je pravidlo samozřejmé, ale v praxi se často nedodržuje. Vyloučení bibliometrických podkladů z hodnocení výzkumných organizací je dokonce s tímto doporučením v přímém rozporu. Bibliometrické informace jsou totiž nedílnou součástí transparentnosti, byť vědecké výsledky nepopisují ani kompletně ani dokonale.
• Pokud je to možné, poskytujte data v rámci licence umožňující neomezené použití a ve strojově čitelném formátu.
• Jasně upozorněte, že nevhodná manipulace s ukazateli hodnocení nebude tolerována; definujte, co představuje nevhodnou manipulaci a jaká opatření budou v boji proti ní přijata.
• Při hodnocení a všude, kde se hodnotící metriky používají, agregují nebo porovnávají, berte v úvahu různé typologie odborných článků (např. přehledové studie versus odborné články) a různé vědecké obory.
• DM: S výše uvedeným nelze než souhlasit. Snad jen doplním, že používané bibliometrické ukazatele musí být vhodně zvolené, správně spočítané a jejich uživatelé (hodnotitelé) musí dobře vědět, co měří a neměří a v čem spočívají jejich nedokonalosti. Tohle je mimochodem stále trochu bolavou patou národního hodnocení i posledního hodnocení AV ČR.

Vědcům

• Pokud budete součástí komisí nebo orgánů rozhodujících o finanční podpoře výzkumu, o pracovních úvazcích nebo povýšení, hodnoťte podle vědeckého obsahu, nikoli na základě metrik časopisu, kde byl výzkum publikován.
• DM: Nejsem si jist, zda zde mají autoři deklarace na mysli i institucionální hodnocení. Pokud ano, je tohle téma na další blog. Zde to odbudu jen stručně. Tohle se snadno doporučuje, ale mnohem hůře udělá. Posoudit kvalitu (správnost, unikátnost, objevnost, přínosnost, atd.) vědeckých výsledků popsaných ve vědeckém článku není vůbec snadné. Jistě, nevýznamný či dokonce špatný výzkum vědec problematiky dobře znalý zjistí poměrně rychle a snadno. A co když takových článků k posouzení máte na stole deset či dvacet? Ale kde takové kvalitní hodnotitele pořád brát. Co když zadavatel nemá moc peněz, aby hodnotitelům za jejich drahocenný čas zaplatil? Co když kvalitních a k hodnocení ochotných hodnotitelů není dostatek? Co když je každý hodnotitel jinak přísný? Co když nelze věřit způsobu, jak jsou hodnotitelé vybíráni a jak jsou jim výsledky přiřazovány? Prostě pokud se hodnotí výzkumné organizace či jejich větší součásti i pro účely institucionálního financování, představuje peer-review hodnocení časově a finančně poměrně náročnou operaci, která se dá dělat jen jednou za mnoho let. A navíc ani zde není záruka, že výsledky takového hodnocení nebudou výrazně zkreslené. Bibliometrické ukazatele jsou sice také nepřesné a neposkytují kompletní pohled, ale jsou diametrálně levnější a dají se rychle spočítat. Pokud se jejich role neabsolutizuje a nepoužívají jako v dobách neslavně známého kafemlejnku, pak jsou důležitým podkladem či dokonce doplňkem peer-review hodnocení, které ho zčásti chrání proti lidským formám zkreslení a chyb.
• Pokud je to vhodné, citujte původní zdroje, ve kterých byly zjištěné výsledky poprvé zveřejněny a nikoliv přehledové články (review), aby se uznání dostalo těm, co si je zaslouží.
• K hodnocení významu jednotlivých publikovaných článků a dalších vědeckých výstupů, ve svých osobních a dalších prohlášeních, používejte větší množství ukazatelů a indikátorů vztahujících se ke článku [11].
• Poukazujte na nevhodné praktiky hodnocení vědy založené na hodnotě impakt faktoru časopisu, podporujte a učte dobré praktiky zaměřené na hodnotu a vliv konkrétních vědeckých výsledků.
• DM: Tak snažím se už více než deset let.

K překladu deklarace DORA pro Vědavýzkum.cz přispěly Mariana Hanková, Eva Hnátková a Radana Kahánková.

 

Autor: Daniel Münich

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz.

Komentář nijak nevyjadřuje názory a postoje členů redakce.