Sanfranciská deklarace o hodnocení výzkumu

Organizace poskytující finance, akademické instituce a další subjekty hodnotí výstupy vědeckého výzkumu metodami, které je nezbytné zlepšit. K vyřešení tohoto problému se sešla skupina editorů a vydavatelů vědeckých časopisů na výročním zasedání Americké společnosti pro buněčnou biologii (The American Society for Cell Biology – ASCB) v San Franciscu v Kalifornii dne 16. prosince 2012. Skupina vypracovala soubor doporučení známý jako Sanfranciská deklarace o hodnocení výzkumu. Vyzýváme zúčastněné strany ve všech vědeckých oborech, aby vyjádřily svou podporu a tutu deklaraci podepsaly.

Výstupů vědeckého výzkumu je mnoho a jsou různorodé, zahrnují odborné vědecké články sdělující nové poznatky, data, chemické sloučeniny a software; dále také duševní vlastnictví i vysoce kvalifikované mladé vědce. Organizace poskytující finance, instituce zaměstnávající vědecké pracovníky i samotní vědci potřebují zhodnotit kvalitu a význam vědeckých výstupů. Je proto nezbytné, aby vědecké výsledky byly posuzovány a hodnoceny objektivně a spravedlivě.

Impakt faktor vědeckých časopisů je často používán jako primární parametr, pomocí kterého se porovnávají vědecké výstupy jednotlivců a institucí. Impakt faktor časopisu, dle výpočtu společností Thomson Reuters, byl původně vytvořen jako nástroj pro knihovníky, aby mohli identifikovat časopisy k zakoupení, nikoli jako měřítko vědecké kvality výzkumu publikovaného ve vědeckém článku. S ohledem na to je důležité pochopit, že impakt faktor má řadu známých a zdokumentovaných nedostatků, jakožto nástroj pro hodnocení výzkumu. Tato omezení zahrnují: A) distribuce citací v časopisech je velmi zkreslená [1, 2, 3]; B) hodnota impakt faktoru časopisu je specifická pro danou vědeckou oblast: je složena z několika velmi rozmanitých typů publikací, včetně výzkumných článků a recenzí [1, 4]; C) hodnotou impakt faktoru lze manipulovat (nebo si s ní „hrát“) pomocí redakční politiky [5]; D) údaje použité pro výpočet impakt faktoru nejsou transparentní ani veřejně přístupné [4, 6, 7]. Níže uvádíme řadu doporučení, jak zlepšit způsob hodnocení kvality výzkumných výstupů. Při hodnocení kvality výzkumu budou v budoucnu čím dál více figurovat i jiné výstupy, nicméně recenzované vědecké články zůstanou ústředním výstupem pro hodnocení výzkumu. Naše doporučení se proto zaměřují především na postupy týkající se vědeckých článků publikovaných v recenzovaných časopisech, ale mohou a měly by být rozšířeny i pro další důležité výstupy reflektující kvalitu výzkumu, jako například soubory dat. Tato doporučení jsou určena organizacím poskytující finance, akademickým institucím, časopisům, organizacím poskytujícím metriky hodnocení a také samotným výzkumným pracovníkům.

Napříč těmito doporučeními se prolíná několik témat:

• potřeba eliminovat použití metrik založených na hodnocení časopisů, jako je impakt faktor časopisu, při rozhodování o finanční podpoře a personálních otázkách (jmenování a povýšení);
• potřeba hodnotit výzkum na základě jeho vlastního významu, nikoli na základě časopisu, v němž je článek publikován;
• potřeba využít příležitosti, které poskytuje online publikování (např. upuštění od nepotřebných omezení počtu slov, obrázků a odkazů v článcích a zkoumání nových ukazatelů významu a dopadu).

Víme, že mnoho financujících organizací, grantových agentur, institucí, vydavatelů a výzkumných pracovníků již podporuje zdokonalené postupy při hodnocení výzkumu. Tyto postupné kroky vedou k sofistikovanějším a smysluplnějším přístupům hodnocení výzkumu, na kterých lze nyní stavět a mohou je přijmout všechny zúčastněné strany.

Signatáři Sanfranciské deklarace podoporují přijetí uvedených postupů pro hodnocení výzkumu.

Obecné doporučení

• Nepoužívejte měřítka hodnocení založená na impakt faktoru časopisů jako náhražku za hodnocení kvality jednotlivých vědeckých článků, k hodnocení příspěvků jednotlivých vědců ani v personálních otázkách (přijímání, povýšení) nebo při rozhodování o financování.

Organizacím poskytujícím finance

• Jasně definujte kritéria používaná pro hodnocení vědecké produktivity žadatelů o grant a zdůrazněte, zejména pro začínající výzkumné pracovníky, že vědecký obsah článku je mnohem důležitější než publikační měřítka nebo renomé časopisu, ve kterém byl publikován.
• Pro účely hodnocení výzkumu zvážte, kromě výzkumných publikací, hodnotu a dopad všech výstupů výzkumu (včetně kolekce dat a softwaru) přičemž je třeba brát v úvahu širokou škálu měřítek dopadu, včetně kvalitativních ukazatelů dopadu výzkumu, jako jsou například vliv na používané metody a praxi.

Institucím

• Jasně definujte hodnotící kritéria používaná při rozhodování o přijetí do zaměstnání či pracovního poměru a o povýšení, přičemž zdůrazněte především mladým začínajícím výzkumníkům, že vědecký obsah jejích výzkumu je daleko důležitější než bibliometrické indikátory nebo renomé časopisu ve kterém jsou výsledky jejich výzkumu publikované.
• Při hodnocení vědy, zvažte hodnotu a význam všech vědeckých výstupů (včetně sdílení dat a zdrojových kódů softwarů), nejen recenzovaných vědeckých článků a vezměte v potaz i široké spektrum jiných ukazatelů významu, včetně kvalitativních indikátorů jako je vliv na obecné postupy a praxi.

Vydavatelům

• Výrazně omezte důraz kladený na hodnotu impakt faktoru časopisů jako propagačního nástroje, v ideálním případě jej přestaňte propagovat nebo tento ukazatel prezentujte v širším kontextu dalších bibliometrických údajů časopisu (např. hodnota impakt faktoru časopisu za posledních 5 let, EigenFactor [8], SCImago [9], h-index, ediční a publikační časy, atd.) poskytujících širší přehled o hodnoceném časopisu.
• Zpřístupněte větší množství údajů týkajících se článku, abyste podpořili přechod k hodnocení na základě vědeckého obsahu článku, namísto používání bibliometrických údajů časopisu, ve kterém byl článek publikován.
• Podporujte odpovědné uvádění autorství a poskytujte informace o konkrétním podílu každého autora.
• Bez ohledu na to zda jde o časopis s otevřeným přístupem (Open Access) nebo časopis dostupný na základě předplatného, odstraňte všechna omezení přístupu a opětovného využití seznamů citované literatury ve vědeckých článcích a zpřístupněte je pod licencemi Creative Commons Public Domain Dedication [10].
• Odstraňte nebo zredukujte omezení počtu citací ve článcích a tam, kde je to vhodné, upřednostněte citace primární literatury oproti přehledovým studiím (reviews), aby se tak dostalo uznání skupině nebo skupinám, které dané zjištění publikovaly jako první.

Hodnotícím organizacím

• Buďte otevření a transparentní při poskytování dat a metod použitých pro výpočet všech hodnotících ukazatelů.
• Pokud je to možné, poskytujte data v rámci licence umožňující neomezené použití a ve strojově čitelném formátu.
• Jasně upozorněte, že nevhodná manipulace s ukazateli hodnocení nebude tolerována; definujte co představuje nevhodnou manipulaci a jaká opatření budou v boji proti ní přijata.
• Při hodnocení a všude, kde se hodnotící metriky používají, agregují nebo porovnávají, berte v úvahu různé typologie odborných článků (např. přehledové studie versus odborné články) a různé vědecké obory.

Vědcům

• Pokud budete součástí komisí nebo orgánů rozhodujících o finanční podpoře výzkumu, o pracovních úvazcích nebo povýšení, hodnoťte podle vědeckého obsahu nikoli na základě metrik časopisu, kde byl výzkum publikován.
• Pokud je to vhodné, citujte původní zdroje, ve kterých byly zjištěné výsledky poprvé zveřejněny a nikoliv přehledové články (review), aby se uznání dostalo těm co si je zaslouží.
  K hodnocení významu jednotlivých publikovaných článků a dalších vědeckých výstupů, ve svých osobních a dalších prohlášeních, používejte větší množství ukazatelů a indikátorů vztahujících se ke článku [11].
• Poukazujte na nevhodné praktiky hodnocení vědy založené na hodnotě impakt faktoru časopisu, podporujte a učte dobré praktiky zaměřené na hodnotu a vliv konkrétních vědeckých výsledků.

 

Zdroj: DORA

K překladu přispěly Mariana Hanková, Eva Hnátková a Radana Kahánková.