Problémy s hodnocením vědeckých výsledků prostřednictvím bibliometrických údajů byly popsány již mnohokrát. Přestože většina autorit na západě dnes zastává k této otázce kritické hledisko, totiž že na bibliometrické údaje je nutné se dívat kontextuálně a nepřeceňovat jejich výpovědní hodnotu, aktuální výzkum ukazuje, že hodnocení podle impakt faktoru ve vědě stále hraje významnou roli.
Nová studie se z plejády bibliometrických údajů zaměřila na používání impakt faktoru jednotlivých vědeckých časopisů k hodnocení konkrétních výzkumníků. Výzkum analyzoval více než 800 dokumentů zaměřených na hodnocení a kariérní růst z 129 vědeckých institucí ve Spojených státech amerických a v Kanadě.
Z výsledků vyplývá, že 40 % výzkumných institucí zmiňuje termín „impakt faktor“ (nebo jeho obdobu) jako jedno z kritérií vedoucí ke kariérnímu postupu. Více než 80 % těchto institucí ve svých dokumentech podporuje používání impakt faktoru v hodnocení individuálních výzkumníků a pouze 13 % z nich varuje před omezeními tohoto způsobů hodnocení. Ba co víc, 61 % rozumí impakt faktoru časopisů, v nichž výzkumník publikoval, jako způsobu hodnocení kvality jeho výzkumu a podle 35 % to odráží důležitost provedeného výzkumu.
Zdroj: Nature
Jakou impakt faktor vyrábí vědu?
Nevýhody takového hodnocení jsou zřejmé – příliš nepřeje aplikovanému výzkumu, nebere ohled na sociální a kulturní dopady vědeckých výzkumů nebo nereflektuje další aktivity vědců a výzkumníků. Problém hodnocení výzkumníků podle impaktu časopisů, v nichž publikují, ovšem přináší ještě větší komplikace než jen otazník nad tím, zdali se jedná o kvalitní nebo nekvalitní způsob hodnocení individuálního výkonu.
Tento způsob hodnocení totiž produkuje specifickou vědu – výzkumníci si často vybírají podobné projekty, o nichž tuší, že je přední žurnály budou chtít otisknout, či mají tendenci přehánět hodnotu vlastních výzkumných závěrů. Ve výsledku tak tento způsob individuálního hodnocení odrazuje od rizikových a odvážných projektů, které ve výsledku posouvají vědecké poznání dále než bezpečné projekty s očekávanými výsledky zaměřené na získání publikace v kvalitních vědeckých periodikách.
Odborné studie tyto úvahy potvrzují. Výsledku výzkumu ukazují, že články, které přináší vysoce inovativní výsledky vědecké práce, které mají pro daný obor značný přínos, mají tendenci získávat větší impakt faktor až v dlouhodobém horizontu a být citovány i mimo svůj obor. Zpravidla ale bývají publikovány v méně impaktovaných periodikách. Nemalá část těchto novátorských příspěvků s sebou zároveň nese značné riziko – pochopitelně jen některé z nich se v průběhu času prosadí jako hojně citované jinými výzkumníky. Z těchto údajů tak vyplývá, že hodnocení prostřednictvím citačního impaktu periodik, v nichž výzkumník publikuje, nepodporuje riskantní, inovátorskou vědu. Vede k bezpečným cestám, jejichž přínos pro rozvoj vědy je limitovaný.
Leidenský manifest: nová pravidla hry?
Hodnocení individuálního vědce podle impakt faktoru časopisů má ale i své příznivce. Někteří výzkumníci totiž upozorňují na to, že snahy o změnu systému hodnocení jsou poněkud idealistické. Hodnocení podle impaktů je totiž rychlé a relativně transparentní. Snaha vymýtit plošné hodnocení podle impakt faktoru žurnálů přitom nepřináší žádnou reálnou alternativu. To může být pro mladé výzkumníky ve výsledku destruktivní. Pokud mladí vědci vědí, že v průběhu své kariéry budou hodnoceni prostřednictvím impaktů časopisů, v nichž publikují, tak znají „pravidla hry“. Plánují podle toho svůj výzkum, granty i kariéru. Pokud pravidla hodnocení nebudou zřejmá, bude o to obtížnější se už v tak konkurenčním a nejistém vědeckém prostředí zorientovat.
Jednou z iniciativ, která se snaží nastínit alternativní podobu hodnocení, je Leidenský manifest. Dokument, publikovaný v časopise Nature, volá po tom, aby kvantitativní hodnocení sloužilo jako podpora kvalitativního, odborného posouzení výsledků výzkumu. Samotný způsob hodnocení by měl být dále nejen pravidelně reflektován a aktualizován, ale měla by se věnovat pozornost jeho vlivu na vědu samotnou. Individuální hodnocení jednotlivých výzkumníků by pak podle Leidenského manifestu mělo být založeno na kvalitativním posouzení portfolií jejich činnosti.
Jedna z autorek Leidenského manifestu, Sarah de Rijcke, představila dokument na začátku roku 2018 i v Čechách. Jednotlivé body manifestu rozebírá ve své sérii i Daniel Münich.
Autor: Vědavýzkum.cz (JT)
