Dejte mi do ruky h-index a řekněte jak volat sláva...

H-index je když

H-index přivedl na svět teoretický fyzik Jorge E. Hirsch, jako relativní měřítko kvality teoretických fyziků. H-index kvantifikuje schopnost vědce publikovat mnoho hodně citovaných vědeckých článků. Čím vyšší h-index, tím lepší. H-index autora je roven počtu článků, které každý jeden mají alespoň stejně vysoký počet citací. Chce-li tedy někdo mít h-index = 5, musí mít pět článků, z nichž každý je alespoň 5x citován. H-index = 30 už vyžaduje 30 článků, každý citovaný alespoň 30x.

Hříchy h-indexu

Poměřovat kvalitu vědce podle jeho h-indexu je extrémně ošemetné. Byť mezi kvalitou vědců a hodnotou jejich h-indexu jistě shledáme kladnou korelaci, je to jen korelace. Vysoký h-index nezaručuje dobrého vědce, stejně jako nízký nutně neznamená, že je vědec špatný. Pojďme si připomenout proč:

• Čím delší kariéru má vědec za sebou, tím více má publikací, a tím větší má šance na vyšší h-index. Takže špičkový mladší vědec s pár super publikacemi se zářnou budoucností bude mít h-index výrazně nižší než vědecky průměrný matador bez budoucnosti.
• Vědec, výsledky jehož výzkumů nemají publikační podobu, a nemohou být tedy citovány, bude mít přirozeně nižší nebo nulový h-index. Vědci působící v oblasti aplikovaného výzkumu mají vědeckých publikací a citací přirozeně pomálu. Přitom mohou být vědci velmi kvalitní. Nic na tom nemění, že to na řadě pracovišť ignorují.
• Snadnost dosahování vyšších h-indexů se liší napříč obory. Obory, kde se na hlavu vědce ročně publikuje více, a nebo kde je zvykem více citovat, přirozeně dosahují vyšších hodnot h-indexu. V některých oborech trvá dlouhá léta, než se nashromáždí větší počet citací, jinde se naopak cituje v horizontu měsíců. Ale vy to z nízkého h-indexu člověka nepoznáte. Hodnoty h-indexů jsou prostě mezioborově nesrovnatelné, byť se to na mnoha vysokých školách ignoruje.
• Výše h-indexů se výrazně liší i uvnitř oborů. Teoretický výzkum, pro který je charakteristický menší počet publikací za rok, generuje zpravidla výrazně nižší h-index než výzkumy empirické, kde někdy platí, že co měření to publikace.
• Hodnota h-indexu je poměrně snadno manipulovatelná. Lze jí navyšovat vlastním sebecitováním. A nepomůže ani to, když sebecitace odečtete. Vědci si totiž mohou citace účelově navyšovat ve spolupráci s navzájem se citujícími kamarády. Citace prostě není jako citace, ale h-index to nerozlišuje. A zvýšit si samotný počet publikací také není velký problém. Stačí když si založit konferenci a k ní vydat konferenční sborník plný vlastních článků a vzájemných citací. Nebo si levou zadní publikujete ve WoS časopise, který si sami vydáváte. Nebo si v širém světě WoS najdete časopis, kde k publikaci vezmou kde co a ještě vám to nechají hojně ocitovat. H-index je vůči těmto praktikám slepý.
• Pokud osoba dělala výzkum na částečný úvazek nebo byla delší dobu mimo vědu na mateřské a rodičovské, h-index bude mít přirozeně nižší.
• Abnormálně vysoké h-indexy mívají autoři metapřehledových článků. Ty jsou zpravidla hojně citované, byť samotný autor ani v dané oblasti žádný vlastní výzkum nedělá.
• Z hodnoty h-indexu nevyčtete, s kolika lidmi vědec na výsledcích pracoval a jak velký byl jeho vlastní příspěvek.

Aby nám hodnota h-indexu řekla něco věrohodného, musíme srovnávat vědce (i) s podobnou délkou kariéry, (ii) kteří dělali výzkum na stejný úvazek, (iii) dělali ho ve stejném oboru (nejlépe podoboru), (iv) jsou oba buď teoretici nebo oba empirici, (v) kteří dominantně šíří výsledky výzkumu formou vědeckých článků v časopisech WoS, (vii) pracují v podobně velkém týmu a mají v nich podobný význam, (vii) nepodílí se ani na umělém navyšování počtu publikací, ani (viii) citací. Takové srovnání se ale dělá velmi těžko. A navíc ani to není zárukou, že se na základě h-indexu nespleteme.

Až někdo opět bude někde opět šermovat výší h-indexu, nebojte se ho zeptat na výše uvedené skutečnosti.

A tloukl o stůl svým h-indexem

Při vědomí výše uvedeného jednoho překvapí, kolik jinak velmi vzdělaných akademiků v úctyhodných vědeckých radách vysokých škol a v projekty hodnotících komisích slepě uctívá h-index jako posvátnou krávu. Není sice hanbou při hodnocení vědce přihlédnout mimo jiné i k hodnotě jeho h-indexu, ale hodnocení samotné musí vycházet z pečlivého posouzení reálných vědeckých výsledků. To kromě jiného vyžaduje pečlivou kontrolu a zhodnocení všech osmi výše uvedených skutečností. Jenomže to lze dělat jen na základě velmi dobré znalosti oborových zvyklostí a standardů a dobrého a širokého povědomí o tom, co je a není špičkový výzkum. Navíc to vyžaduje, aby si akademici z různých oborů ve vědeckých radách a komisích navzájem důvěřovali a mohli se spolehnout na soudy druhých. Potom však hodnota h-indexu může posloužit maximálně tak ke kontrole toho, zda se při hodnocení na něco podstatného nezapomnělo.

Posvátná kráva

Posedlost h-indexem je odrazem situace na řadě našich výzkumných organizací, hlavně vysokých škol. Příčinou je mix (i) neschopnosti rozpoznat co je a co není špičkový výzkum, (ii) snaha mnoha akademiků neomaleně či z neznalosti vydávat vlastní podprůměrný výzkum za špičkový a jedinečný a (iii) vzájemná nedůvěra akademiků vůči sobě navzájem. V prostředí, kde solidní povědomí o standardech špičkového výzkumu má jen pár lidí nebo nikdo, existuje obrovské pokušení za špičkový výzkum vydávat sebevědomě kde co.

V takové situaci akademici svou zodpovědnost raději přenáší na svatou krávu počtu publikací, počtu citací, impakt faktor a nešťastný h-index. Není náhoda, že na většině vysokých škol patří počty publikací, citací a hodnota h-indexu mezi významná orientační habilitační kritéria. Stejně tomu často je u hodnoticích kritérií projektových návrhů. Instituce, které tyto ukazatele používají jako kritéria tím na sebe nevědomky prozrazují vlastní bezradnost a vnitřní akademickou nedůvěru.

 Článek byl publikován na webu http://metodikahodnoceni.blogspot.cz