Vědci se zabývají buď „nepraktickým“ výzkumem základním nebo výzkumem aplikovaným, který směřuje k něčemu prakticky užitečnému. S určením kvality aplikovaného výzkumu by neměly být potíže – pozná se prostě podle toho, jestli se z něj zrodí nějaký komerčně úspěšný nový výrobek či technologie. Klasickými příklady jsou třeba gelové kontaktní čočky, nová léčiva nebo bakterie požírající znečišťující ropné látky.
U základního výzkumu je to složitější – jak daňový poplatník nebo štědrý mecenáš pozná, jestli vědec placený z jeho peněz poctivě pracuje a objevuje něco důležitého, či si spíše jen nezávazně „hraje“ pro své potěšení, nebo snad dokonce práci jen umně předstírá a využívá toho, že jeho oboru běžný smrtelník nerozumí?
Cílem základního výzkumu je dozvědět se něco nového o přírodě, vyřešit nějakou záhadu, a to většinou bez ohledu na nějaké přímé praktické využití takových objevů. Konkrétním „výstupem“ základního výzkumu jsou hlavně publikace, v nichž vědci odborné veřejnosti sdělují, co a jakým způsobem objevili.
V posledních zhruba 50 letech se ve většině přírodovědeckých oborů vyvinul systém toho, jak vědecká komunita oceňuje hodnotu a kvalitu publikací. Je založen na celkem oprávněném předpokladu, že důležitých výsledků si všimne a pro svoji další práci použije více badatelů, nežli v případě výsledků nedůležitých či nezajímavých.
Uznání toho, že nějaká práce je pro dalšího vědce důležitá nebo alespoň hodná povšimnutí, je to, že ji ve svých publikacích „cituje“, tedy zpravidla stručně zmíní nějaký výsledek s odkazem na původní publikaci. Čím důležitější je určitá vědecká práce, tím častěji bývá v daném oboru zpravidla citována. Kvalitu a důležitost vědeckých prací lze tedy alespoň přibližně posuzovat či měřit jejich citovaností.
Je ovšem velmi důležité, že citační zvyklosti se v různých oborech dost výrazně liší – ve „velkých“ oborech jsou důležité výsledky citovány během několika málo let třeba několiksetkrát, zatímco v oborech, v nichž pracuje jen málo badatelů, může i práce základního významu získat jen řádově méně citací.
Na zhodnocení citačního ohlasu je ovšem třeba počkat řadu let, a proto se často používá náhradní kritérium. Tím je tzv. impaktový faktor (IF neboli „faktor dopadu“) časopisu, v němž byla práce přijata k publikaci. Hodnota IF v zásadě udává, kolikrát je průměrný článek publikovaný v určitém časopisu citován během prvních dvou let (někdy se uvádí také „pětiletý IF“).
Je přirozené, že IF je nejvyšší u nejkvalitnějších a nejprestižnějších odborných časopisů daného oboru – prosadit do nich publikaci je obtížné, protože recenzenti jsou tam nejpřísnější a konkurence největší. Proto by se tam měly dostat většinou jen ty nejlepší, a tedy vědecky nejhodnotnější práce, které jsou pak zpravidla hodně citovány. Může se ale samozřejmě stát, že se i do časopisu s vysokým IF dostane slabší publikace, která je pak málo citována, ale mělo by se tak dít méně často než u časopisů slabších.
IF by tedy ideálně měl být jakýmsi odhadem příští pravděpodobné citovanosti prací v něm publikovaných. Abychom uvedli příklad z biochemie, molekulární a buněčné biologie: IF „hvězdného“ časopisu Cell je zhruba 27,7, u velmi solidního Journal of Biological Chemistry má IF hodnotu zhruba 4,3, kdežto Turkish Journal of Biochemistry má IF přibližně 0,3.
Přibližné zhodnocení
V rámci daného oboru (hovořím teď o „velkých“ přírodovědeckých oborech, jako je fyzika, chemie, biologie a biomedicínské obory) se tedy nabízí způsob, jak alespoň přibližně zhodnotit, jak je určitý vědec, výzkumný tým nebo výzkumný ústav produktivní ve srovnání s jinými: sečtou se prostě impaktové faktory jejich publikací za určité období a vzájemně se porovnají. Anebo ještě lépe: spočítají se skutečné citace prací srovnávaných autorů za posledních x let.
Zjišťování počtu citací nebo hodnot IF pro různé časopisy je celkem snadné – lze je rychle najít v databázi ISI Web of Knowledge firmy Thomson Reuters; většina českých výzkumných institucích ji má na komerční bázi k dispozici. Údaje o citovanosti jsou běžně vyžadovány při posuzování kandidátů na vědecko-pedagogické tituly, při konkurzech na významná vědecko-administrativní místa a často i při žádostech o granty.
Samozřejmě, jsou zde určité problémy:
- Vědecké práce mají zpravidla více, někdy dokonce i mnoho autorů. Patří ty „impaktové body“ či počty citací každému z nich v plné výši, či spíše každému přísluší jen určitý podíl? A jak odlišit to, že některý z autorů vykonal většinu popisované práce, zatímco jiní přispěli jen okrajově?
- Teoreticky by se mohlo stát, že nějaká práce bude hodně citována v „negativním“ smyslu, tedy proto, že ostatní ji budou vyvracet jako chybnou (žádný takový konkrétní případ ale neznám...). Naopak je možné, že nějaká geniální práce natolik předběhne svoji dobu, že její význam ostatní nepochopí, a tudíž ji nebudou citovat (nebo dokonce ani nebude přijata do tisku).
- Vypovídací hodnoty IF některých časopisů (možná dokonce většiny z nich) mohou být závažným způsobem pokřiveny tím, že o jejich výši se zaslouží jen malý počet skutečně vysoce citovaných článků, zatímco většina ostatních má citovanost velmi nízkou (rozdělení citovanosti je tedy velmi asymetrické).
- V některých oborech (například matematika, humanitní a společenské vědy) jsou publikační zvyklosti jiné než ony velké přírodovědecké obory – nejcennějšími výstupy jsou tam knihy nebo sdělení na prestižních konferencích. V takových oborech nedává použití těchto scientometrických ukazatelů valný smysl.
- Vysokých citačních a impaktových hodnot mohou například dosáhnout lidé, kteří jsou na dobré práce z nějakých důvodů více méně „připisováni“, aniž by jejich tvůrčí podíl byl významný. To se může stát třeba v případě některých „velkých šéfů“, kteří si spoluautorství vynucují na svých podřízených, nebo v případě badatelů, kteří „opravdovým“ autorům poskytli nějakou vlastní unikátní reagencii (protilátku, klon cDNA nebo třeba buněčnou linii) za to, že budou uvedeni jako spoluautoři.
- Vyšší citovanosti lze docílit zapojením do nějakého „citačního bratrstva“ – je totiž poměrně časté, že lidé preferenčně citují spíše výsledky ze spřátelené laboratoře než práce neoblíbeného konkurenta. Je ovšem prakticky vyloučeno, aby někdo, kdo nemá zajímavé výsledky, byl vysoce citován svými kamarády jen na základě jakéhosi komplotu (zajisté ale lze tímto způsobem zařídit citace v řádu jednotek či desítek).
- Až nepřiměřeně vysokých citačních hodnot mohou dosáhnout někdy metodické práce, které jsou často citovány jaksi automaticky. Na druhé straně věda stojí do značné míry na metodách, a tak možná na vysoké citovanosti takových prací není nic tak špatného (i když každý intuitivně cítí, že práce popisující novou modifikaci jednoduché analytické metody není tak „důležitá“ jako třeba objev nového onkogenu). Podobnou námitku lze někdy uplatnit vůči vysoké citovanosti přehledných článků, které mnozí považují za méně závažné než původní experimentální práce.
Výsledky citační analýzy mohou být ale do určité míry zkresleny také například malým počtem velkých „hitů“, tedy prací, které se citují řádově více než ostatní publikace daného autora. Mohou to být přehledné nebo metodické práce, které nemusejí věrně vypovídat o skutečné tvůrčí aktivitě badatele a jeho dlouhodobém a stabilním příspěvku k rozvoji oboru. Jorge Hirsch (fyzik z Kalifornské university v San Diegu) tuto skutečnost před lety zohlednil následující konstrukcí svého nyní proslulého indexu:
Vědec má H-index roven h, jestliže h jeho publikací (z celkového počtu N) bylo citováno nejméně h-krát, a ostatních N – h prací je citováno méně než h-krát.
Tedy konkrétně: má-li někdo H-index roven 30, znamená to, že každá z jeho 30 nejcitovanějších prací byla dosud citována nejméně třicetkrát a zbylé práce jsou citovány méně (ať jich je třeba 500 a celkově dávají vysoký počet citací – teoreticky v tomto případě třeba až 15 tisíc, pokud by každá z nich byla citována 30x).
Zdá se, že H-index je do určité míry objektivnější než celkový počet publikací nebo celkový počet citací (respektive je s těmito údaji komplementární), protože lépe charakterizuje široký dopad práce daného badatele. Vědci s vysokým H-indexem velmi pravděpodobně značně přispívají k rozvoji své disciplíny, protože produkují mnoho hodně citovaných prací. Také H-indexy jednotlivců (ale i třeba institucí) se dnes dají velmi jednoduše najít pomocí databáze ISI Web of Knowledge.
Samozřejmě se zde (podobně jako u celkového počtu citací) obvykle výrazně uplatňuje vliv autorova věku (badatelé pracující v oboru déle by měli mít vyšší index) a vliv badatelova oboru (citovanost průměrné práce v molekulární biologii je mnohem vyšší než v systematické botanice nebo sociologii). Je proto třeba pamatovat, že H-index je vhodný spíše pro odrostlejší badatele (nad zhruba 50 let?) a že nelze automaticky srovnávat H-indexy lidí působících v citačně příliš odlišných oborech.
Orientačně lze říci, že například ve mně blízkých biologicko-biomedicínských oborech je pro padesátiletého badatele H-index kolem 10 slabý, 20 slušný, více než 40 vynikající a více než 80 „světově hvězdný“. Mezi českými vědci jsou citačními rekordmany molekulární biolog Jiří Bártek (již skoro 20 let působí hlavně v Dánsku, ale v posledních několika letech má dvě „filiálky“ i v Česku; může se momentálně pochlubit H-indexem 109), jeho kolega Jiří Lukáš (H = 92) a teoretický chemik Pavel Hobza z Ústavu organické chemie a biochemie AV ČR (H = 93). Vysoké hodnoty H indexu mají také elektrochemik Emil Paleček z Biofyzikálního ústavu AV ČR (H = 66) a před několika lety zesnulý Antonín Holý z Ústavu organické chemie a biochemie AV ČR (H = 57).
Je nesporné, že posuzování kvality a produktivity podle citačních parametrů má své výše uvedené „mouchy“. Je to ale (ve velkých přírodovědeckých oborech!) zjevně poměrně objektivní systém, protože je založen na posouzení kolegy z oboru (recenzenti článků a ti, kteří práci citují). Je určitě lepší než „systém“ založený hlavně na schopnosti „udělat dojem“, mít vlivné známosti a umět šikovně prodávat i zboží nevalné kvality. Ostatně – o tom, že citační analýza dobře koreluje se skutečnou „kvalitou“ (ať už to znamená cokoli), svědčí i to, že naprostá většina nositelů Nobelovy ceny za fyziku, chemii i fyziologii a lékařství z posledních zhruba 20 let se může vykázat velmi úctyhodnými počty citací a velmi vysokými H-indexy.
Přesto existuje nemálo těch, kteří na základě výše uvedených problematických aspektů scientometrických ukazatelů zcela zásadně zpochybňují význam impaktových faktorů, počtu citací a H-indexů jako validních kritérií kvality vědecké práce.
Jsou i tací, kteří říkají, že pro opravdového vědce je nedůstojné honit se za nějakými publikacemi, citacemi nebo impaktovými faktory – nejdůležitější je prý „vnitřní kvalita“ vědecké práce, kterou jaksi intuitivně poznají nejlépe odborní kolegové. Občas můžeme slyšet i názory, že kvalitní mezinárodní časopisy nadržují při přijímání publikací vědcům z některých zemí nebo institucí a že diskriminují „outsidery“.
Je tomu opravdu tak? Je „scientometrie“ pokoušející se měřit kvalitu a produktivitu vědců pomocí citací a impaktových faktorů fundamentálně scestná a zavádějící?
Jsem přesvědčen, že nikoli – myslím, že citační parametry naopak většinou skutečně vypovídají něco velmi důležitého. Bylo by samozřejmě nesmyslné vyvozovat nějaké důsledky z toho, že někdo nasbíral za své práce 500 citací, zatímco jiný „jen“ 300. Ale pokud má někdo těch citací 1000 a jiný ve stejném oboru jen 20, velmi pravděpodobně to signalizuje velký rozdíl v kvalitě a produktivitě. Stejný závěr můžeme udělat, i pokud někdo publikuje většinou v mezinárodních časopisech s vysokým IF, kdežto jiný téměř výhradně v lokálních žurnálech s velmi nízkým IF. Samozřejmě, že při tomto způsobu semi-objektivního hodnocení kvality a produktivity vědecké práce můžeme dojít i k více či méně falešným závěrům (z výše uvedených důvodů), a proto je dobré je nepřijímat automaticky a bez kritické kontroly, ale spíše jako cenné podklady.
Myslím, že ty falešné závěry ze scientometrických údajů nejsou příliš časté – projeví se možná spíše někde v nižších patrech citačních žebříčků, kde několik málo „nečestně“ získaných bodů může podstatně ovlivnit celkový počet. Je jistě možné, že někdo z těch, kteří se mohou pochlubit vysokým počtem citací, příliš význačnými vědci být nemusí (například proto, že byli jen minoritními spoluautory vysoce citovaných publikací). Ale jestliže nějaký badatel má těch citací velmi málo, je prakticky jisté, že skutečně význačným vědcem není. Pozor – opět zdůrazňuji, že mluvím o velkých přírodovědeckých oborech!
Myslím, že je velmi dobré, že se i v Česku za posledních deset let rozšířilo povědomí o tom, že existují databáze citovanosti a přehledy impaktových a Hirschových indexů. Velmi to pomohlo tomu, abychom si udělali objektivnější obrázek o tom, „kdo je kdo“ v naší vědě a jak jsme vlastně na tom v mezinárodním srovnání.
Je bohužel skutečností, že řada českých slovutných profesorů starší generace, kteří jsou vahou svých titulů, zastávaných pozic v akademických institucích a dávno minulých zásluh považováni veřejností za naše přední vědce, se sice pyšní dlouhými seznamy svých publikací, ale při bližším ohledání zjistíme, že 90 procent z nich jsou nevýznamná abstrakta z nějakých konferencí nebo články v lokálních žurnálech typu „Časopis lékařů českých“, a že v těch sáhodlouhých seznamech prakticky vůbec nenajdeme plnohodnotné vědecké publikace v důležitých mezinárodních časopisech. Není ovšem divu, že scientometrické parametry těchto lidí bývají žalostné.
Naproti tomu u nás existují mladí vědci, kteří se vrátili z několikaletých postdoktorálních pobytů v zahraničí a mají seznamy vysoce citovaných publikací, za které by se nemuseli stydět, ani kdyby se ucházeli o místo na nějaké dobré americké univerzitě. Čas od času se stane, že i z českého vědeckého pracoviště vzejde významná publikace ve velmi prestižním mezinárodním časopisu, jako je třeba britský Nature nebo americký Science. Na rozdíl od situace před dvaceti lety se o tom dnes rychle dozví širší česká vědecká komunita i veřejnost a tomu, komu se to podařilo, se přece jen dostane zaslouženého uznání a publicity. To je zvláště důležité u mladých badatelů, kterým to pomůže nastartovat úspěšnou vědeckou kariéru.
Je jasné, že pro naši vědu jsou nepostradatelní i ti, kteří sice mnoho původních vědeckých prací nepublikují, ale zato umějí vědu brilantně popularizovat, jsou skvělými vysokoškolskými pedagogy nebo klinickými praktiky. Avšak neměli bychom zapomínat, co je ve vědě přece jen to hlavní: vědec není jen ten, kdo toho o svém oboru hodně ví, ale především ten, kdo ve svém oboru objevuje něco zcela nového, jako první na světě.
Myslím, že by naší vědě (opět mluvím o těch velkých přírodovědeckých oborech!) prospělo, kdyby se pravidelně, třeba jednou za dva až tři roky, zveřejňovaly seznamy dejme tomu 50 až 100 nejcitovanějších českých chemiků, fyziků a molekulárních biologů, a seznamy nejvýznamnějších (z hlediska citovanosti a prestižnosti časopisu) publikací, jejichž autory byli čeští vědci. Zajímavé by bylo i občasné porovnání toho, jak jsou na tom nejcitovanější čeští autoři ve světovém srovnání.
