Nezávislé informace o vědě a výzkumu

O dojení vědeckého kozla

7. 2. 2017
O dojení vědeckého kozla

Velmi rád čtu články Daniela Münicha o vědní politice, hodnocení vědy, atd. Poslední jeho článek („Jak podojit vědeckého kozla“) jsem ale přečetl s jistými rozpaky. Kolega Münich sice velmi správně kritizuje naprosto špatné, bezmyšlenkovité použití impaktového faktoru (IF) některých ekonomických časopisů pro přidělování institucionální podpory „kafemlejnkovým“ mechanismem. Celkové vyznění článku je ale takové, že impaktový faktor (IF) je cosi naprosto nesmyslného, co nemá žádný vztah ke kvalitě vědeckých prací publikovaných v odborných časopisech.

V následujících řádcích budu tedy onen zlopověstný IF trochu hájit; místy budu poněkud opakovat, co jsem už před časem napsal. Předpokládám, že čtenáři tohoto textu vědí, co je IF.

!!! Hned na začátku zdůrazňuji, že moje apologetika IF platí pouze pro velké přírodovědecké obory, především ty biologicko-medicínské !!!!

Radikálně negativní názory na IF zaznívají v poslední době velmi často – v mnoha prestižních časopisech vycházely v posledních několika letech komentáře naprosto zatracující použití IF pro jakékoli účely, některé dokonce volající po jeho tabuizaci. Asi nejvýznamnější je prohlášení iniciativy DORA (San Francisco Declaration on Research Assessment) podepsané mnoha špičkovými vědci a výzkumnými organizacemi.

V těchto textech se obvykle zdůrazňuje, že při posuzování kvality a důležitosti každé publikace (např. při rozhodování o udělení vědeckých titulů, grantů, konkursech na místa vedoucích vědeckých týmů, apod.) je nutné, aby si posuzovatelé sami důkladně prostudovali a zhodnotili příslušné publikace. Je mi líto, ale takové požadavky jsou nerealistické:

  1. Všichni vědci jsou dnes úzce specializovaní – ačkoli je tedy např. mým oborem molekulární imunologie, opravdu dobrý přehled mám jen o relativně úzkém segmentu tohoto podoboru imunologie. Pokud tedy dostanu k posouzení např. imunologickou grantovou aplikaci, jejíž součástí je seznam publikací žadatele, dovedu sice v principu posoudit, jestli ony jednotlivé publikace přinášejí nové a zajímavé poznatky, ale rozhodně nedokážu posoudit, jestli některé z výsledků už třeba nebyly částečně publikovány někým jiným. Spoléhám se tedy na to, že pokud je daná práce otištěna v některém prestižním časopise, prošel její rukopis důkladnou recenzí odborníků úzce specializovaných na danou problematiku, kteří by nějaké nesrovnalosti odhalili. I já samozřejmě přijímám pozvání k recenzi pouze u rukopisů, které se týkají mně velmi blízkých témat.
  2. Je přirozené, že IF je nejvyšší u nejkvalitnějších a nejprestižnějších odborných časopisů daného oboru – prosadit do nich publikaci je obtížné, protože recenzenti jsou tam nejpřísnější a konkurence největší. Proto se tam většinou dostávají jen ty nejlepší a vědecky nejhodnotnější práce, které jsou pak zpravidla hodně citovány. Může se ale samozřejmě stát, že se i do časopisu s vysokým IF dostane slabší publikace, která je pak málo citována, ale mělo by se tak dít méně často, než u časopisů „slabších“. IF by tedy ideálně měl být jakýmsi odhadem příští pravděpodobné citovanosti prací v něm publikovaných. A ono to tak skutečně je – i průměrná dlouhodobá citovanost článků publikovaných v určitém časopise daného oboru docela dobře koreluje s IF. Skutečná citovanost je vědeckou komunitou brána jako v podstatě „skutečný“ indikátor kvality a významnosti; nevýhodou tohoto indikátoru je, že se vyjeví až po několika/mnoha letech.
  3. Proto posuzovatelé těch různých grantových aplikací, členové konkursních, habilitačních a podobných komisí zcela přirozeně zásadním způsobem berou v úvahu, v jak prestižních časopisech uchazeč v poslední době publikoval. A podle čeho posuzují onu prestižnost? No přece v podstatě podle IF. Samozřejmě přitom nehledí na to, jestli je lepší časopis s IF 6 nebo 7, resp. 14 nebo 18, ale prakticky vždy daleko více ocení publikaci v časopise s IF 15 než v časopise s IF 3, a to aniž by ty práce četli. Výsledek je totiž v naprosté většině případů stejný, jestli ty publikace vůbec nečtou a spokojí se s tím, že to za ně už dříve udělali specialisté-recenzenti, nebo jestli je sami důkladně přečtou a až na základě toho si udělají vlastní názor (to lze ale dobře udělat stejně jen tehdy, když takto posuzovaná práce spadá do úzkého podoboru takového superpoctivého posuzovatele)

To běžné, zjednodušené posuzování kvality a významu vědeckých publikací odvozené v zásadě od hodnot IF, samozřejmě bere v úvahu i některé další aspekty – v první řadě jestli je příslušný autor první resp. korespondující (ve většině velkých přírodovědeckých oborů je každému jasné, že hlavní díl „manuální“ práce zpravidla odvedl první autor, zatímco ten korespondenční je většinou duchovním otcem projektu a vedoucím a koordinátorem projektu). Pokud má práce větší počet autorů, znamená nějaká „prostřední“ pozice skoro vždy jen minoritní podíl na výsledcích.

Je třeba zdůraznit, že v těch velkých přírodovědeckých oborech prakticky nelze „zmanipulovat“ hodnotu IF málo kvalitního časopisu tak, jak to demonstruje kolega Münich u onoho českého ekonomického žurnálu. Ta pověstná hypotetická „citační bratrstva“ reálně nemohou docílit toho, aby nějaký nekvalitní časopis uměle zvýšil IF a jevil se jako „prestižní“.

Často se také uvádí, že vysoké IF prominentních časopisů kategorie Nature, Science, Cell, apod. pocházejí od mimořádně vysoké citovanosti malého počtu publikací, zatímco většina prací v nich publikovaných je citována jen minimálně. To není pravda – i medián dlouhodobé průměrné citovanosti koreluje docela dobře s IF.

O tom, že IF má jasnou souvislost s „opravdovou kvalitou“ publikací (ať už to znamená cokoli), svědčí zajisté i to, že v seznamech publikací těch nejuznávanějších, nejcitovanějších vědců, včetně nobelistů, výrazně převažují publikace v časopisech s vysokým IF.

Zatracovat IF všeobecně na základě onoho velmi speciálního příkladu z ekonomie, nebo poukazováním na výjimky, kdy nobelovský objev byl původně publikován v časopise s nízkým IF, je docela podobné, jako když se někdo pokouší popírat škodlivost kouření příkladem 90-letého silného kuřáka, popř. tím, že přece většina kuřáků na rakovinu plic neumírá.

Takže – IF je podle mého názoru alespoň někde docela užitečný pomocník; nesmí se ale stát pánem...