Nástroj IDEA kromě jiného poskytuje odpovědi na otázky, o kterých se doposud spíše jen spekulovalo nebo mlžilo.

Úvod pro znalé

Impact Factor (IF) a Article Influence Score (AIS) jsou dva z řady citačních indexů vědeckých časopisů databáze Web of Science. IF je velmi prostý a počítá se jako průměrný počet citací připadající na jeden článek zhruba v období dvou let po jeho otištění. AIS je výpočetně mnohem složitější, dává mnohem větší váhy citacím z významnějších časopisů, zohledňuje citace za delší období (5 let) a je navíc odolný proti sebecitačním praktikám některých časopisů.

Byť byl IF, přesněji řečeno relativní oborové pořadí časopisů dle hodnoty IF, během dlouhých deset let pilířem kafemlejnku, tedy vládního hodnocení výzkumných organizací a programů, žádná česká vláda vědecké komunitě hodnoty relativního pořadí neposkytla. Kdo byl zvědavý, musel se nějak zařídit sám. Pokračuje to překvapivě i v současnosti v nové podobě hodnocení dle Metodiky 2017+, které pracuje s indexem AIS. Kdo si zde již není moc jist tím, co chci říci, nechť si raději přeskočí na závěrečnou sekci "Historie citačních indexů v Česku".

Informační vakuum teď zaplnila nová on-line aplikace IDEA. Zobrazuje relativní oborová pořadí vědeckých časopisů od 0 % do 100 % na základě hodnot AIS a IF. Lze porovnat nejen pořadí časopisů vypočtená různým způsobem, ale i rozdílné hodnoty z různých let (2015 a 2017). Uživatel si může rychle najít či ověřit pozici konkrétního časopisu. Lze si udělat i malé analýzy, které dávají odpovědi na řadu otázek, o kterých se v dobách informačního šera zpravidla jen spekulovalo. V další sekci je pár konkrétních příkladů.

Okna vesmíru dokořán

Obr 1: Relativní oborové pořadí časopisů na základě IF se během pouhých dvou let (2015 a 2017) v případě řady časopisů výrazně změnilo. Pozice časopisů na základě prostého IF je očividně velmi nestabilní. Za pozornost stojí několik v Česku či na Slovensku vydávaných časopisů (ty s bílým kroužkem), jejichž pořadí dle IF se mezi roky 2015 a 2017 velmi propadla. Lze se jen dohadovat, zda za tím stálo opuštění kafemlejnku a snížení motivací vyhánět hodnoty IF sebecitováním do nebes.

Obr 2: Zde je vidět, jak výrazně některým časopisům pomáhají sebecitace zvyšovat hodnotu IF a tedy oborové pořadí. Mnohem častěji se tento fenomén vyskytuje u časopisů s nízkým IF (bez sebecitací). Naopak u časopisů z oborových špičkách jsou posuny způsobené sebecitováním méně časté.

Obr 3: Relativní oborové pořadí časopisů na základě AIS se během dvou let (2015 a 2017) u řady časopisů také změnilo. Ale rozsah těchto změn byl výrazně menší, než v případě IF na Obr. 1

Obr 4: Relativní pořadí AIS a IF mezi sebou korelují zhruba tak, jako spolu korelují dva roky vzdálené IF. V Česku a na Slovensku vydávané časopisy (označené bílým okrajem) nevykazují nějaký systematický sklon k vyššímu IF nebo AIS, tedy kromě tří časopisů vlevo nahoře, ale o tom až dále.

Časopisy označené plně bílým puntíkem na severovýchodě grafu patří na tzv. Nature Index, tedy seznam 82 špičkových časopisů v přírodních vědách, který byl vybrán podle názorů špičkových vědců. Názor vědců na význam časopisů očividně velmi koreluje s hodnotami relativního pořadí na základě AIS a IF. V seznamu Nature Indexu je však patrný jistý příklon k AIS.

A ty dva bílé puntíky nad diagonálou vertikálně od ní nejvíce vzdálené jsou z oboru částicové fyziky. To je velmi specifický obor. Hrají tam velmi výraznou roli sebecitace časopisů, protože v nich publikují články obrovské mezinárodní týmy (stovky až tisíce autorů), které pak přirozeně citují své předchozí články v tomtéž časopise. Tento výrazný nepoměr pořadí mezi IF a AIS však zmizí v okamžiku, když si zobrazíte IF neobsahující sebecitace.

Obr 5: Žlutě označené jsou zde časopisy, kde během pěti let 2011-2015 publikoval alespoň jeden článek autor z Česka. Nezdá se, že by čeští autoři měli sklon systematicky preferovat buď AIS nebo IF, ale při tom počtu sluncí může zrak klamat, protože české články mají sklon se koncentrovat jen v některých časopisech. Uvidíte dále.

Obr 6: Zde je velikost bodu časopisu úměrná tomu, jak hodně v časopise publikují vědci z Česka. A zde již je vidět preference publikovat v časopisech s oborově vyšším IF, než odpovídá AIS (větší body se nachází spíše nad diagonálou), hlavě ve střední oblasti AIS.

Ten obrovský červený bod reprezentuje časopis PLOS One. Je multioborový, za otištění článku se platí vysoká částka kolem 1 000 eur, publikuje se v něm extrémně vysoký počet 20 000 - 30 000 článků (!) a je o něm známo, že otiskne téměř cokoliv vědecky solidně zpracované i bez zásadnějšího ohledu na význam, inovativnost obsahu. Dále vidíme, že český medicínský výzkum se soustředí v časopisech s velmi nízkým AIS i IF (zelené), které jsou navíc vydávané v Česku či na Slovensku (bílý okraj).

Ten červený časopis s bílým okrajem vpravo nahoře je Preslia, skutečně světově významný časopis vydávaný Českou botanickou společností. Na to, že je vydáván v Česku, v něm však příliš moc českých autorů nepublikuje a dominují v něm dominantně autoři z celého světa. Ono by to jinam ani u světově významného časopisu jinak nešlo.

Obr 7: Zde v detailu vidíme pouze medicínské časopisy. Čeští autoři publikují výsledky medicínského výzkumu dominantně v Česku vydávaných několika málo-významných časopisech s nízkými hodnotami AIS i IF. Výjimkou představuje zelený hvězdný 'trpaslík' nad středem grafu, kterým je časopis Parasitology. Zde je větší koncentrace českých autorů výsledkem známé vysoké úrovně českého parasitologického výzkumu. Podobnou hodnotu AIS, ale nižší IF má pak ještě zahraniční časopis Leukemia and Lymphoma, kde čeští autoři také výrazněji publikují. Vzhledem k tomu, že medicína nezná hranic, nabízí se otázka, proč český medicínský výzkum do významných zahraničních časopisů proniká jen velmi sporadicky a co s tím? Ale to již není otázka na bibliometrii a na mě, ale na vládní Radu pro VaV.

Obr 8: Zde vidíme v detailu vesmír ve 'spektru' časopisů oboru Engineering and Technology. V něm vypadá situace výrazně lépe než v medicínských oborech. Vidíme zde však zřetelný sklon publikovat spíše podle IF než podle AIS. Největší koncentrace českých autorů je pak v českém časopise Radioengineering přibližně na hranici 25. percentilu, významnosti jak podle AIS tak IF.

Obr 9: Zde vidíme vesmír ve 'spektru' časopisů oboru Natural Sciences. Přírodní vědy v Česku rozhodně co do rozsahu dominují. Publikace českých autorů se také poměrně dost nekoncentrují v některých časopisech. Extrémem koncentrace je již zmíněný časopis PLOS One vpravo nahoře. A potom Chemické listy vlevo dole s téměř nulovou hodnotou AIS, vydávané Českou společností chemickou. V této oborové skupině v Česku a na Slovensku vychází poměrně hodně časopisů. Většina z nich má však malý vědecký význam (dle AIS i IF). Vědecky nejvýznamnější český časopis je již zmíněná Preslia, kterou databáze WoS řadí kromě přírodních věd i do oborů medicínských. Z pohledu kafemlejnkového zlatého dolu byly, zdá se, pro některé české vědce skutečnou vychytávkou dva časopisy s extrémně vysokým IF, ale pouze středně vysokým AIS (v grafu nahoře uprostřed). Jedním z nich je časopis Applied Mathematics and Computation. Jednoho v něm překvapí extrémně vysoká koncentrace autorů s čínsky a podobně znějícími jmény. Že by nějaký efekt Huawei? Druhým takovým časopisem, v grafu hned vedle, je Fuzzy Sets and Systems. Opět se spoustou čínsky a arabsky znějících jmen autorů.

Obr 10: Zde vidíme v detailu obor Agricultural Sciences. Očividně zde existují České a Slovenské časopisy s vyšším než malým vědeckým významem. Výzkumné články českých autorů se v nich ale extrémně koncentrují. Rozdíl mezi AIS a IF je u nich minimální. Ten nejvýše položený český časopis je Plant Soil and Environment vydávaný Českou akademií zemědělských věd. K větší koncentraci českých autorů dochází pouze v zahraničním časopise Food Chemistry. Ale zde opět z nějakého důvodu dominují čínsky znějící jména autorů. Zde to asi efekt Huawei nebude. Proč se český zemědělský výzkum tak koncentruje v místně vydávaných časopisech? Kvůli specifickému podnebí České republiky?

Obr 11a: Zde vidíme v detailu obor Social Sciences. Tento obrázek v jiných oborových skupinách rozhodně nenajdeme. Český společenskovědní výzkum je extrémně koncentrován v Česku a na Slovensku vydávaných časopisech. Jejich vědecký význam na základě AIS je extrémně nízký, ale některé z časopisů díky vysokému počtu citací a hlavně sebecitací dosahují vysokého IF. Extrémistou je v tomto časopis E + M Ekonomika a management, o kterém jsem již kdysi psal v blogu Jak podojit vědeckého kozla.

Obr 11b: Zde vidíme stále obor Social Sciences, ale žlutě jsou zvýrazněny časopisy, kde byl publikován během pěti let alespoň jeden článek českého autora. Vidíme, že mimo v Česku a na Slovensku publikované časopisy, k žádné koncentraci článků českých autorů nedochází, ale že pár českých 'zářezů' najdeme i v horních patrech AIS. Opět je otázkou pro vládní Radu pro VaV, zda s uzavřeností a nedobrou úrovní českého společenskovědního výzkumu hodlá konečně začít dělat něco více než jen přihlížet.

Stručná historie citačních indexů v Česku

Již zhruba dekádu český systém hodnocení výzkumných organizací stojí a padá s existencí citačních indexů vědeckých časopisů. Bájný kafemlejnek rozděloval body za výsledky a peníze za body od roku 2010. Velmi výraznou roli v něm hrál Impact Factor (IF) vědeckých časopisů na indexu databáze WoS. Zpočátku se body odvozovaly od absolutní hodnoty IF. Záhy se vzalo v potaz, že vědní obory mají různou citační praxi a provedla se primitivní normalizace pomocí oborového mediánu IF. Poté se přešlo na normované pořadí časopisu v rámci oboru podle hodnot IF. Od té doby měly časopis s nejvyšším IF ve svých oborech hodnotu 1 (100 %) a 0  s nejnižší hodnotou.

Po dalších letech se však ukázalo, že některé časopisy, jak české tak třeba litevské uměle navyšují hodnotu IF účelovým citováním. Velmi jednoduchý způsob výpočtu IF takovou praxi přímo nabízel. Reagovalo se na to tak, že při neúměrné výši sebecitovanosti časopisu se zápočet sebecitací do výpočtu pořadí časopisu omezil.

Zlatá éra IF skončila se soumrakem kafemlejnku zhruba v letech 2016-2018. Vyšla však hvězda nová, která se jmenuje Article Influence Score (AIS). Jde o citační index časopisu, který si už na kalkulačce nespočítáte, protože vzoreček je složitý. Má ale oproti IF řadu výhod:

• Bere v potaz výrazně delší období (5 let) než obyčejný IF (2 roky)
• Dává mnohem větší váhu citacím z významnějších časopisů
• Omezuje vliv sebecitací časopisů
• V čase je pořadí časopisů mnohem stabilnější než v případě IF

Citační index AIS se začal používat v novém národním hodnocení výzkumných organizací podle nové tzv. Metodiky 2017+. Nová metodika sice již relativní oborové pořadí časopisů nepřepočítává na body a body na peníze, ale logika používání relativního oborového pořadí časopisů se používá nadále. V první kole Hodnocení 2017 na základě AIS vznikly tzv. publikační profily, oborů a organizací. Dál než k profilům se však zatím nedošlo. Na základě tvaru publikačních profilů se však už začaly dělat nesmyslné soudy a MŠMT na jejich základě dokonce rozdělilo část peněz institucionální podpory v roce 2019. Užitečnost zpětně-informační vazby profilů pro výzkumné organizace je podle mého názoru velmi malá a v některých ohledech i zavádějící až matoucí.

Náběh nového systému hodnocení dle Metodiky 2017+ z pohledu vysokých škol nyní stojí na rozcestí. Jedna z možných cest představuje návrat k podstatě již oplakaného kafemlejnku, kde by se umístění výsledku podle AIS nebo IF ocenilo body a za body by se posléze opět rozdaly školám peníze. S tímto návrhem přišel již před dvěma lety prof. Jiří Málek a jeho nápad údajně v nějaké podobě stále žije. Druhá možná cesta kupředu vede daleko za obdiv k tvarům publikačních profilů, kdy by se posuzoval jak objem i kvalita vědeckých výsledků, ale také počet vědců respektive rozsah veřejné podpory a zázemí výzkumných organizací a jejich pracovišť. To však bude vyžadovat nejen kvalitnější podkladová data, ale také kvalitní složení hodnotících panelů, aby dokázaly všechny informace posoudit v souvislostech. Bibliometrie by se tak stala pouze jedním z mnoha informačních zdrojů. Na nějakém takovém systému pro vysoké školy se pracuje již hodně dlouho.

Ve stínu

Je paradoxní, že tak zásadní ukazatel pro český výzkumný systém, jako je relativní pořadí hodnoty IF časopisu, nešlo normálně nikde zjistit. Kafemlejnková Metodika obsahovala pouze formulku, ale už ne údaje o pořadí IF. Kdo si tehdy chtěl zjistit počet bodů, musel si z databáze WoS stáhnout seznam časopisů daného oboru, určit relativní pořadí a po jeho dosazení do formulky získat body, posléze přepočitatelné a peníze. Přitom nešlo o jen tak ledajakou věc. Podle IF se za zhruba 10 let v české vědě totiž rozdělilo bratru možná až sto miliard korun.

Informaci o relativní oborové pozici časopisů neposkytovaly ani výsledky posledního Hodnocení 2017. Na základě vycházející hvězdy AIS zatím MŠMT rozdělilo jen 200 milionů. Do budoucna ale může AIS hrát roli podobnou jakou ještě nedávno hrál IF.

Autor: Daniel Münich

Článek byl publikován na webu metodikahodnoceni.blogspot.cz.