Nedávno jsem měl čest vystoupit na každoroční konferenci Implementace Metodiky 2017+. Každoročně se tam rekapitulují zkušenosti z národního hodnocení a záměry do budoucna. Mé vystoupení okořenil trapný lapsus, když jsem si nemohl vzpomenout, co ukazuje jeden z grafů. V tomto blogu svou přednášku stručně rekapituluji, snad bez lapsů a na pár místech jsem ji o něco vylepšil.
V prezentaci na konferenci jsem vysvětloval, jakou alternativu nám nabízí bibliometrické ukazatele založené na citovanosti článků. A v rámci toho jsem opakovaně dokládal, jak zásadní je pro každé hodnocení znalost personálních oborových kapacit výzkumných organizací a zemí.
Publikační výkon a produktivita
Začnu v národním hodnocení dobře známým publikačním výkonem. Graf 1 nám ukazuje publikační výkon zemí v oboru chemie. Aby byla čísla srovnatelná, jde o počty článků připadající na 10 milionů obyvatel. Čím tmavší odstín modré, tím vědecky vlivnější skupina časopisů, chcete-li renomovanější, kde články vyšly. Publikační výkon Česka v chemických vědách je poměrně vysoký. V rámci starých zemí EU15 je Česko zhruba na průměru a daleko před bývalými postkomunistickými zeměmi.
Graf 1: Počet článků v oboru chemie podle vědeckého vlivu časopisů (přepočteno na 10 mil. obyvatel)
Zde si ale musíme uvědomit, že počet článků silně závisí i na počtu vědců v oboru té které země. Do jaké míry je vysoký publikační výkon Česka v Grafu 1 dán i tím, že v českém chemickém výzkumu působí hodně vědců? Graf 2 počtu autorů v oboru ukazuje, že to tak částečně je. Česko totiž v oboru vykazuje čtvrtý nejvyšší počet vědců v rámci všech zemí EU15. Česká chemie je prostě personálně velká.
Graf 2: Počty autorů specializovaných v oboru chemického výzkumu (přepočteno na 10 mil. obyvatel)
Takže musíme sledovat spíše publikační produktivitu oboru, tedy počty článků připadající na jednoho chemika. A to vidíme na Grafu 3. Po zohlednění počtu autorů v oboru dané země, tedy vyjádřeno publikační produktivitou, už česká chemie tak zázračná není. Pohybuje se pod průměrem zemí EU15. A z postkomunistických zemí je srovnatelná třeba s Polskem.
Graf 3: Počet článků v oboru chemie podle vědeckého vlivu časopisů (přepočteno na jednoho autora oboru)
Svět citací
Po úvodním připomenutí ukazatelů založených na počtech článků se na svět podíváme skrze citovanost článků. Ta představuje alternativní měřítko k počtu publikací, tedy publikačnímu výkonu. Ani v případě citovanosti není radno sledovat pouhou kvantitu citací, protože citace lze generovat poměrně snadno. Musíme rozlišovat kvalitu citací. V podstatě se nabízí pohledy dva: (i) Jeden pohled na základě počtu citací z vědecky vlivných časopisů. (ii) Druhý pohled na základě intenzity citovanosti jednotlivých článků. Podstata obou ukazatelů je uvedena ve schématu, nalevo, respektive napravo.
Schéma dvou typů indikátorů založených na citacích
V Grafu 4 vidíme první z ukazatelů, tedy počty článků. Barevné odstíny modré pak rozlišují, s jakou intenzitou byly citovány. Počty článků jsou opět přepočteny na jednoho autora. Už totiž dobře víme, že by srovnání zkreslovaly rozdílné personální velikosti oborů v zemích.
Vidíme, že poměřováno hodně citovanými články, to jsou ty nad osou X, má Česko v oboru chemie nejnižší citovanost na autora ze všech zemí, tedy spolu se Slovenskem. Opět tedy svou roli hraje poměrně vysoký počet chemiků, kteří v Česku působí.
V grafu 4 si navíc všimněte velmi světlého spodního segmentu. Ten ukazuje články, které nebyly citované vůbec. Hodně jich vykazují Chorvatsko a Polsko.
Graf 4: Počet článků v oboru chemie podle intenzity jejich citovanosti (přepočteno na jednoho autora oboru)
A druhý z citačních indikátorů ukazuje Graf 5. Konkrétně ukazuje, v jak vlivných časopisech jsou články vědců z té které země citovány. I zde jsou počty obdržených citací přepočteny na jednoho autora, aby se do srovnání nepromítaly obrovské rozdíly v personálních kapacitách oboru v různých zemích. Odstíny vínové barvy tentokrát rozlišují vědecký vliv časopisů odkud citace přišly. Čím vlivnější byl citující časopis, tím tmavší odstín v grafu. Vliv časopisů je určen stejně jako v národním hodnocení na základě percentilového pořadí časopisu v oboru na základě impakt faktoru AIS. V tomto srovnání je Česko po Slovinsku druhé nejlepší ze všech postkomunistických zemí. Ale nemá ani na jednu ze zemí staré EU15.
Graf 5: Počet citací článků zemí v oboru chemie podle vědeckého vlivu citujících zdrojů (přepočteno na jednoho autora oboru)
Jaký je tedy náš závěr ohledně českého chemického výzkumu? Co do publikačního výkonu ve vědecky vlivných časopisech, (počet článků na 10 mil. obyvatel), tak patříme k dobrému průměru zemí EU15 a výrazně převyšujeme ostatní postkomunistické země, tedy kromě malého Slovinska. Pokud však vezmeme v potaz poměrně velkou personální základnu oboru v Česku, publikační produktivita ve vědecky nejvlivnější polovině časopisů v chemii už patří spíše k horšímu průměru EU15 a už tak výrazně ostatní postkomunistické země nepřevyšuje. A podobně to pro Česko vychází pohledem ukazatelů citačních.
Všechny obory najednou
Dosavadní srovnání byla za jediný obor - chemii. Nyní se podíváme na všechny vědní obory najednou. Na horizontální ose Grafu 6 vidíme personální kapacitu oborů v České republice vyjádřenou v procentech průměrné personální kapacity oborů v zemích EU15. Údaje jsou přepočteny na 10 milionů obyvatel země, aby srovnání dávalo smysl. Na vertikální ose je obdobná procentní odchylka České republiky, ale v tomto případě publikačního výkonu ve vědecky vlivnější polovině časopisů.
Graf 6: Personální velikosti českých oborů a publikační výkon ve vědecky vlivnější polovině časopisů - vyjádřeno jako % rozdíl vůči EU15 (přepočteno na 10 mil. obyvatel)
Vidíme, že jen menší skupina českých oborů personálně převyšuje průměr zemí EU15. Jde o obory materiálové inženýrství, zemědělství a lesnictví, chemie. Fialově označené obory představují společenskovědní. Ty jsou v Česku ve srovnání s průměrem zemí EU15 personálně velmi malé. V grafu jsou vypíchnuty obory ekonomie a vzdělávání. Toto srovnání ale nebere v potaz, že se obory personálně napříč zeměmi velmi liší. Proto se musíme opět dívat na publikační produktivitu, tedy počty článků připadající na jednoho autora oboru v Grafu 7.
Graf 7: Personální velikosti českých oborů a publikační výkon ve vědecky vlivnější polovině časopisů - vyjádřeno jako % rozdíl vůči EU15 (přepočteno na jednoho autora)
Graf 7 je velmi podobný předchozímu. Rozdíl spočívá v tom, že počet článků na ose Y není vztažen k 10 milionům obyvatel země, ale k počtu autorů toho kterého oboru. Hodnoty na vertikální ose proto vyjadřují procentní odchylku publikační produktivity České republiky od průměru zemí EU15.
Vidíme, že řada personálně menších českých oborů se v produktivitě přiblížila průměru zemí EU15. A naopak personálně relativně největší české obory se vertikálně poněkud propadly. Dokonce se zdá, že čím personálně větší český obor vůči EU15 je, tím je v průměru méně produktivní. To by se dalo vysvětlit tím, že expanze některých oborů v Česku nešla směrem k nadprůměrnému výzkumu, ale spíše naopak.
A i zde je jasně vidět, jak zásadní roli hrají personální oborové velikosti a jak zavádějící je sledovat pouze publikační výkon bez ohledu na personální kapacity oborů různých zemí.
Tato a mnohá další srovnání si můžete udělat i sami pomocí naší on-line aplikace IDEA.
Výzkumné organizace
A teď se pomocí citačních ukazatelů podívejme na výzkumné organizace. Vraťme se do oboru chemických věd. Světle hnědé sloupce v Grafu 8 ukazují celkový počet citací článků, tmavě hnědé ukazují citace ze čtvrtiny vědecky nejvlivnějších časopisů. Horní panel pak ukazuje prosté počty citací a říkejme tomu citační výkon. Spodní panel pak ukazuje počet citací připadající na jednoho autora. Říkejme tomu citační produktivita.
V horním panelu vidíme silnou korelaci mezi počty všech citací a citací z vlivných časopisů. To je jednoduše dáno velkými rozdíly v personálních velikostech organizací (více autorů -> více článků -> více posbíraných citací). Ve spodním panelu citační produktivity vidíme mnohé změny pořadí, kromě první Palackého univerzity. Například nahoře druhá Univerzita Karlova dole spadla až na páté místo. To je jednoduše dáno tím, že Univerzita Karlova je v oboru chemie personálně hodně velká, takže přirozeně generuje i hodně citací. Ale jakmile vezmeme personální velikost v potaz a sledujeme počty citací na autora, tak už na tom chemie na Univerzitě Karlově zdaleka tak dobře není.
Graf 8: Citační výkon (počet získaných citací) a citační produktivita vybraných výzkumných organizací v oboru chemie
A jak už jsem vysvětlil, citace nabízí ještě druhý pohled, a to skrze citační intenzitu článků. Logika Grafu 9 je podobná jako u Grafu 8. Rozdíl je v tom, že Graf 9 neukazuje počty citací, ale počty článků podle intenzity jejich citovanosti (podobně jako Graf 4 na úrovni zemí). Zde šedé sloupce ukazují počty článků necitovaných vůbec. Hnědé grafy ukazují počty článků citovaných jako čtvrtina nejcitovanějších článků zemí EU15 v chemii publikovaných ve stejné době jako ty české. A opět vidíme, jak zásadní dopad na pořadí organizací má zohlednění rozdílů personálních kapacit ve spodním panelu. Pro většinu případů platí, že zohlednění personální velikosti zlepšuje pozici personálně menších organizací a způsobuje propad organizací personálně velkých. A i zde je vidět, jak zásadní je pracovat s informacemi o personálních velikostech organizací ve vědních oborech.
Graf 9: Články podle intenzity citovanosti celkově a připadající na jednoho autora v oboru chemie
Tato a mnohá další srovnání českých výzkumných organizací si můžete udělat i sami pomocí další z našich on-line aplikací IDEA.
Pro a proti citačních ukazatelů
Citační ukazatele představují alternativu k ukazatelům založeným na počtech článků. Má to však řadu nevýhod a obtíží:
- Citační srovnání vyžadují obrovská množství dat, která je potřeba získat pro vytvoření mezinárodních benchmarků. Uvědomme si, že u každé jedné citace je třeba zjistit, z kterého časopisu přišla.
- Další obtíž je, že citace článků přicházejí se zpožděním. Takže smysluplná citační srovnání má smysl dělat až zhruba po pěti letech od okamžiku, kdy byly články publikovány. V hodnocení výzkumných organizací pro potřeby jejich řízení a financování to může být příliš vzdálené období.
- A třetí problém je, že citace se nadále rodí i po provedení analýzy, takže její zjištění mohou postupně zastarávat.
RCIO
A ještě se musím zmínit o velmi oblíbeném ukazateli, takzvaném relativním citačním indexu oboru RCIO (anglicky Category Normalized Citation Impact - CNCI). Představuje průměrný počet citací připadajících na jeden článek organizace či země v nějakém oboru. A vyjadřuje se v % vhodného benchmarku. To v prvním případě může být citovanost článků celé země nebo zemí EU15 a v druhém případě zemí EU15. Výhodu má tento ukazatel pouze jednu, a to tu, že se dá snadno zjistit pomocí nástroje InCites v databázi WoS. Ale má také dlouhou řadu nevýhod, které jsou uvedeny v seznamu níže červeně.
Důsledkem je, že i vědecky velmi produktivní organizace nebo země v oboru může vykazovat nízký index, a nebo přesně naopak. Doporučuji proto si RCIO ukazatele nevšímat, ani na úrovni organizací, ani zemí, a do národního hodnocení ho nezavádět.
Co říci závěrem?
Asi jako vždy připomenu, že bibliometrické ukazatele, včetně těch citačních, představují pouze informační oporu, kterou je třeba podrobovat kritickému zraku panelistů dobře znalých oboru a oborové praxi. Pokud bibliometrické informace neladí s dalšími zjištěními, pak je záhodno jít po stopě a přijít záhadě na kloub. Ze zkušenosti vím, že se tak zpravidla odhalí dost zajímavé věci, někdy v tom dobrém, jindy v tom horším.
Citační ukazatele mohou v národním hodnocení vhodně doplňovat ukazatele počtu článků. I v jejich případě je ale třeba zohledňovat kvalitu a hlavně brát v potaz personální velikosti oborů. Otázkou však zůstává, jak velká může být přidaná hodnota citačních indikátorů a zda to stojí za datové, časové a finanční úsilí.
Každopádně lze s klidem zapomenout na použití relativního citačního indexu oboru (RCIO).
Autor: Daniel Münich
