Kvartilová panika ohledně zařazení časopisů. Aneb jak ESCI změnilo pravidla hry

To jsou všechno otázky, kterými se zabývají specialisté na hodnocení vědy. Těmi jsou i pracovníci z Centra pro scientometrickou podporu a evaluaci Masarykovy univerzity, kteří připravili následující text. 

Probíhající diskuze v českém akademickém prostoru, které lze dobře pozorovat na konferencích k národní Metodice hodnocení výzkumných organizací (Metodika), občas nenasvědčují změny myšlení v otázce hodnocení kvality výzkumu. Na to ukazují následující jevy.

Modul 2 Metodiky, který má sloužit jako přehledová analýza, je velmi užitečný a vysoce kvalitně zpracovaný materiál. Má ale ten problém, že je ve skutečnosti často rozhodující pro vnímání kvality oborů a univerzit (více o jednotlivých modulech Metodiky a obecně o hodnocení si můžete přečíst v rozhovoru s náměstkem Pavlem Dolečkem, pozn. red.). Někteří předsedové oborových panelů, tedy skupin vědců, kteří jsou na národní úrovni zodpovědní za hodnocení vybraných výsledků v tzv. Modulu 1 a za interpretaci analýz Modulu 2 Metodiky, na těchto pravidelných konferencích prezentují grafy, jak si který obor stojí v kvartilových profilech, bez smysluplné interpretace a bez hlubšího přínosu. Humanitní vědy se stále na základě bibliometrie považují za „málo výkonné“, přestože se deklaruje kvalitativní zhodnocení bibliometrie v Modulu 2 a příslušný panel každoročně prezentuje Modul 2 jako nevhodný způsob hodnocení. 

Přečtěte si také

Jaké změny přinesou úpravy Metodiky hodnocení výzkumných organizací – zpráva z konference

Rada pro výzkum, vývoj a inovace uspořádala ve spolupráci s Českou zemědělskou univerzitou v Praze 19. 2. 2025 konferenci o Metodice hodnocení výzkumných organizací. Zaměřila se na problematiku hodnocení vysokých škol a na aktualizaci metodiky hodnocení. Jaké byly důvody aktualizace Metodiky 2017+, jaké konkrétní změny proběhly a v jaké fázi se nachází Metodika 2025+, podle které budou letos hodnoceny vysoké školy? 

Naposled vyvolalo v Česku vášnivé diskuze vytvoření jediného žebříčku (rankingu) časopisů napříč všemi databázemi v rámci Journal Citation Reports databáze Web of Science (WoS), tedy včetně časopisů v databázi Emerging Sources Citation Index (ESCI). Časopisy v této databázi považuje část komunity za méně kvalitní. Na druhou stranu, společnost Clarivate Analytics, která provozuje bibliografickou databázi Web of Science, konečně umožňuje rozšířit analýzy citačních vazeb také na časopisy v národních jazycích a s lokálním významem, a tím snižuje například taktéž kritizovanou dominanci angličtiny.  

Po této změně došlo k razantní změně rankingu, a tedy i vypočítaných kvartilů, které nejen u nás platily za etalon hodnocení kvality. V mnoha národních grantech je totiž požadováno publikování třeba v prvním kvartilu či dokonce decilu časopisů, tedy v 25 % či 10 % nejlepších časopisů na základě jejich rankingu dle impakt faktoru (Journal Impact Factor, JIF) nebo jiného obdobného indikátoru. Tento požadavek je v zahraničních grantech již překonaný a požadavky jsou kladeny primárně na dopad výsledků.

Vnímání kvality pohledem časopisů v databázi WoS tím dostalo citelný zásah a ukázala se absurdita silné závislosti na komerčních metrikách. V následující analýze vysvětlím, k čemu došlo a jaké to má důsledky. Krátké představení dopadů bylo již nastíněno v článku shrnujícím výstupy konference k Metodice 17+, která se konala 19. února 2025. 

Přečtěte si také

Pavel Doleček: Byl bych velmi rád, kdyby se výsledky hodnocení propsaly do financování

Pavel Doleček působí jako náměstek ministra pro vědu, výzkum a inovace. V rozhovoru se zamýšlí nad smyslem hodnocení výzkumných organizací a nad tím, co může a nemůže nabídnout. Vysoké školy podle něj podceňují interní hodnocení a lidé často chtějí protichůdné věci: na jedné straně autonomii vysokých škol, ale zároveň vnější kontrolu, aby uvnitř vysoké školy nedocházelo k nespravedlnostem. Jak by podle něj mělo být provázané hodnocení a financování? Proč by se vysoké školy měly soustředit na formulaci své vize? A jak vnímá roli Rady pro výzkum, vývoj a inovace? 

Změna ve způsobu přiřazování a výpočtu metrik

Společnost Clarivate Analytics je vlastníkem platformy Web of Science (WoS), která má poměrně složitou strukturu a skládá se z mnoha dílčích databází. Ty nejdůležitější tvoří tzv. Core Collection a z nich čtyři jsou založeny na systematickém hodnocení odborných časopisů. Těmi jsou Citation Index Expanded (SCIE), Social Science Citation Index (SSCI), Arts & Humanities Citation Index (AHCI) a Emerging Sources Citation Index (ESCI).

Clarivate Analytics provozuje na platformě WoS kromě vlastní bibliografické a citační databáze článků také řadu dalších analytických služeb, mimo jiné také Journal Citation Reports (JCR). To je právě databáze, ve které lze dohledat statistické údaje o publikační produkci a citovanosti pro každý konkrétní časopis a v rámci které se vypočítávají metriky. Těmi jsou zejména impakt faktor časopisu (Journal Impact Factor, JIF) a Article Influence Score (AIS), který je v zásadě jen propracovanějším impakt faktorem, tím, že vyřazuje autocitace a zohledňuje kvalitu časopisu, ze kterého citace pocházejí. Principiálně se ovšem jedná o metriku téhož typu, jakou je JIF, tedy metriku vlivnosti časopisu. Z hlediska využívání se jedná spíše o české specifikum. 

Společnost Clarivate Analytics v posledních letech přistoupila k zásadním změnám. Tradičně byly v rámci služby Journal Citation Reports metriky přiřazovány časopisům indexovaným pouze v Science Citation Index Expanded (SCIE) a Social Science Citation Index (SSCI). Další dva indexy v Core Collection, tedy Arts & Humanities Citation Index (AHCI) a Emerging Sources Citation Index (ESCI), neměly indikátory počítány. V případě AHCI je hlavním z důvodů jiná publikační a citační praxe v oborech humanitních věd (obvykle poměrně nižší citovanost, dokonce i  v delším časovém období). 

Společnost Clarivate představila ESCI v roce 2015, kdy jej zařadila mezi indexy v rámci Core Collection. Výstupy a citační vazby byly v rámci WoS indexovány i zpětně v rámci v tzv. backfiles. Databáze slouží k indexování časopisů „regionálního významu a v nových vědeckých oborech“. Kvalitativní kritéria pro zařazení časopisů do ESCI jsou stejná jako pro ostatní časopisy v Core Collection. Pokud časopis splní kvalitativní kritéria, je dále posouzen v rámci kritérií dopadu (Impact Criteria), jejich součástí je např. komparativní citační analýza či analýza citací autorů. Pokud časopis splní i toto hodnocení dopadu, může být zařazen do SCIE, SSCI nebo AHCI dle oborové příslušnosti. Pokud kritéria nesplní, bude časopis znovu hodnocen v rámci pravidelného hodnocení Clarivate. Podobně jsou i časopisy z SCIE, SSCI a AHCI v případě snížení impaktu přesunuty do ESCI.

Clarivate Analytics vydává edici JCR daného roku vždy o rok později. Již v rámci edice JCR 2022 vydané v roce 2023 došlo ke změně, kdy časopisům ESCI byl vypočítán impakt faktor-JIF, a od roku 2024 (edice JCR 2023) mají dopočítány i hodnoty kvartilů dle JIF i AIS, které jsou počítány oborově pro všechny indexy společně. Je to o to komplikovanější, že změna byla postupná a dočasně byly kvartilové řady vedeny po databázích odděleně. Dle vyjádření Clarivate má sjednocení indikátorů přispět k transparentnosti při porovnávání časopisů a celkovému zjednodušení pohledu ze strany uživatele. 

V praxi došlo k situaci, kdy do stávajícího rankingu cca 12 tis. časopisů z indexů SCIE a SSCI přibylo přes 8 tisíc časopisů ESCI a menší část AHCI. V rámci indexovaných časopisů stále zůstává 25 WoS vědeckých kategorií, které jsou kvůli citačním zvyklostem (tedy obecně nízké citovanosti v těchto oborech) z rankingu dle JIF vyjmuty. Primárně jde o časopisy AHCI (cca 85 % všech časopisů v rámci AHCI) a část časopisů z ESCI spadajících také do těchto kategorií (cca 14 % všech časopisů v rámci ESCI). Jsou to zejména umělecké a literárně-vědné obory, ale i historie umění a náboženství.

Vpuštění takového počtu časopisů do celkového rankingu významně ovlivnilo pozici jednotlivých titulů v pořadí podle dané metriky, a tedy i zařazení do kvartilu. Bylo možné předpokládat, že tradiční časopisy s impakt faktorem v žebříčku postoupí výše, protože časopisy databáze ESCI budou řazeny do „horší poloviny časopisů“, tedy Q3 a Q4. 

Ještě je vhodné poznamenat, že indikátory AIS a JIF jsou vždy počítány se zohledněním celého spektra časopisů v rámci JCR. Tedy když ESCI časopis přejde např. do Q1, znamená to, že jeho citovanost podle AIS skutečně odpovídá tomuto segmentu. Takový časopis v mezinárodním pojetí pozitivně přispívá do celkového obrázku instituce (citovanost) z pohledu mnoha vnějších hodnocení.

V následujícím díle, kerý vyjde 30. 4. 2025, se podrobněji podíváme na analýzu zařazení ESCI do kvartilového rankingu a jak se budou měnit jednotlivé kvartily časopisů. 

Autoři: Monika Kuchlei Sieberová a Michal Petr

Zdroj: Centrum pro scientometrickou podporu, Masarykova univerzita