Kvartilová panika ohledně zařazení časopisů. Analýza zařazení ESCI do kvartilového rankingu

To jsou všechno otázky, kterými se zabývají specialisté na hodnocení vědy. Těmi jsou i pracovníci z Centra pro scientometrickou podporu a evaluaci Masarykovy univerzity, kteří připravili následující text. 

Dnešní text navazuje na první část analýzy, kterou doporučujeme přečíst před tímto textem. 

První část analýzy

Kvartilová panika ohledně zařazení časopisů. Aneb jak ESCI změnilo pravidla hry

V akademickém prostoru probíhají diskuze o Metodice hodnocení výsledků výzkumných organizací. Co je a co není dobrý výsledek? Jsou humanitní vědy málo výkonné, jak se někdy prezentuje na základě bibliometrie? Jaké časopisy jsou nebo nejsou kvalitní? Když budeme hodnotit i časopisy na indexu zvaném Emerging Sources Citation Index, poklesne nám kvalita?

Tato analýza se zaměřuje na posun umístění publikačních titulů mezi kvartily v rámci meziroční změny Journal Citation Report (JCR) JCR 2022 a JCR 2023 s využitím indikátoru časopisu Journal Impact Factor (JIF) a Article Influence Score (AIS), ke kterým dochází v důsledku zohlednění časopisů zvaných Emerging Sources Citation Index (ESCI). Jak jsme psali v prvním textu, kritici ESCI tvrdí, že v této databázi jsou nekvalitní časopisy. Na druhou stranu, společnost Clarivate Analytics, která provozuje databázi časopisů Web of Science, konečně umožňuje rozšířit analýzy citačních vazeb také na časopisy v národních jazycích a s lokálním významem, a tím snižuje například taktéž kritizovanou dominanci angličtiny.

Lze za tím oprávněně předpokládat snahu o vyvážení nevýhody vůči své nejsilnější obchodní konkurenci, tedy databázi Scopus, provozované společností Elsevier. Scopus je mnohem mladší databází, ale od začátku zvolil mnohem inkluzivnější, a ne tak striktní politiku hodnocení a evidování časopisů a přiřazování metrik. Díky tomu Scopus obsahuje kromě těch mezinárodních také velké množství lokálních časopisů včetně těch v národních jazycích. Rovněž citační metriky vlivnosti časopisů (zde například Scimago Journal Rank, CiteScore a podobně) Scopus počítá pro všechny časopisy bez rozdílu. Subjektivně byl Scopus proto vnímán zejména ve společensko-vědních a humanitních oborech jako „lepší“, prostě proto, že se tam nachází například i české časopisy, ve kterých místní vědci často publikují. ESCI významně rozšířil portfolio časopisů na Web of Science s vypočítanými indikátory vlivu.

Data jsme pro naši analýzu získali pomocí aplikačního programového rozhraní (API) z JCR. Kvartily podle JIF jsou definovány přímo z JCR, v případě AIS jsou dopočítány, protože tato informace není v datech JCR dostupná. Do porovnávací části analýzy jsou započítány pouze časopisy, které byly indexovány a mají hodnoty indikátorů v obou letech. Data byla stažena v listopadu 2024. V lednu 2025 nicméně proběhla dílčí aktualizace JCR, některé časopisy proto mají v našich datech již neaktuální hodnoty AIS a JIF. Celkové hodnoty v letech se mohou lišit u AIS a JIF vzhledem k nedostupnosti některého z indikátorů v databázi. Pro zjednodušení jsou vynechány publikace s hodnotou „N/A“ nebo nedohledané. 

Impakt faktor neboli Journal Impact Factor (JIF)

Při pohledu na data na základě rankingu dle metriky Journal Impact Factor (JIF) došlo při změně v JCR 2023 k posunům v rámci všech kvartilů. K nejvýznamnějšímu posunu z tradičních indexů (SCIE a SSCI) došlo k posunu z Q3 do Q2 u více než 40 % výsledků (viz Graf 1 a Tabulka 1). Tento posun je velmi zásadní, protože v situacích, kdy se indikátory časopisu používají jako ukazatel kvality výzkumu, je často významným kritériem medián (kritérium tzv. lepší poloviny časopisů – Q1 + Q2), tj. řazení do Q2 je hraniční. Významný je taky posun do „neprestižnější“ skupiny časopisů v prvním decilu, kdy se hodnota změnila u více než jedné čtvrtiny. Je nutné ovšem zmínit, že k přirozenému pohybu mezi kvartily dochází i bez těchto zásadních systémových změn.

Posun časopisů v řazení dle kvartilů JIF lze vidět také v grafickém znázornění níže.

Část časopisů ESCI (cca 14 %) zůstává bez kvartilu, jedná se primárně o časopisy zařazené do vybraných humanitních oborů (viz popis specifik humanitních věd v prvním textu). V rámci AHCI je největší část ze 1741 (84,9 %) časopisů řazena právě do těchto oborů. 

Mezi obory časopisů ESCI řazených do D1 a Q1 dle JIF nejčastěji patří EDUCATION & EDUCATIONAL RESEARCH (51); LAW (30); HISTORY (25); BUSINESS, FINANCE (18); MATHEMATICS (14); ENVIRONMENTAL STUDIES (14); MATHEMATICS (14); ENVIRONMENTAL SCIENCES (13); BUSINESS (11).

„Lepší“ varianta impakt faktoru neboli Article Influence Score (AIS)

Metrika AIS je z podstaty své metody výpočtu stabilnější než JIF (využívá 5leté období a váhy citací se odvíjí od citovanosti daného zdroje). Posuny mezi kvartily nejsou tedy tak znatelné, ale lze vidět stejný trend jako při pohledu přes metriku JIF. Hodnoty kvartilů a decilu Clarivate Analytics v případě AIS neuvádí, jsou dopočítány stejnou metodou jako JIF. AIS je vypočítáván se zohledněním celého spektra časopisů v JCR (tj. včetně ESCI a AHCI).

ESCI časopisy se nejvíce řadily do nižších kvartilů, kdy téměř 75 % je zařazeno do Q3 a Q4. Do prvního decilu spadá pouze 1,4 % časopisů, celkem do Q1 potom 5,5 %. Detailní posun lze vidět v Tabulce 3 a graficky znázorněné v Grafu 2.

Z pohledu rozložení do kvartilů je u časopisů ESCI téměř 20 % řazeno do první poloviny časopisů a téměř 50 % je řazeno do Q4. 

Mezi obory časopisů ESCI řazených do D1 a Q1 dle AIS nejčastěji patří: 

EDUCATION & EDUCATIONAL RESEARCH (26); LAW (17); MATERIALS SCIENCE, MULTIDISCIPLINARY (13); SOCIAL SCIENCES, INTERDISCIPLINARY (11); HISTORY (11).

Porovnání zastoupení ve kvartilech dle JIF či AIS je srovnáno v Tabulce 3. Lze vidět velmi podobný trend rozpadu do jednotlivých kvartilů z pohledu absolutních čísel. Zásadní rozdíl je v časopisech bez přiřazeného kvartilu zůstávajících v ESCI. To je dáno metodikou Clarivate, jak bylo zmíněno výše, kdy kvartilové hodnoty nejsou přiřazovány vybraným 25 humanitním oborům. 

Závěry

Je zřejmé, že tato systémová změna ze strany Clarivate Analytics významně ovlivnila ranking časopisů v meziročním porovnání. V některých disciplínách ESCI časopisy celkovým rankingem pohnou více, záleží to na celkové velikosti oboru a jeho pokrytí na Web of Science. V prostředí, kde je věda hodnocena primárně na základě indikátorů kvality časopisu, může mít tato změna zásadní vliv na celkový výsledek hodnocení. A zde se právě ukazuje v úvodu zmíněná absurdita. To, co bylo pohledem hodnocení a přímočarých interpretací léta považováno za nekvalitní, se jednoduchou statistickou operací přechodu do lepšího kvartilu změnilo z pohledu hodnocení na kvalitní. Případně nějaký časopis v databázi ESCI, který byl mnohými odsuzován jako podřadný, získal náhle pozici v prvním kvartilu. Protože i tyto časopisy (i když je jich málo) dokážou i v konkurenci s tradičními JCR časopisy v citovanosti vybojovat první pozice. 

Jak s takovou změnou ale naložit? Zachovávání starého systému (tj. přepočítávání na původní kvartily bez zahrnutí ESCI) by bylo ještě absurdnější. Znemožnili bychom udržitelný benchmark se světem, popřeli bychom význam velkého množství citací v systému, a zejména bychom kalibrovali metriky naší vlastní empirií. Zjednodušeně, vybírali bychom si ze systému jen to, co se nám hodí, tj. časopisy, o kterých si myslíme, že jsou kvalitní. A následně bychom tento systém považovali za přesný. Obstálo by tohle jako metoda ve vědě? Potřebujeme pak vůbec metriky?

V tomto roce je změna razantní, ale jediným logickým a správným řešením je změnu akceptovat, a to bez kompromisů. Kritici ESCI tvrdí, že v této databázi jsou nekvalitní časopisy. Na druhou stranu, Clarivate konečně umožňuje rozšířit analýzy citačních vazeb také na časopisy v národních jazycích a s lokálním významem, a tím snižuje například taktéž kritizovanou dominanci angličtiny. Systematická preference v žebříčku vysoko řazených časopisů a současné opomíjení lokálních časopisů je totiž kontroverzní, ne-li rovnou překonaná. Za své hovoří projektová dokumentace některých českých grantových agentur v porovnání s těmi evropskými. Možná pokud se budeme zabývat také jinými koncepty kvality a přestaneme metriky přehnaně řešit, můžeme snížit závislost na nich, aniž bychom přišli o nesporné výhody, které poskytují. A na konferencích k Metodice bychom pak třeba nemuseli postrádat hlubší diskuzi o tom, co je kvalita výzkumu v různých oborech, o různých dalších metodách, zodpovědnosti a inovacích a hodnotách v hodnocení výzkumu.

Autoři: Monika Kuchlei Sieberová, Michal Petr 

Zdroj: Centrum pro scientometrickou podporu, Masarykova univerzita

Poznámka: Analýza má několik limitů danými metodikou Clarivate a nekonzistencí v rámci let a jejich řazení do indexů. V mezičase stažení dat a datem vydání analýzy proběhla také dílčí aktualizace v JCR, proto není možné všechna data zpětně ověřit s on-line informacemi v JCR. Některá data byla manuálně doplněna. V případě neověřitelnosti dat není časopis do analýzy zahrnut, odchylka je do 3 % z počtu časopisů. V případě potřeby dalších informací k postupu či podkladových dat nás, prosím, kontaktujte.