V novém Hodnocení 2017+ závisí jeho bibliometrický pilíř výlučně na indikátorech ze soukromé databáze Web of Science (WoS). Již za dob kafemlejnku postupně narůstal její význam pro evaluaci české vědy a výzkumu, když výpočetní vzorce pro RIV body začaly přikládat váhu impakt faktoru (přesněji: pozici časopisu v oboru dle impakt faktoru) - tedy statistice o citovanosti časopisu vypočítané na základě údajů z WoS. Častou námitkou proti využívání této databáze pro hodnocení vědy je její nízká relevance pro společensko-vědní a humanitní obory. Tento blog si původně kladl za cíl ověřit tato tvrzení o znevýhodnění českých sociálních a humanitních věd. Ale pohled na nová data z Hodnocení 2017+ ukázal na jiné zneklidňující údaje o předchozím způsobu hodnocení vědy.
Je na bíledni, že co do počtu časopisů, které jsou evidovány ve WoS, jsou velké oborové skupiny STEM (přírodní vědy, technické a medicínské disciplíny) v převaze oproti SSHA (sociální a humanitní vědy a umělecké obory). Ale na úrovni jednotlivých disciplín tato jednoduchá rovnice přestává platit. Podle způsobu evidence oborů uplatněného v Hodnocení 2017+ na tom leckteré přírodovědné a inženýrské disciplíny nejsou v rámci WoS o nic lépe než humanitní vědy. A naopak, některé tradiční sociálně-vědní obory jsou ve WoS pokryty relativně velkoryse - ekonomové mají například větší publikační prostor (měřeno na počty časopisů bez zohlednění skutečného počtu otištěných článků) než fyzikové či chemici. Záleží tedy i na tom, kudy narýsujeme oborové hranice.
Jak se to tedy má s onou námitkou, která v podstatě tvrdí, že úspěšnost v bibliometrických indikátorech založených na WoS se odvíjí od parametrů samotné databáze? Data z Hodnocení 2017+ ukazují, že mezi oborovou reprezentativností WoS a počty článků, které čeští autoři v jednotlivých oborech publikovali, skutečně existuje systematický vztah. A ne ledajaký. Vyjádřeno korelačním koeficientem, činí tento vztah 0.83 (přičemž +1 značí perfektní pozitivní vztah, -1 perfektní negativní vztah, 0 pak absenci vztahu). Byť korelace přísně vzato nic neříká o kauzalitě či o jejím směru, v tomto případě jediné rozumné vysvětlení je, že počty českých článků umístěných v databázi WoS zhruba odpovídají velikosti jejích oborových kategorií. Naopak je těžko uvěřitelné, že čínsko-americká firma provozující WoS nastavila velikost kategorií své databáze podle toho, kde čeští vědci rádi publikují.
Argument, že humanitní a sociální vědy jsou v početní nevýhodě, protože mají v databázi WoS málo prostoru, tak docela neplatí. Pokud bychom neházeli vědní obory do jednoho pytle, ale měřili zvlášť STEM a SSHA obory, pak by se ukázalo, že korelace mezi velikostí kategorie WoS a počtem výsledků ve STEM oborech je bezmála dokonalá (0.97) a naznačuje, že měříme totožné veličiny. Jinými slovy: při počítání publikací ve WoS záleží u STEM oborů na počtu časopisů ještě více, než tomu je v případě věd společenských a humanitních. V SSHA oborech představuje velikost kategorií WoS o něco silnější efekt, ale celkový vztah je mezi oběma proměnnými slabší. Jako vysvětlení pro nižší úspěšnost SSHA oborů uvedený argument tedy neobstojí. Ovšem samotné jádro námitky, totiž že při srovnávání oborů pomocí počítání publikačních záznamů ve WoS záleží na velikosti oborových kategorií, je zcela na místě. Pokud by si RVVI nechala každý rok vyjet zprávu o stavu databáze Web of Science, bývala by si mohla odpustit celý český informační systém o výsledcích.
Obr. 1: Zastoupení oborů ve WoS a ve výsledcích Hodnocení 2017+
Přiložený korelační diagram situaci s počítáním "záseků" ve WoS vcelku jasně ilustruje. Přerušovaná přímka modeluje na logaritmické škále vztah mezi počtem umístěných článků a velikostí kategorií ve WoS po převodu do oborové klasifikace OECD (FORD). Obory nad přímkou si vedou lépe než stanovuje predikce, ale bohužel žádný nevystupuje výrazně z řady. Těžko by se tedy, aspoň na této úrovni oborového členění, hledal v Česku obor, který by co do počtu publikací překonával přirozené limity vymezené počtem časopisů, v nichž mohou vědci své práce publikovat. Jinak tomu je ve spodní části diagramu, kam se umisťují obory, které si vedou hůře, než kolik by jim model předpovídal. SSHA obory stahují celý model dolů a řada z nich zůstává hluboko pod úrovní srovnatelně velkých (z hlediska zastoupení ve WoS) STEM oborů. Nezbývá tedy než konstatovat, že potenciál, který jim WoS poskytuje, nevyužívají. Původní kafemlejnek, který k impakt faktorům příliš nepřihlížel, byl k SSHA oborům přívětivější, neboť nedostatky na poli WoS mohly dohánět třeba v domácích recenzovaných časopisech. Na čemž v principu není nic špatného, neboť SSHA produkují vědění, které může být relevantnější pro národní diskuse než pro globalizovanou vědu, jak nedávno připomněl Jakub Eberle. Zde se omezíme na prosté konstatování o stávající situaci, aniž bychom hledali příčiny a motivace.
Byla by situace jiná, pokud by se kromě počtů zohledňovala kvalita výstupů? Pozdní kafemlejnek se pokoušel o náznak měření kvality s pomocí vážených impakt faktorů. Na vládních datech z Hodnocení 2017+ si můžeme tento postup aspoň částečně přiblížit, když místo JIF (Journal Impact Factor) použijeme nově aplikovanou metriku AIS (Article Influence Score). Byť AIS metrika penalizuje některé neduhy impakt faktoru, přesto spolu obě míry také korelují - a sdělují tedy podobnou, byť ne nutně identickou informaci (podrobně o tom psal Daniel Münich).
Pokud akceptujeme premisu, že kvalitní výsledky se vyskytují v horním decilu dle AIS a zaměříme se pouze na ně, žádné velké překvapení se nekoná. Při počítání jednotlivých publikačních kusů vše vypadá v zásadě stejně. Korelace je sice o něco nižší, ale pokud z výpočtu odstraníme 5 SSHA oborů, které v prvním AIS decilu své kategorie neumístily ani jeden článek, stále zůstává na vysoké úrovni (0.79). Kafemlejnkové hodnocení vědy založené na počítání publikačních kusů vážených podle WoS zkrátka příliš vědecké nebylo. Z hlediska oborů RIV body neodrážely ani vědecké zásluhy, ani společensky definované potřeby, nýbrž dostupné publikační možnosti ve WoS - a tedy o kvalitě zde pěstovaných oborů neposkytovaly žádnou hodnotnější informaci.
Přináší nová metodika hodnocení v tomto ohledu nějakou změnu? Kromě obecného závazku provádět mimo jiné také bibliometrické hodnocení neobsahuje žádné jeho konkrétní parametry. A to je možná dobře, neboť tak zůstává prostor celý systém ladit. Momentálně může mít tento stav nejistoty i blahodárné účinky. V situaci, ve které není jasné, jaká kritéria hodnocení budou použita, se snaha o poctivě odpracovaný výzkum stává racionální strategií, byť vsadit lze i na jiné cesty. Pokud se však Metodika 17+ bude držet měřících analytických postupů použitých při její první implementaci, pak podstatnou metrikou nadále nebudou počty, nýbrž podíly publikací, které se umístily ve vybraném segmentu (aktuálně v horním decilu WoS dle AIS) dané oborové kategorie. Druhá ilustrace ukazuje, že při těchto kalkulacích se vztah mezi sledovanou metrikou (podílem publikací) a velikostí oborové kategorie WoS zcela vytrácí. A to je dobrá zpráva.
Obr. 2: Zastoupení oborů ve WoS a podíl nejlepších výsledků dle Article Influence Score v Hodnocení 2017+
Co nová metodika měří, to tak docela nevíme. Může to být kvalita, nebo aspoň nějaký její rozměr. Možná jsou to lidské či finanční zdroje, kterými daný obor disponuje. Anebo jiné proměnné. Třeba množství českých časopisů ve WoS. Ale zdá se, že jsme aspoň pod rouškou hodnocení české vědy přestali měřit velikost kategorií v databázi WoS. To může být malý krok pro scientometrii, ale velký skok pro bibliometrické hodnocení české vědy.
Autor: Radim Hladík
