Kdo je tu nejlepší, kdo je tu nejlepší

Trocha historie

Publikační bibliometrický kvalitativní profil představuje počty vědeckých článků pracoviště nebo země v různých skupinách časopisů podle jejich vědeckého významu odvozeného z oborového pořadí časopisu na základě jeho citačního indexu. S těmito profily jsem začal pracovat někdy v roce 2012. Jedny z prvních jsem dal i sem na blog. Posléze byla na profilech založena série studií IDEA [1 | 2 | 3 | 4 | 5 | 6] včetně populárních interaktivních tabulek českých pracovišť. Naposledy článek v Scientometrics.

Před lety jsem to konzultoval i se sběrateli nápadů z Thomson Reuters (WoS) a Scopus. Možná i já jsem je tehdy inspiroval, každopádně teď už v jejich nástrojích lze najít percentilové zařazení časopisů v oboru podle citačního faktoru. Publikační profily jsme potom doladili a použili i v úspěšném hodnocení AV ČR 2010-2015. A myšlenku přebrala i vládní Metodika 2017+, byť tam si ještě musíme na podobu výsledku počkat.

Profily založené na citačních indexech časopisů jsou velmi užitečné, protože poměrně věrohodně odhalují kvalitu publikačního výkonu vědeckých pracovišť a zemí, což se pomocí peer-review dělá hodně těžko, zdlouhavě a draho. Proti bibliometrickým ukazatelům založeným na citovanosti jednotlivých článků je to zase nástroj neskonale méně náročný na data a řekl bych i spolehlivější. Profily však je třeba umět číst a stále je člověk musí chápat jen jako podpůrnou informaci pro hodnocení.

 

Smyšlené profily

Níže vedené grafy ukazují publikační profily tří smyšlených výzkumných pracovišť A, B, C. Ukazují počty článků publikovaných vědci z těchto pracovišť ve třech skupinách vědeckých časopisů podle jejich vědeckého významu - nízký, střední, vysoký. Význam časopisu může být odvozen například z oborového pořadí hodnoty AIS citačního faktoru časopisu v rámci oboru. Pointa je podrobněji vysvětlena například zde a důvody proč dnes používáme raději AIS faktor a ne Impact Factor jsou vysvětleny zde.

Horní třetinu představují nejvýznamnější vědecké časopisy na světě, které charakterizuje velmi kvalitní a nároční recenzní proces a publikují se v nich články, které významně přispívají ke světovému poznání v oboru. Tyto charakteristiky mají u střední třetiny časopisů význam výrazně menší a u spodní třetiny časopisů ještě o řád menší. V poslední skupině se mimo jiné nachází i většina místně vydávaných časopisů, lokálního významu a dosahu, v nichž dominantně publikují místní autoři a působí hlavně domácí editoři a recenzenti. Vše co bylo řečeno výše však neplatí stoprocentně a vždy najdete výjimky, které potvrzují pravidlo. Takže i skvělý objev se může náhodou objevit v lokálním časopise. Ale pak je to zázrak o kterém se roky mluví. Stejně tak se občas hloupost dostane do špičkového časopisu a pak se o tom také dlouhá léta mluví.

 

Profily si stručně popišme

Pracoviště "A" dělá výzkum na světové úrovni a články publikuje téměř výhradně (40) v nejvýznamnější třetině časopisů. Ve středně významných časopisech občas nějaký článek také skončí (10). V nejméně významných časopisech pracoviště nepublikuje. Celkový publikační výkon pracoviště je 50.

Pracoviště "B" publikuje většinu článků (100) ve středně významných časopisech, ale zásadní díru do světa lidského poznání tím nedělá. Někdy se zadaří článek v nejvýznamnějším časopise (25), ale část výzkumu zase končí i v málo významných časopisech (25), které mají vědci na pracovišti "B" z nějakých důvodů motiv sepisovat a publikovat. Celkový publikační výkon pracoviště je 150.

Pracoviště "C" publikuje výhradně (200) v nejméně významných časopisech, které nekladou velké nároky na kvalitu zpracování a objevnost. Mnohé články vyšly v českých a slovenských časopisech na ryze národní témata, mnohdy v časopisech, v jejichž redakčních radách sedí kolegové z pracovišť samotných autorů. mezi články se najdou i ty publikované v časopise s pochybnou redakční či citační praxí. Vědecký význam článků je velmi malý. Kvantita zde očividně dominuje nad kvalitou a vědeckým významem. Celkový publikační výkon pracoviště je 200.

 

Které z těch tří pracovišť je nejlepší?

Takto položená otázka nedává smysl a nedá se na ní odpovědět. Smysluplnější otázky, na které je možno odpovědět, musí být položeny jinak:

1. Které pracoviště je publikačně nejvýkonnější?
2. Které pracoviště se nejvíce podílí na světově nejvýznamnějším výzkumu země?
3. Které pracoviště se nejvíce soustředí na nejvýznamnější výzkum?
4. Které pracoviště je publikačně nejproduktivnější?
5. Které pracoviště je vědecky nejproduktivnější?

V zájmu polopatičnosti výkladu přijměme několik zjednodušujících předpokladů, že:

• nám jde pouze o hodnocení publikačních výsledků základního výzkumu;
• že srovnávaná pracoviště jsou jednooborová a stejně velká, tedy že mají stejný počet vědců respektive mají stejný vědeckých rozpočet a stejné materiální zázemí;
• že dominantními výsledky v oboru jsou články v časopisech indexovaných WoS, jako například v chemii, fyzice či ekonomii;
• že posuzujeme ne jednotky, ale desítky nebo lépe stovky článků, kde plus/minus bibliometrický šum v celkovém součtu hraje zanedbatelnou roli.

 

A konečně odpovědi na otázky

1. Které pracoviště je publikačně nejvýkonnější? Jednoznačně pracoviště "C", protože vykazuje o 50 více článků než "B" a dokonce o 100 článků více než pracoviště "A".

2. Které pracoviště se nejvíce podílí na světově nejvýznamnějším výzkumu země? Jednoznačně pracoviště "A", protože stojí za většinou (50) výsledků země v nejvýznamnějších časopisech. Na druhém místě je s 25 články pracoviště "B". Na pracovišti "C" možná ani o nejvýznamnějších časopisech neví.

3. Které pracoviště se nejvíce soustředí na nejvýznamnější výzkum? Pracoviště "A", protože kromě 20 % svých výsledků středního významu má 80 % výsledků v nejvýznamnějších časopisech a v nejméně významných časopisech nepublikuje. Naopak nejméně se na kvalitu soustředí pracoviště "C", které se soustředí čistě na kvantitu.

4. Které pracoviště je publikačně nejproduktivnější? Otázka se ptá na publikační výkon vztažený ke vstupům, tedy k počtu vědců atd. Zde nejde o význam článků, ale čistý počet článků, takže neproduktivnější je pracoviště "C", se svými 200 články. Připomeňme, že pracoviště mají dle předpokladu stejný počet vědců a stejné rozpočty.

5. Které pracoviště je vědecky nejproduktivnější? V tomto případě jde o to, o kolik více si ceníme články publikované v nejvýznamnějších časopisech oproti středně a nejméně významným. Zde neexistuje žádná jasně daná váha. Lze jen konstatovat zkušenost, že rozdíl mezi skupinou nejméně a nejvíce významných časopisů je z vědeckého hlediska diametrální. Jestliže si budeme cenit článku v nejvýznamnější skupině časopisů 10x více než ve středně významné skupině, potom nám jako vědecky nejproduktivnější vyjde pracoviště "A". Pokud by ten poměr byl jen 5x, pak by o chlup vyhrálo pracoviště "B". Každopádně to nebude pracoviště "C", jehož 200 publikací v nejméně významných časopisech nemá šanci kvantitou dohnat vědeckou produktivitu pracovišť "A" a "B".

Takže velmi pozor na to jak stojí otázka, protože odpověď se podle toho může diametrálně lišit.

Zajímá-li nás, kde se v zemi dělá špičkový výzkum, musíme si klást otázku #2. Pokud nás zajímá, kde tento špičkový výzkum dělají nejefektivněji, pak si musíme položit otázku #5. Pokud nás zajímá, kde je v systému "vata", potom si musíme klást otázky #3 a #5. Otázky #1 a #2 jsou v tomto spíše doplňující a dokreslující celý obrázek.

 

Od jednoduchého ke složitému

I když budou splněny výše uvedené předpoklady, v reálném světě existuje celá řada komplikací. Není proto radno dělat ukvapené závěry a naopak je radno bibliometrické profily konfrontovat úsudkem lidí dobře znalých vědních oborů. Uvedu jen příklady problémů a navíc jen telegraficky:

• Málokteré pracoviště dělá výzkum jen v jednom oboru. Mnohdy i jeden vědec publikuje ve více oborech. To komplikuje hlavně posuzování produktivity.
• Články publikují zpravidla autorské kolektivy a ne všichni v nich jsou z daného pracoviště. Otázka je, jakým podílem pracovišti výsledek započíst.
• Pracoviště se výrazně liší nejen počtem vědců, jejich vědeckých úvazků, zázemím a rozpočtem. Někde jsou například doktorandi, jinde ne. To zásadně komplikuje respektive znemožňuje posuzování nejen vědecké, ale i obyčejné publikační produktivity. Ale nebrat v hodnocení v úvahu počty vědců a rozpočty pracovišť je podstatný nedostatek. To ale nelze posoudit jinak než pomocí peer-review, tedy očima znalých hodnotitelů.
• Zaměření pracoviště na významný výzkum lze snadno manipulovat tím, že se prostě málo významné výsledky nenahlásí. Publikační výkon pak lze zase snadno nafukovat málo významnými výsledky. Publikační výkon v nejvýznamnějších časopisech moc zfixlovat nejde.

 

Autor: Daniel Münich

Text byl publikován 16. 8. 2017 na webu metodikahodnoceni.blogspot.cz.