Máme únor 2019 a pomalu se nám rozjíždí práce panelů Hodnocení'18 výzkumných organizací (VO). Důležitým podkladem budou opět bibliometrické zprávy za VO a obory. Čekalo se, že na základě posbíraných zkušeností z Hodnocení'17 doznají výrazných zlepšení. Zprávy samotné však zatím dostupné nejsou. K mání jsou pouze zásady toho, co by měly zprávy obsahovat. V tomto blogu novinky komentuji a srovnávám s desaterem mých doporučeních z loňského léta.
Rýsuje se tam řada zlepšení, ale s voláním sláva raději vyčkejme na reálnou podobu zpráv.
Hodnocení'18 se z pohledu hodnotících panelů rozeběhlo první únorový týden prvním informačním setkáním. Kvůli viróze jsem se nemohl zúčastnit, ale zřejmě bylo hlavně o tom, co se může člověk již od září 2018 dočíst z obsahu ZIP souboru 338/A2 na stránce usnesení z RVV. Podělím se s Vámi o postřehy ze čtení zásad bibliometrické analýzy pro Hodnocení'18.
Předně je škoda, že zásady nedoprovází ukázky nové podoby oborové a institucionální bibliometrické zprávy. Text zásad je mnohde nejasný a konkrétní příklady by hodně pomohly pochopit, co chtěl autor říci.
Obsahem zpráv z minulého Hodnocení'17 jsem se souhrnně probíral zde, oborovými zprávami zde [1 | 2] a zprávami za výzkumné organizace zde. Skončil jsem konstatováním: „Jsou zajímavé, ale nic zásadně nového a užitečného se z nich nedozvíme.“ Začátkem září 2018 jsem sepsal desatero doporučení ke zvýšení užitečnosti bibliometrických podkladů. V závěru mého dnešního pojednání tak mohu srovnat nakolik se doporučení chytila.
Desatero doporučení pro zlepšení bibliometrických zpráv pro Hodnocení 2018 z mého původního blogu
Co je nového
Ve čtyřstránkovém textu zásad bibliometrie pro Hodnocení'18 si všímám téměř výhradně změn oproti Hodnocení'17. Kurzíva značí text zásad následovaný mým komentářem.
Identifikovány jsou výsledky s velkým počtem autorů (30 a více). ...budou specificky identifikovány výsledky s velkým počtem autorů (30 a více) a zda je hlavní autor (reprint author podle terminologie WoS) afiliovaný na instituci v ČR.
Hodnotit na základě bibliometrie obory nebo VO, kde je výrazný výskyt velkých spoluautorských konsorcií nedává smysl, protože bibliometrické informace mohou být velmi zavádějící. Případů, kdy se velké autorské kolektivy vyskytují ve větším měřítku moc není, ale když o nich člověk neví, zbytečně to snižuje věrohodnost všech výsledků.
Informace rozlišující zemi a organizaci korespondenčních autorů nebude k zahození. Ale význam tohoto rozlišení se mezi obory liší. Bude tedy hodně záležet na tom, zda tuto informaci budou zprávy za VO rozlišovat podle oborů.
Jako doplňující jsou poskytovány informace o oborové publikační frekvenci.
Zde se publikační frekvencí zřejmě myslí počet publikací na osobu. Tohle může být velmi důležitá informace, především k odhadu publikační produktivity VO. Vědní obory se totiž velmi liší v tom, kolik článků ročně vědec publikuje. V oborech, kde dominuje empirický výzkum, obzvláště ten založený na nejrůznějších experimentálních měřeních, není neobvyklé 5 i více článků na osobu ročně. Ale například ve společenskovědních oborech, obzvláště teoretičtějšího charakteru, připadá na vědce jedna či dokonce méně publikací.
Jako doplňující jsou poskytovány informace o počtu domácích autorů evidovaných v RIV, kteří se na příslušných publikacích autorsky podílí.
Toto je důležitá informace. Bez alespoň přibližné znalosti velikosti pracoviště či oboru v ČR nám totiž informace o počtu publikovaných článků mnoho neřeknou. Je to s tím jako s odpovědí na otázku, zda na dosolení guláše stačí špetka soli. Závisí na tom, zda vaříte v rendlíku večeři pro dva nebo v kotli pro skautských tábor. Informaci o personální velikosti VO a oborů bohužel nelze získat jinak než z počtu autorů. Dosud totiž nebyl zaveden jednotný klasifikační systém, který by jednotné vykazování umožnil. Stát, který vědu financuje miliardami z eráru tlak na zavedení takového systému dlouhodobě nevytváří. A VO se zavedení takového systému aktivně brání. Argumentuje se autonomií a zbytečnou byrokracií. Hlavním důvodem je ale obava, že do nitra systému VaV bude lépe vidět.
V oborových bibliometrických zprávách jsou navíc identifikována česká pracoviště, která ve sledovaném období publikovala v nejvlivnějších časopisech příslušných oborů.
Tohle bude velmi užitečná informace. Pomáhá totiž v záplavě všeho možného odlišit to zdaleka nejpodstatnější a zaměřit na to pozornost.
Příklad z oborové bibliometrické zprávy Hodnocení'17
Základní bibliometrická analýza zahrnuje výsledky registrované v RIV s rokem uplatnění 2017.... Kumulativní analýza, která zahrnuje všechny bibliometrizovatelné výsledky uplatněné od roku 2016, kdy M17+ vstoupila v platnost. Hodnocení 2018 tedy bude obsahovat kumulovanou analýzu výsledků uplatněných v letech 2016 a 2017.
Nedokáži odhadnout, jak bude vypadat základní a jak kumulovaná analýza. Zde jde o to, zda budou zpracovány pouze výsledky publikované v roce 2017 nebo také výsledky publikované již v roce 2016. Připomínám, že Hodnocení'17 pracovalo pouze s výsledky z roku 2016. S výsledky z roku 2017 se dosud nepracovalo, pomineme-li on-line aplikaci IDEA fungující od září 2018.
Příklad z oborové bibliometrické zprávy Hodnocení'17
Mezinárodní srovnání publikační úrovně se rozšiřuje o vybrané země s cílem postupně vytvořit vhodné srovnávací sady (například vybrané země EU, země OECD, sada specifických zemí za účelem srovnání pro oblast sociálních věd a humanitních oborů apod.).
Toto slibuje užitečný posun kupředu. V minulém Hodnocení'17 totiž publikační benchmark představoval celý svět. Tedy včetně příspěvku exotických rozvojových zemí, které ke světovému publikačnímu výkonu přispívají hlavně v méně a málo vlivných časopisech, z nichž některé jsou až podivné. Srovnání s takovými zeměmi pro ČR samozřejmě vyznívá lichotivě, ale jde o laciné uspokojení. Mnohem užitečnější a zodpovědnější je srovnávat ČR se zeměmi podobně ekonomicky vyspělými.
Analýza ve všech FORD [oborech] nebude obsahovat údaj o počtu článků v časopisech Nature a Science.
Tohle je rozumný krok. Ve zprávách Hodnocení'17 totiž příslušná tabulka zbytečně zabírala místo, protože českých článků v těchto časopisech vychází jako šafránu.
Zároveň udává procentní podíl těchto výsledků na všech výsledcích výzkumné organizace v daném oboru.
Ve zprávách za VO nebyla dříve obsažena informace o podílu VO na celkovém počtu článků ČR v nejvlivnějších časopisech oborů. To je však jedna z nejdůležitějších informací. Je tedy velmi dobře, že byla do zpráv za VO zahrnuta. V Hodnocení'17 ji totiž člověk musel vyzobávat z desítek oborových zpráv.
Dále bude sledována mezinárodní spolupráce dle údajů databáze Web of Science.
Tohle bude úplná novinka. Vymyslet vhodné indikátory spolupráce ale není triviální, takže jsem zvědav, jak to bude pojato.
On-line rozhraní: V roce 2018 bude tento systém zprovozněn a po jeho otestování a následném zpracování bibliometrických analýz bude přistoupeno k tvorbě online rozhraní pro prezentaci výsledků. Cílem je toto rozhraní zprovoznit ještě před zahájením Hodnocení 19 a zveřejnit zde zpětně údaje i za Hodnocení 18.
Na technologickou zaostalost bibliometrických zpráv, tedy XLS tabulek nebo ještě hůře zaZIPovaných souborů PDF, jsem si povzdechl již dříve a ukázal na příklad modernější formy zpracování on-line interaktivní formou v britském hodnocení REF2014. Pokud se výše uvedené podaří realizovat, bude to velký posun kupředu. Máme však již únor 2019 a o slibovaném on-line rozhraní jsem ještě neslyšel.
Zásady pro Hodnocení'18 neuvádí, zda se u publikačního výkonu začnou zohledňovat autorské podíly.
V Hodnocení'17 se totiž počítaly pouze fyzické kusy článků. To však často vede k diametrálně jiným výsledkům oborů a VO, než když se zohlední autorské podíly (příklady zde). Pokud panelista či jiný čtenář bibliometrické zprávy nemůže zjistit o které případy jde, nemá ani možnost uvažovat o důvodech, proč tomu tak je.
Suma sumárum
Nechci to zakřiknout, protože jsem konkrétní bibliometrické zprávy dosud neviděl, ale avizované změny slibují v jejich obsahu a struktuře řadu užitečných zlepšení. Ano, nazývám je podklady, protože analýzu samotnou musí na základě podkladů udělat panelisté a další uživatelé. Čím kompletnější a věrohodnější informace dostanou, tím kvalitnější a informativnější budou výsledky jejich analýz.
Když srovnám slíbené změny s tím, co obsahovalo desatero mých doporučení z roku 2018, pak v některých případech budou naplněny (1, 2, 5, 7), v dalších dvou snad ano (8, 10) a v pár případech to zatím nedokáži posoudit (3, 4). Pouze dvě doporučení skoro jistě naplněno nebudou (6, 9).
Autor: Daniel Münich
Článek byl publikován 10. září 2018 na webu metodikahodnoceni.blogspot.cz.
