Bibliometrické zprávy za výzkumné organizace, jako podklad Hodnocení 2017, byly zveřejněny v polovině srpna 2018. Jsou zajímavé, podobně jako zprávy oborové, ale mnoho užitečného se z nich vyčíst nedá. Prostor pro zlepšování v Hodnocení 2018 je rozhodně velký. Zde přináším dílčí postřehy a desatero doporučení.
O procesu panelové části Hodnocení 2017 jsem zde již psal 4x [1|2 |3 |4] . K oborovým bibliometrickým zprávám z Hodnocení 2017 již 2x [1|2]. Pro lepší pochopení tohoto blogu je dobré si ty dva poslední blogy předem přečíst. Ke zprávám za výzkumné organizace (VO) píši tedy dnes.
Data ještě nejsou informace
Běžný smrtelník bude bibliometrické zprávy za VO asi marně hledat, protože odkaz na ně je schován pouze ve starých novinkách úřadu. Stejně tak jen těžko najde starší zprávy za obory a oborové skupiny, protože na ně z web stránky Hodnocení 2017 nevede odkaz vůbec žádný. Směrem k informování veřejnosti tedy určitě ještě bude na čem pracovat. Z bibliometrických zpráv v prehistorické formě stovek souborů XLS a PDF, navíc zamčených v ZIP souborech, se nestanou informace jen tím, že jsou rozděleny na spoustu menších hromádek pro VO a obory. Inspiraci pro příští rok lze hledat třeba u přehledného interaktivního uživatelského rozhraní pro výsledky z britského hodnocení REF2014 podle oborů nebo podle vysokých škol.
Zpráva za výzkumnou organizaci
Za každou VO na webu najdeme bibliometrickou zprávu PDF v ZIP souboru. Ukázky zde jsou přebrané ze zprávy za Univerzitu Karlovu.
Obecnější postřehy
- Jako celkově problematické považuji to, že uváděné indikátory nezohledňují autorské podíly VO na publikovaných článcích. V řadě případů asi nepůjde o zásadní rozdíl, ale o případech, kdy to roli hraje, je potřeba se ze zprávy dozvědět. Konkrétní příklady z oboru Basic Medical Research jsem podrobně probíral minule. Ze současné podoby zpráv se případy výrazně rozdílných výsledků bohužel nedozvíme.
- Podobně je záhodno odfiltrovat vliv výsledků velkých autorských konsorcií. Je to sice případ jen několika oborů, ale chce to přinejmenším varovat čtenáře zpráv, že v oboru se nachází výraznější počet výsledků velkých autorských konsorcií.
- Současné zprávy odvozují význam časopisů jak z prostého pořadí časopisů podle AIS faktoru, tak podle pořadí časopisů váženého počtem článků v nich publikovaných. Myslím že to v naprosté většině oborů zbytečně zdvojnásobuje rozsah prezentovaných výsledků. Co vím, tak to hraje výraznější roli pouze u několika specifických oborů Multidiciplinary.
- Bez alespoň přibližné informace o personální velikosti VO v daném oboru je vypovídací hodnota informací o publikačním výkonu velmi omezená. Vědět, že dvě VO se stejným publikačním výkonem mají personální zázemí 1 ku 10, je prostě velmi důležitá informace.
Dílčí postřehy k sekcím
Tabulka a graf VO1b: Tabulka podílu článků VO v jednotlivých oborech by bohatě stačila bez identického grafu. Do téže tabulky by se navíc dala umístit většina ukazatelů z dalších tabulek a grafů, které nyní zabírají mnoho stran. Umožnilo by to čtenáři posuzovat všechny indikátory za obor zároveň na jednom řádku.
Tabulka a graf VO2a: Skládat a ukazovat publikační profil za celou VO přes všechny obory dané VO je v lepším případě k ničemu, v horším případě to je zavádějící. Už minule jsem vysvětloval, že interpretace publikačního profilu je i na úrovni oboru velmi problematická. Profily sečtené pro VO přes všechny obory by snad měly určitý smysl, pokud by VO měly stejnou oborou strukturu, což ale rozhodně nemají.
Tabulka VO3: Takto, v absolutních počtech a bez srovnání to člověku nic moc užitečného neřekne. Informace o počtech článků VO v horním decilu resp. kvartilu oboru by byly mnohem informativnější, pokud by se spíše než absolutní počty ukázaly podíly (viz Tabulka VO4a) a to nejen pro danou VO, ale i pro ČR jako celku v daném oboru. Takové údaje by pak klidně mohly mít další sloupec v Tabulce VO1b a ušetřily by se další dvě stránky zprávy.
Tabulka VO4a: Tato tabulka z 1/3 zbytečně opakuje informace o počtech článků z Tabulky VO3. Dodatečné informace o celém publikačním profilu VO v daném oboru je opět skoro k ničemu z již diskutovaných důvodů způsobených problematickou interpretovatelností publikačních profilů.
Grafy VO4b: Zde se na velkém prostoru mnoha stran pouze opakují nicneříkající až zavádějící publikační profily VO ve srovnání se světem. Kdyby se alespoň místo světa srovnávalo s ČR či zeměmi EU....
Tabulka a graf VO4c: Jak už jsem vysvětloval minule, srovnání oborových mediánů VO se zbytkem světa nevypovídá vůbec o ničem. Když už, tak by mělo smysl srovnávat VO s celou ČR, případně zeměmi EU. Navíc prezentovat rozsáhlou tabulku a identický graf k ní je zbytečné. Podobně jako je zbytečné vykazovat medián na tři desetinná místa.
Tabulka a graf VO4d: Toto srovnání je jedno z mála, které dává větší smysl. Bohatě by ale stačilo ukazovat podíl mediánu VO na mediánu ČR případně na mediánu EU. Srovnání absolutních hodnot mediánu totiž zastírá mnohem důležitější relativní rozdíly uvnitř oborů. A i tento kazatel by šel přidat do jediné souhrnné Tabulky VO1b.
Obecnější doporučení pro Hodnocení 2018
Hodnocení 2017 je všeobecné považováno za pilotní resp. ověřovací kolo nového systému hodnocení dle Metodiky 2017+ . S ohledem na nevyzkoušenost a hektickou finalizaci Metodiky 2017+ to je pochopitelné. Proto je záhodno se z prvního kola, Hodnocení 2017 poučit a v dalším kole, Hodnocení 2018, udělat výrazný kvalitativní krok kupředu. I proto dávám do diskuse desatero obecnějších doporučení:
- Bibliometrická srovnání prezentovat ve formě interaktivního webu s možností uživatelského nastavením filtrů a parametrů.
- Preferovat prezentaci formou grafů s možností se klikem dostat ke zdrojovým datům v XLS tabulkách.
- Vyvarovat se sčítání výsledků a indexů za více oborů.
- Pokud už srovnávat mediány impakt faktorů, potom na úrovni VO uvnitř oborů a to vůči ČR jako celku a nebo vzorku vhodně vybraných zemí, třeba EU.
- Bibliometrické informace za VO v oboru doprovodit alespoň přibližnými indikátory personální velikosti VO v daném oboru.
- Umožnit ověřit existenci výraznějších rozdílů výsledků bez a po zohlednění autorských podílů VO.
- Ve srovnání vynechat výsledky s vysokým podílem spoluautorství.
- Zaměřit se na národní srovnávání podílu VO na publikačním výkonu ve vlivnější a nejvlivnější části oborových časopisů.
- Informace rozšířit o vhodně koncipovaný ukazatel citovanosti výsledků VO z vědecky vlivných a nejvlivnějších časopisů na světě.
- Rozšířit publikační období na více než jeden rok, aby se utlumil vliv nesystematických ročních výkyvů na úrovni VO x obor.
Přečtěte si také přechozí díly (1, 2).
