Visí to ve vzduchu

K detailům procesu hodnocení jsem měl před měsícem řadu připomínek. Shrnul jsem je ve 2. díle. Odpovědi zatím visí ve vzduchu. Za klíčové nedořešené považuji tyto otázky:

• Jak interpretovat hodnotící škálu
  • Má se relevance vědeckého výsledku poměřovat počtem uživatelů hodnoceného výsledku, penězi které někomu přinesl, nějakým obecným pocitem hodnotitele? Nebo se v tomto mají nějak srovnat výsledky navzájem?
  • Má se u výsledku hodnotit skutečně pouze jeho "společenská relevance", nebo i objem práce do vzniku výsledku vložené?
• Jak odhadovat dopad a relevanci výsledku a jím vyvolané změny, když je výsledek starý pouze cca jeden rok a v době vykazování dokonce i jen půl roku?
• Co je to zásadní a dílčí změna způsobená výsledkem? Co je a není velký dopad? Co už je a co ještě není mezinárodní dopad?
• Definice hodnotících známek dává příliš velký interpretační prostor. Jak tedy zajistit, aby hodnotitelé škálu interpretovali podobně?

Fiktivní bibliometrická zpráva

V polovině ledna jsme dostali k připomínkám příklady fiktivních bibliometrických zpráv oborů a oborových skupin k připomínkování. Zpracoval jsem velmi detailní připomínky ohledně obsahu, formátu a přehlednosti. Připomínky nikoho dalšího z více než stovky panelistů ke mně bohužel nedorazily. A prý už stejně není čas připomínky moc zohledňovat, a prý se to nechává až na příště (Hodnocení 2018). Ujmout by se mohlo alespoň doporučení, aby byli ve věci porozumění biblio zpráv proškoleni předsedové panelů. I já, který se bibliometrii věnuji již dlouhá léta, totiž musím nad obsahem a významem informací ve zprávě někdy hloubat.

Skutečné bibliometrické zprávy

Posledního ledna emailem přišla skutečná oborová bibliometrická zpráva. Přesněji řečeno, každý oborový garant dostal jen zprávu za jeho úzký obor. Zprávy za další obory z našeho panelu jsem nedostal. Snad se někdo zabývá mým doporučením, aby byly oborové zprávy dostupné všem panelistům. Pro srovnání to je totiž velmi důležité, obzvláště pokud mají být výsledné komentáře ke zprávám konsensuálním výsledkem panelu. Zatím jde ale jen o zprávy na základě databáze Web of Science. Na obdobnou biblio zprávu na základě databáze Scopus ještě čekáme.

Do konce února máme odevzdat komentáře k oborovým bibliometrickým zprávám. Zeptal jsem se, zda by neměl připomínky od garantů jednotlivých oborů nejdříve projednat celý panel. Jsem stále zvědav na odpověď.

Bibliometrickou zprávu oboru s vámi asi sdílet nesmím. Mohu nabídnout jen rozmlžený obrázek jedné z jejích stránek.

Co se ze zprávy vyčíst dá

• Jaké je v oboru procentní rozdělení článků podle vědeckého vlivu časopisů (oborové percentily dle AIS faktoru časopisů) v Česku ve srovnání se zbytkem světa. Srovnání tedy zahrnuje třeba i USA, Čínu, Indii, Pákistán, atd.
• Do jaké míry (ve srovnání se zbytkem světa) se české články v oboru soustřeďují v málo či hodně vlivných časopisech.
• Kolik a které výzkumné organizace publikovaly články v nejvlivnější 10 % časopisů oboru a kolik (v mém oboru 10).
• Kolik článků publikovala česká pracoviště v časopisech Nature a Science v daném oboru (v mém žádný a bude to případ skoro všech oborových zpráv).

Co se ze zprávy vyčíst nedá (a co se možná zdaří příští rok v Hodnocení 2018)

• O jak velké české instituce respektive pracoviště v oboru jde (počet vědců), tedy jaká je publikační produktivita pracovišť.
• O jak personálně a publikačně velký obor u nás jde ve srovnání s nám kulturně blízkým zahraničím (zde).
• Jaké je rozdělení článků podle vědeckého vlivu časopisů (oborové percentily dle AIS faktoru časopisů) v Česku ve srovnání s kulturně blízkými ekonomicky vyspělejšími zeměmi EU (zde).
• Jaký podíl článků v oboru vyšel v domácích a v místním jazyce.
• Jaký je citační ohlas českých článků v oboru ve srovnání s oborovým průměrem či ve srovnatelných zemích .
• Jak k publikacím v nejvlivnějších oborových časopisech přispěly různé součásti vysokých škol (zde).
• Jakou roli hraje autorský podíl organizací na článcích (vedeny jsou pouze kusy výsledků).
• Míra spolupráce mezi organizacemi a spolupráce mezinárodní.

POPR

Dvanáctého února jsme jako panelisté dostali přístup do on-line nástroje SKV POPR. Má sloužit ke koordinaci přiřazování vybraných výsledků hodnotitelům a k přehledu výsledků hodnocení. Panelista tam najde všechny nebibliometrizovatelné výsledky předložené ke zhodnocení (také zde přesněji zde).

Panelista se také může podívat na seznam schválených hodnotitelů pro všechny panely a tedy i všechny obory. Docela mě překvapilo, že jako hodnotitel byla nominována a schválena i paní Tejkalová Němcová, která ještě před pár lety nevěděla, že publikuje v časopisech podezřelých z predátorství. No snad to bude mezi hodnotiteli výjimka.

• Některá ovládání nejsou moc intuitivní.
• Občas se to kouše.
• On-line aplikace panelistovi zatím neumožňuje sledovat ani přiřazení výsledků hodnotitelům v jiných oborech panelu, ani sledovat výsledky hodnocení výsledku v nich. To považuji z dost zásadní nedostatek.

Autor: Daniel Münich

Článek byl publikován 18.2.2018 na webu metodikahodnoceni.blogspot.cz.

Přikládáme komentář z blogu Daniela Münicha:

Anonymous18. února 2018 14:01

Patříte mezi ty šťastné, kteří dostali přihlašovací údaje. Já žádné nedostal (a je nás takových víc), zatím mám jen několik dní staré ujištění, že se to do zítřka vyřeší.