Začala horká fáze Hodnocení 2017 podle nové Metodiky 2017+. Jako člen jednoho z šesti odborných panelů sleduji cvrkot a dělím se zde o dojmy, zkušenosti, otázky a názory. Úvod pro méně znalé jsem sepsal v minulém 1.dílu. Dnes přináším dojmy z prvního jednání panelu pro společenské vědy.
Schůze panelu se konala v honosném paláci ministerstva dopravy na břehu Vltavy se zajímavou historií. Jednání samotné, asi 25 lidí, však proběhlo ve strohé místnosti o málo větší než moje kancelář, a to asi moc velkou nemám. Úřad pro VaV se asi na Ministerstvu dopravu nemůže moc roztahovat. Ale o co bylo těsněji, tím přátelštější atmosféra v místnosti vládla, tedy myslím. Protože ten samý den poprvé jednala Rada pod vedením nového premiéra, jednoho nemohlo nenapadnout, zda to není zároveň jednání poslední.
Překvapení
Ukázali nám POPRa, tedy on-line systém pro panelisty a hodnotitele, pomocí kterého budou koordinovat hodnocení vybraných výsledků. Dobře znalý předpotopních špatně naformátovaných excelovských tabulek posílaných záplavou e-mailů v minulosti jsem byl mile překvapen funkčností a přehledností. Ale zatím jsme si na to sami sáhnout nemohli, takže to nechci zakřiknout. Vážnější vady na kráse byly vidět zatím dvě:
- V aplikaci nejde průběžně uložit hodnocení před finálním odesláním. Pokud to tak zůstane, bude to hodně nepraktické. Už vidím ty stovky žádostí na IT techniky, aby odblokovali zbrkle odeslaná hodnocení.
- Zatím asi není technicky možné, aby jeden panelista mohl sledovat hodnocení řízené jinými panelisty. Jenomže možnost si vzájemně koukat pod prsty, vzájemně se kontrolovat a srovnávat je podstatou panelového hodnocení a sdílené zodpovědnosti všech členů panelu za konečné hodnotící verdikty. Zde bude třeba systém doladit také.
Bibliometrické zprávy ještě připraveny nejsou. Mají být k mání do konce ledna. Plán byl je mít koncem léta 2017. Zatím, zdá se, není ujasněno, zda zprávy za výzkumné organizace budou veřejné. Připadá mi absurdní, aby se tajily, byť utajování poslední dobou přichází opět do módy.
Rozpačité zírání na škálu
Rozpačitost zavládla nad hodnotící škálou "společenského významu" nebibliometrizovatelného výsledku. Pravidla hodnocení (str.6) říkají: Společenská relevance je chápána jak ve smyslu „užitečnosti“ (typicky průmyslový výzkum přinášející ekonomické zisky), tak ve smyslu „potřebnosti“ (typicky výzkum rezortní vznikající na společenskou objednávku nebo v SSHA oborech pro společnost relevantní výzkum, který produkuji výzkumné organizace mimo rezorty). Tabulka (str.6-7) navíc doplňuje tohle:
Kolem hodnotící škály visí řada otázek:
- Co je to zásadní a dílčí změna? Co je a není velký dopad? Co už je a co ještě není mezinárodní dopad?
- Má se relevance poměřovat počtem uživatelů hodnoceného výsledku, penězi které někomu přinesl, nějakým obecným pocitem hodnotitele? Nebo se v tomto mají nějak srovnat výsledky navzájem?
- Má se u výsledku hodnotit skutečně pouze jeho "společenská relevance", nebo i objem práce do vzniku výsledku vložené?
- Jak odhadovat dopad výsledku a jím vyvolané změny, když je výsledek starý pouze cca jeden rok a v době vykazování dokonce i jen roku půl? U takto mladých výsledků bude často odhad dopadů spíše věštbou z kávové sedliny. Do budoucna by asi bylo lepší "společenskou relevanci" posuzovat s odstupem 4-5 let.
- Definice hodnotících známek dává příliš velký interpretační prostor. Jak zajistit, aby hodnotitelé škálu interpretovali podobně? Pomohla by sada konkretních příkladů zhodnocených výsledků se zdůvodněním. Ale na to asi už nebude čas.
- Zazněl názor, že společenskovědní oblast tato škála znevýhodňuje. Nevím proč.
Já-na-bráchismus
Pravidla hodnocení říkají (str.17), že panelista může v případě potřeby dojednat a navrhnout dodatečného hodnotitele, ale schválit ho musí šéf panelu. Na šéfech panelu tak visí obrovská zodpovědnost za solidnost, věrohodnost a podobná kvalita ad-hoc doplňovaných hodnotitelů.
Pravidla nepodjatosti (str.21) jsou poměrně přísná v případě hodnotitelů (viz šest omezení níže). Na straně panelisty (tj. garanta přiřazování výsledků hodnotitelům) však platí pouze omezení první, které zakazuje osobní autorskou spolupráci dvojice na přiřazovaném výsledku. Takže výsledek může přiřazovat i spoluautor spoluatorovi jiných výsledků. Pouze nesmí jít o výsledek společný jim oběma. Volako sa mi to nepozdáva.
Kontrola neprotivení se pravidlům o střetu zájmů na straně hodnotitelů spočívá na bedrech konkrétního panelisty, který bude výsledky přiřazovat, a jeho oborového zástupce. Myslím, že by to měl alespoň namátkou sledovat ještě někdo další, třeba předseda a místopředseda panelu nebo někdo ještě dále od panelu. Všichni totiž víme, jak populární je v Česku jánabráchismus.
Trpělivost a růže
Kdy práce panelů skončí, je ve hvězdách. Optimisté to vidí na konec února. Jenže na VŠ je právě zkouškové období. Já to vidím přinejmenším o pár měsíců později. Ale vlastně ani ještě nevíme, kolik těch vybraných výsledků k zhodnocení bude. Jde sice o 10 % z necelých 3000 nebibliometrizovatelných výsledků uplatněných v roce 2016, ale pouze těch z nich, které předkladatel určil k zhodnocení na škále "společenské relevance" a ne na škále "přínos poznání".
Až teď jsem si pořádně uvědomil, že v rámci Hodnocení 2017 vlastně nedojde k zhodnocení výsledků základního výzkumu v oborech, kde dominují nebibliometrizovatelné výsledky. Proč? Protože tyto výsledky mají od předkladatele povětšinou vyznačeno hodnocení na škále "přínosu poznání". A na této škále se v Hodnocení 2017 hodnotit nemá, až v Hodnocení 2018. A to zatím ani není vyhlášeno.
Agenda Hodnocení 2017 již nabrala půlroční zpoždění, ne vše je dokonalé, řada věcí není ujasněna, ale vůle to vyzkoušet, vylepšovat a dotáhnout zde očividně je. Přinejmenším mezi solidními společenskými vědci se ví, že případné selhání kdekdo využije jako záminku k oživení končícího kafemlejnku.
Autor: Daniel Münich
Článek byl publikován 9. 1. 2018 na webu metodikahodnoceni.blogspot.cz.
