Nezávislé informace o vědě a výzkumu

Hodnocení '17 se rozjíždí: Držte si čepice

17. 7. 2017

Akademičtí administrátoři vyrazili na prázdniny, když do jejich e-mailových schránek dorazily dvě důležité výzvy z Úřady vlády. Výzva k předkládání vybraných výsledků výzkumu, vývoje a inovací (VaVaI) do Hodnocení 2017 vyvolala pozdvižení. Nepotkal jsem akademika, který by chápal která bije.

Teprve postupně se ujasňuje, že jde o první kroky Metodiky 2017+, která byla dosud považována za nedomyšlenou a určenou k dopracování. Záhy po první výzvě následovala další k předkládání nominací na panelisty a hodnotitele, kteří by měli ony předložené výsledky VaVaI zhodnotit. Jak už to bývá, věc je hodně zašmodrchaná a je kolem ní více otázek než odpovědí.

Co se vlastně bude letos hodnotit

Dle výzvy k předkládání vybraných výsledků se letos (2017) mají hodnotit pouze tzv. nebibliometrizovatelné (sic!) výsledky VaVaI. Půjde tedy o cokoliv zanesené do RIVu jako výsledek roku 2016, co není článkem v časopise či ve sborníku indexovaném ani databází WoS ani Scopus. Mezi téměř 30 000 'nebibliometrizovatelnými' výsledky najdeme všechno možné od výsledků badatelského výzkumu, přes výsledky aplikované, až po výsledky čistě inovační a dokonce i mnohé jiné.

Spoustu 'nebibliometrizovatelných' badatelských článků v neimpaktovaných časopisech najdeme v oblastech humanitních, společenských a technických věd. 'Nebibliometrizovatelné' badatelské monografie najdeme hlavně ve společenských a humanitních vědách. A nebadatelské výsledky najdeme v podstatě ve všech oborech a jde o velmi rozmanitou plejádu podivuhodných výsledků jako je například tajná zpráva Projekt Rekonstrukce budovy ZŠ a sloučení provozu ZŠ a MŠ v Postřekově - fáze I., Návrh bilanční metody hodnocení nemocničního areálu, studie Vztah mezi mortalitou dojnic přepravovaných na jatky a ročním obdobím, funkční vzorek Rotorová lopatka ventilátorového stupně UL-39NG, S/N y730-01-00_00, návod Jak připravit abstrakt na výroční konferenci ČUS, výstava Český kabriolet a kupé v průběhu století.

Je jasné, že hodnotit se letos bude extrémně rozmanitý mix badatelských, aplikovaných, inovačních a možná i dalších výstupů. Celkem by jich mělo být vybráno téměř 3 000. Panelistům a hodnotitelům opravdu nebude co závidět, až budou posuzovat jejich přínos k poznání, společenskou relevanci, užitečnost a potřebnost. Že výsledek takového hodnocení vypoví hodně málo o kvalitě, efektivitě a rozvojovém potenciálu fungování instituce či její součásti, tak o tom je možno vážně pochybovat již teď.

Nejasná výzva

Další samostatnou kapitolou je druhá výzva k nominacím na členy Odborných panelů a Odborného orgánu hodnotitelů. Solidní a zodpovědný odborník, kterého zkusíte oslovit s prosbou zda ho můžete nominovat, se Vás celkem přirozeně zeptá: (i) kolik to vlastně pro něj bude práce, (ii) zda ta práce bude jen letos nebo i další roky, (iii) kdy se bude ta práce odehrávat kvůli semestrům a dovoleným, (iv) zda budou muset někam osobně dojíždět a (v) zda a kolik jim česká vláda za tu práci zaplatí nebo zda půjde o dobročinnost. Odpovědi na tyto důležité otázky však člověk ve Výzvě nenajde. Důvěryhodnost celého cirkusu v očích oslovených nominantů tak od samého počátku výrazně poklesne.

Výzva k nominacím panelistů a hodnotitelů nespecifikuje, zda se mají nominovat domácí, zahraniční nebo spíše špičkoví zahraniční odborníci? Když ale člověk uváží, jaké výsledky se vlastně mají letos hodnotit, je jasné že zahraniční hodnotitelé neznalí jazyka jsou už teď v postavení mimo hru. O žádné mezinárodní hodnocení, jakým bylo například hodnocení AV ČR 2010-2015 rozhodně nepůjde.

Výzva nespecifikuje odborné nároky kladené na nominované kandidáty. Mají to být odborníci na badatelský či naopak na aplikovaný výzkum, či dokonce vývoj a inovace. A nebo na všechno dohromady? Lidí, kteří jsou schopni dobře posoudit vše zároveň mnoho není. Stačí, když tito lidé budou schopni hodnotit vybrané výsledky a jejich význam, a nebo musí umět zhodnotit i fungování a řízení hodnocených institucí, když už tedy jde oficiálně o institucionální hodnocení?

Ach ten Excel

Stažitelný excelový formulář k vyplnění údajů za nominanty na hodnotitele je z čert ví jakého důvodu uzamčený a nejde do něj psát. Ve výzvě samotné o tom není ani slovo. Nevím kolik lidí si všimne poznámky na webu, že formulář je třeba nejdříve odemknout. Ale stejně ani tam už není instrukce, jak si to má člověk vlastně odemknout (hledejte šmudlové). Sám jsem se s takto zbytečně uzamčenými XLS formuláři asi ještě nesetkal, a to jsem jich už používal tisíce.

Když nakonec člověk vyluští jak XLS formulář odemknout, musí se poprat s podivným menu výběru oborové skupiny, oboru a podoboru. Protože na jeden řádek lze vybrat jen jeden podobor, není jasné, zda se smí na další řádky uvádět další obory a podobory v portfoliu nominanta.

Ponechme teď stranou nejasnosti a nesmyslnosti samotného hodnocení plánovaného pro rok 2017 a řekněme si, jaké organizační minimum by člověk čekal od profesionálně fungujícího a "public friendly" státního úřadu:

  • Na webu výzvy k nominacím a předkládání výsledků by byl uveden kontaktní telefon a e-mail, kde by se člověk mohl snadno a obratem doptat na spoustu nejasností.
  • Na webu by byla sekce FAQ (nejčastěji kladené otázky), kde by si stovky dezorientovaných mohly najít odpovědi na otázky, které již před nimi položila jiná stovka dezorientovaných.
  • Na webu by si člověk mohl registrovat automatické zasílání e-mail avíz změn, ujasnění, a dalších oznámení k dané agendě.

Nemohu se ubránit dojmu, že celá věc je spíše úlitbou zákonu, který požaduje nějaké hodnocení provádět každý rok. Alespoň do voleb je asi třeba udržet dojem, že se něco jako hodnocení děje. Mám pocit, že se naplňuje starý známý scénář, kdy soustředění se na realizaci podivného přechodného období plně pohltí veškeré síly a pozornost, aby už na přípravu systémových změn k zavedení plnohodnotného hodnocení nezbyl čas, a takové hodnocení zůstalo jen dlouhodobou vizí.

 

Autor: Daniel Münich

Článek byl publikován na webu http://metodikahodnoceni.blogspot.cz

Partneři webu a spolupracující instituce