Metodika 2017+: věštírna

Tisková zpráva: Od prostého hodnocení vědeckých výstupů se chceme posunout k sofistikovanému hodnocení samotných výzkumných organizací a jejich základního či aplikovaného výzkumu, případně jejich spolupráce s firmami. Na základě výsledků pak upravíme i financování výzkumných institucí. Dle návrhu, který se bude dále dopracovávat, bude systém hodnocení výzkumných organizací zaváděn postupně v následujících třech letech. V prvním roce [2017] bude hodnocena kvalita omezeného počtu výstupů a bude na institucích, které výsledky základního nebo aplikovaného výzkumu do hodnocení přihlásí.

Postupný posun k sofistikovanému hodnocení je asi stejně pěkná vize, jako pěkně zní slovo sofistikovaný. Takových představu už u nás bylo hodně. Ponechám zde stranou, že sofistikované hodnocení není v souladu s nedávno sdělenou představou rektorů, kteří deklarovali svůj požadavek, aby hodnocení bylo naopak jednoduché, levné a stabilní. Na sofistikované hodnocení si však budeme muset ještě řadu let počkat. Na jedné straně se nelze divit, protože příprava pořádného (sofistikovaného) hodnocení vyžaduje čas. Na druhé straně nelze nezmínit, že se ztratily téměř dva roky a přípravy na hodnocení mohly již dávno běžet na plné obrátky. I na základě bohatých zkušeností z projektů IPN Metodika a reálného hodnocení provedeného loni Akademií věd ČR. A nejenže se příští rok (2017) s posunem k sofistikovanosti hodnocení nepočítá, dokonce se má udělat krok zpět. Vypadá to totiž, že bude zrušeno dosavadní hodnocení v pilířích I. a III. a zůstat jen hodnocení v pilíři II.

Zrušení I. pilíře

Se zrušením I. pilíře budou zřejmě zrušeny i verifikace výsledků, které jsou jeho součástí. Tedy kontroly reálné existence vědeckých výsledků a jejich vědecké podstaty a autorství, tak jak je výzkumné organizace vkládají do systému RIV (od června nefunkční). V případě společenských a humanitních věd tedy už asi nebude prováděna ani základní kontrola a hodnocení monografií. Pokud to bude opravdu tak, potom údaje o výsledcích výzkumu v národní databázi RIV budou ještě méně věrohodné než dosud. Například to může znamenat:

• Nebude jisté, zda výsledek v databázi RIV reálně existuje. Mohou se začít množit fiktivně vykazované články v impaktovaných a dalších časopisech, neexistující monografie atd. Na druhé straně to bude jedno, protože se za ně nebudou dávat body a tedy peníze.
• Nebude jasné, zda vykázaný výsledek splňuje náležitosti vědeckého výsledku. Takže v RIVu se možná začne objevovat ještě více nevědeckých studijních a encyklopedických textů, vysokoškolských skript, zpráv z výstav a nekrologů než dosud.
• Nebude zřejmé jaký mají na výsledcích podíl instituce tvůrců, zda jsou skutečně tvůrci reálně spojení s institucí (byť i dnes údaje nikdo moc nekontroloval) .
• Nebude možno provádět analýzy.
• Pro budoucí sofistikované hodnocení nebudou k dispozici zkontrolované vědecké výstupy, aby se pro hodnotitele snadno zpracovaly podklady o celkovém vědeckém výkonu pracovišť.
• Možná dojde k tomu, že výzkumné organizace přestanou vědecké výsledky do databáze RIV vkládat. Může to i znamenat konec centrální databáze o výsledcích VaV v ČR.Ale možná to bude úplně jinak. Nechme se překvapit.

Zrušení III. pilíře

III. pilíř dosud dává peníze (institucionální) úměrně tomu, kolik peněz z projektů výzkumná organizace získala. Zavedení III. pilíře bylo vedeno snahou vyhnout se absurdně paušálnímu bodování nepublikačních výsledků bez náročného hodnocení peer-review. Ve většině případů totiž nepublikační výstupy představují nejrozmanitější druhy aplikací, u kterých je třeba hodnotit hlavně jejich ekonomickou a společenskou užitečnost, než jejich vědeckost. A to první se hodnotí obtížně. Z tiskové zprávy se zdá, že v rámci II. pilíře mají být hodnoceny i vybrané nepublikační výsledky. To ale bude pro jejich solidní zhodnocení bude třeba změnit složení panelů. Musí tam být dost lidí znalých praxe, kde se výsledky výzkumu a vývoje uplatňují. Těžko si představit, že aplikace a jejich ekonomický a společenský přínos budou posuzovat akademici.

Zachování II. pilíře

V roce 2017 se tedy má hodnocení omezit na dosavadní II. pilíři. Druhý pilíř představuje peer-review hodnocení velmi malinkého počtu vědeckých výstupů, které hodnocené organizace samy vybírají jako své nejlepší. Hodnocení malého počtu výstupů má své výhody a nevýhody:

• Hodnocení příliš nezatěžuje (může být relativně levné a rychlé).
• Hodnocení organizace na základě malého počtu výstupů může být velmi zavádějící.
• Z hodnocení se organizace nedozví co dělá dobře/špatně a jak má dělat věci jinak.
• Malý počet hodnocených výsledků bude organizace motivovat k vytváření malinkých špičkových výzkumných skupin a shánění do nich pár špičkových vědců na malý úvazek odjinud. Převažující zbytek organizací však bude vůči hodnocení lhostejný, protože jeho schované výsledky nic neovlivní.

Tisková zpráva: Na základě tohoto hodnocení budou výzkumné organizace rozděleny podle kvality do tří kategorií. V dalších letech budou postupně přidávána další hodnoticí kritéria. Co se týká změny financování, k částce, která byla přidělena v roce 2016 podle stávajícího hodnocení, se má v dalších letech přidávat i bonifikace podle výsledků hodnocení nového.

Je otázka, zda budou organizace do skupin rozděleny na tři stejně velké třetiny podle jejich počtu nebo s ohledem na jejich velikosti. Zásadní zjednodušení systému má zřejmě spočívat v tom, že se skoncuje s přidělováním bodů a tedy peněz za výsledky. Tím pádem ale také zřejmě skončí: (i) fixace podílů rozpočtů jednotlivých oborových skupin, (ii) fixace/garance podílu rozpočtu jdoucí na podporu smluvního (aplikovaného) výzkumu.

Spekuluji, že tisková zpráva hovoří pouze o rozdělení peněz mezi vysoké školy z úrovně MŠMT, případně mezi ústavy pod kuratelou ministerstev jako je MPO. Kolik dostane z peněz navíc to které ministerstvo (a Akademie věd), to se tímto jednoduchým principem zřejmě řídit nebude (naštěstí). Stejně tak se tímto principem jistě nebude řídit AV ČR při rozdělování peněz svým pracovištím.

Rozdělení výzkumných organizací do tří kvalitativních kategorií zřejmě předurčí různé tempo nárůstu objemu finanční podpory. To může vyvolat pnutí uvnitř větších škol s rozdílnou kvalitou fakult. Je proto dost dobře možné, že princip rozdělení do kvalitativních skupin bude nakonec uplatněn na úrovni jednotlivých fakult a ne vysokých škol.

Navrhovaný přístup bude znamenat, že organizace, které se stačily "nakapsovat" v dosavadním kafemlejnku na velkém počtu nízkokvalitních či dokonce nevědeckých výsledků, budou mít na dlouhá léta své jisté a klid. Na druhé straně to dá dopřeje klid i těm organizacím, které kafemlejnek právem odměnil za kvalitní výzkum a nebude je dále ohrožovat inflace bodů za nízkokvalitních výsledků, kterou přináší bouřlivý rozmach predátorských časopisů a rychle se množící samizdatové praktiky u vydávání časopisů a knih.

Tisková zpráva: Hodnocení by se i nadále mělo provádět každoročně, po roce 2020 by se mělo hodnotit v intervalu 4 až 5 let. Konkrétní nastavení Metodiky se nyní bude projednávat se zástupci výzkumného sektoru (například Česká konference rektorů, Akademie věd ČR, Svaz průmyslu a dopravy, Asociace výzkumných organizací, rezorty, odborové svazy atd.). V prosinci by měla Metodiku 2017+ schvalovat vláda.

Na přípravu metodiky pro rok 2017 zbývá neskutečně málo času. To chápou všichni kdo mají nějaké historické zkušenosti s přípravou Metodik. Na druhé straně, pokud má jít o pouhé osekání stávající metodiky jen na II. pilíř, bude se teď hlavně škrtat, což půjde rychle. Realizace hodnocení dle sofistikovanější metodiky v roce 2018 připadne až na čas po volbách a dost vážně pochybuji o tom, že se dnes někdo vážně dívá tak daleko dopředu.

Poznámka: Je možné, že záměry s Metodikou 2017+ jsou myšlenkově dále, než informace z tiskové zprávy. Na nedávném červnovém zasedání totiž Rada projednala hned jako první bod A1/317. Schválený a usnesením naočkovaný podklad ale veřejnosti nezpřístupnila (zůstal utajen).

 

Autor: Daniel Münich

Článek byl publikován na webu http://metodikahodnoceni.blogspot.cz dne 30.6.2016.