Návod k obsluze Metodiky 17+: Hodnocení kvality vybraných výsledků

Nová Metodika se od té minulé – neblaze proslulého Kafemlejnku - hodně liší, prakticky i principiálně. Některé nové prvky a principy se uplatnily už v prvním běhu, další se budou přidávat později. Naprostou novinkou je srovnání bibliometrie oborů i organizací mezi sebou a se světem, vyčíslení a zobrazení nikoli součtů, ale podílů a profilů, a nové světlo vržené nejen na nejlepší, ale i na dobré a na špatné publikace. Další převratnou novinkou je hodnocení kvality jednotlivých výsledků. Takzvaných nebibliometrizovatelných - tedy těch, pro které z principu nebo z jiných důvodů neexistují žádná tvrdá bibliometrické data. Například v technických oborech jsou to většinou výsledky aplikační, aplikované anebo k aplikaci určené. Dříve se v Kafemlejnku takové výsledky jen počítaly na kusy. Nyní se, u nás na celostátní úrovni úplně poprvé, prohlížejí a hodnotí jednotlivě a „zevnitř.“ Letos se posuzovala jejich společenská relevance a dopad, v příštím běhu se přidá ještě kritérium přínosu k poznání. A změn je ještě víc. Proto nepřekvapuje, že Metodika 17+ ukáže mnohé, co dosud nebylo vidět, alespoň oficiálně ne. Dalo se čekat, že v novém světle dopadají někteří jinak, než dopadali v kafemlejnku a než si možná sami o sobě mysleli. Vždyť právě proto byla nová Metodika vytvořena, schválena a spuštěna. A tak se přirozeně hned objevila i kritika, více nebo méně oprávněná. Na některé kritické texty se snažím reagovat a trpělivě vysvětlovat, v čem, proč a jak se mýlí. Dneska mi jde o něco jiného.

Dnes se na první běh nové Metodiky podívám z pohledu hodnotitelů, panelistů a ze své neoficiálními role národního koordinátora. Pokusím se ukázat, jakých chyb se výzkumné organizace při hodnocení dopouštějí. Snad jim to pomůže chyby už nedělat. Pokusím se naznačit, že za mnohé, co Metodice 17+ vyčítají, vlastně mohou výzkumné organizace samy.

Seznamte se s novou Metodikou

Výzkumníci, vědci, postodci, doktorandi a další podobní by vlastně žádnou Metodiku hodnocení znát neměli. Rozhodně by se podle ní neměli orientovat ve své práci! Měli by se chovat rozumně a dělat to, co dělaly generace vědců před nimi a co i dnes dělá celý svět: Snažit se vynalézt něco převratného, lépe porozumět světu a pokoušet se ho zlepšit. Chtít pomoci lidem, proslavit se, na svých vynálezech zbohatnout, a tak podobně. Měli by prostě bádat, vymýšlet, publikovat, vynalézat a realizovat stejně jako jejich kolegové a konkurenti v Evropě, Americe či Asii. Vlastně ještě lépe, abychom je konečně dohonili a předhonili.

Zato manažeři a řídicí pracovníci, rektoři, děkani a ředitelé, vedoucí kateder a ústavů, senátoři a radní, a také příslušní ministři, náměstci a úředníci – všichni ti šéfové by novou metodiku měli nejen znát, ale hlavně využívat. Už jen proto, že jim poskytne důležitou zpětnou vazbu. Hned na začátku by si měli všimnout principiálních rozdílů rozdílu od kafemlejnku, doufejme navždy pohřbeného.

Hlavním sdělením a zásadním přínosem Metodiky 17+ je tohle: Hromadná produkce a vykazování špatných výsledků dnes už nepomáhá – budete z ní mít už jen ostudu. Proto k ní své podřízené nenuťte a ani jim ji nedovolujte. Soustřeďte se na kvalitu a efektivitu. Na skutečný vědecký a společenský přínos a význam vaší organizace!

Všechno, co děláte a uděláte, srovnávejte se světem! Metodika 17+ vám v tom pomůže. Podpořte mobilitu a otevřete se světu, za kterým většinou zaostáváte. Mějte vizi! Stanovte si jasné cíle a snažte se jich dosáhnout. A mnohé další.

Konečně začněte dbát na etiku a fair play. Nepěkné zvyky a metody tak zažité v naší zemi jsou špatné samy o sobě, nikoli proto, že je nějaká metodika pozná a trestá! Začněte se chovat úplně jinak, podle standardů civilizovaných zemí.

No, a pokud tohle vše dělat nechcete nebo na to nemáte – tak se raději věnujte něčemu jinému! Není tu přece jenom výzkum, všude kolem se nabízejí jiné zajímavé a prospěšné aktivity. V nich se možná uplatníte lépe a nakonec budete úspěšnější a šťastnější.

Vyberte a nominujte vhodné lidi!

Kafemlejnek byl po právu kritizován za „strojové“ sečítání položek, dosazování čísel do vzorečků - bez vhledu, nadhledu a rozmyslu. I v tom se Metodika 17+ liší: Pokud už se nějaké kalkulace provádějí, stejně pak jejich výsledky vždy posuzují, vysvětlují a hodnotí lidé.

Nově se hodnotí i kvalita jednotlivých výsledků. Ty nejlepší, vybrané výzkumnými organizacemi, posuzují panely a hodnotitelé. Zapojení lidí je zřejmá výhoda, ale může se stát i nevýhodou: Každé peer review je jenom tak dobré, jako jsou dobří peerové – lidé, kteří hodnocení provádějí. A jak se dalo čekat, výzkumné organizace hned začaly hodnotitele kritizovat. Potichu i nahlas, právem i neprávem. Ale pozor! Vždyť tyto hodnotitele vybraly samotné výzkumné organizace! Při rozběhu nebyl na kontrolu šesti set (!) hodnotitelů a stovky panelistů shora čas ani peníze. Pokud tedy výzkumné organizace panelisty a hodnotitele kritizují, kritizují vlastně samy sebe!

Vybírejte jen vhodné lidi

• Hodnocení je náročné a zabere hodně času. Kdo na to čas nemá nebo ho nechce věnovat, neměl by se o hodnocení hlásit!
• Hodnotit se má chtít a umět. Chápu kolegy, kterým se hodnocení příčí. Kteří kvalitu porovnávat neumějí, nebo jsou dokonce přesvědčeni, že to nejde a dělat se nemá. Nechápu ale, proč se tito lidé do hodnocení hlásí.
• Je nutné si přečíst instrukce a řídit se jimi. Hodnotit podle stanoveného kritéria. Neplést si hodnocení na vládní úrovni s hodnocením rukopisu nebo školní práce.
• Hodnotitel má vědět, co je a co není výzkum! Musí mít přehled po světě, aby mohl se světem srovnávat a používat světové standardy. V tom máme pořád co dohánět.
• Hodnotitel má mít odstup a nadhled. Úzká specializace nutná není. U kritéria společenské relevance může být škodlivá.
• Hodnotitel nehájí zájmy přátel, výzkumných organizací ani svého oboru! Když už, má hájit fair play, zájmy vědy, výzkumu a naší země.

Vyberte a pošlete své nejlepší výsledky!

Naše organizace o kvalitu neusilují a mnoho špičkových výsledků nemívají. První běh hodnocení vybraných výsledků to jasně ukázal. Škodolibé pravidlo poslat k posouzení 10 % výsledků zadaných v příslušném roce do RIV potrestalo ty, kteří to v kafemlejnku přeháněli. Teprve nová Metodika veřejně ukázala, jaký brak kafemlejnek odměňoval. Výsledné známky ovlivnily i špatné vnitřní procesy řízení kvality ve výzkumných organizacích. K čemu pak jsou ty medializované ISO certifikáty?

Mnohé školy a ústavy si neváží špičkových osobností. Ovládají je lobbistické skupiny a šedivý průměr. Pár dobrých vědců mají leckde, jenže ti doma mívají malý vliv a žádnou moc. A pak se divte, že mnohde ani nevědí, co dobrého produkují. Jako by výsledky vybírali podle nevědeckých kritérií nezdravými vnitřními procesy. Někde na výběr a hodnocení kašlou, jinde jsou nepořádní. Nová Metodika tohle ukazuje jasně!

I první reakce výzkumných organizací na zveřejněné hodnocení to potvrzují – často nejsou vůbec žádné! Diskutuje se někde o tom, jak konkrétně dopadli? Sotva. Vede to někde ke změnám ve vnitřním posuzování a v odměňování? Nevede. Mění se někde alespoň zjevně nefungující proces výběru? O takovém případu nevím! A dokud se nezačnou nově rozdělovat peníze, jsem skeptický. Pokud ale přece jen ve vaší výzkumné organizaci chcete zkusit něco nového, tady je pár rad:

Jak vybrat nejlepší výsledky?

• Nejlepší domácí výsledky nevybírejte kvůli Metodice, ale sami pro sebe! Diskutujte o nich, přete se a hodnoťte navzájem. Učte se kvalitu vysvětlovat, obhajovat a uznávat. Kultivujte tak své tvůrčí prostředí.
• Donuťte svoje šéfy, aby se o kvalitu zajímali. Aby jí vyžadovali, propagovali a odměňovali. K tomu přece máte samosprávu? Pokud to nebudou umět nebo chtít, tak je vyměňte. Každý nadřízený, od rektora po vedoucího katedry, musí umět z fleku vyjmenovat, co nejlepšího se jeho lidem podařilo! Kdo jsou jeho nejlepší výzkumníci a ve kterých oborech jsou nejlepší. Musí se postarat, aby takových výsledků a osobností měl co nejvíc. Tohle a mnohé další má samozřejmě v popisu práce.
• Jelikož výběr děláte kvůli sobě, začněte s ním co nejdřív! Můžete začít každý rok hned v lednu? Vybrané výsledky propagujte uvnitř i venku, přitom podporujte diskusi a kritiku. Typická výmluva, že požadavek shora přišel pozdě, je směšná. Když už víte, co je nejlepší, nahlásit to je administrativní formalita
• A když zpětně uvidíte, jak – a zejména jak špatně - jste v hodnocení dopadli, diskutujte o tom znovu. Je to přece dobrá zpětná vazba, tak ji využijte! Pokud některý vámi vybraný výsledek dostane špatnou známku, přemýšlejte proč? Nebyla chyba ho vybrat? Jak mohl být vůbec vybrán? Měl vůbec vzniknout? Něco s tím pak udělejte. A naopak výrazně odměňte a veřejně pochvalte autory výsledků, které dopadly dobře. Važte si jich a zvyšte jejich vliv ve vaší organizaci.

Dobře zdůvodněte, proč jste konkrétní výsledky vybrali!

Když už je výsledek doma zhodnocen, obhájen a nakonec vybrán, musíte ho do hodnocení v Modulu 1 Metodiky 17+ zaslat. Spolu s výsledkem zašlete i kritérium, podle kterého jste ho vybrali a podle kterého si ho přejete zhodnotit. A k tomu další povinné informace, které Metodika požaduje. Ty jsou nudné, pro tento článek nepodstatné, být tam však musí! Ale to nestačí! S výsledkem toho musíte přirozeně zaslat mnohem víc: všechny informace a materiály potřebné pro hodnotitele a tedy i pro vás – abyste dopadli co nejlépe. Ač nepovinné, ale přirozené a důležité. Co to je?

Úplně nejdůležitější je zdůvodnění, proč byl výsledek vybrán, a to právě ve vztahu k organizací zvolenému kritériu! Připravit takové zdůvodnění je snadné! Potřebná data, argumenty a texty k vybraným výsledkům už přece máte pohromadě! Vždyť právě podle nich jste konkrétní výsledky pro hodnocení vybrali! Vždyť právě během procesu vnitřního výběru výsledků jste si vše potřebné ujasnili, formulovali a obhájili! Pokud ne, tak jak jste proboha výsledky vybírali a proč? Takže teď už to zdůvodnění jen musíte hodnotitelům sdělit! A také nějak podložit, nejlépe patřičně prokázat nebo dokázat – ale k tomu až za chvíli.

Snad je vám jasné, že hodnotitel může a určitě bude výzkumnou organizací poskytnuté informace, tvrzení, zdůvodnění a „důkazy“ ověřovat a posuzovat. To je práce hodnotitele na této úrovni! Na druhou stranu, hodnotitel není detektiv! Nemusí a ani nebude pátrat po něčem, co o předloženém výsledku neví ani autor ani autorova výzkumná organizace!

Ke každému výsledku, který posíláte do hodnocení, vedle všech povinných údajů určitě napište:

• Stručné a konkrétní, ale důkladné a jasné vysvětlení, proč jste právě tento výsledek vybrali!
  A to ve vztahu ke kritériu, které jste si pro něj zvolili, a sami už při výběru použili!
• U výsledku, který považujete za významný přínos k poznání, pravdivě popište a zdůvodněte jeho originalitu a přínos pro vědeckou komunitu. Vysvětlete, co významně nového přinesl ve srovnání s výsledky předchozími a podobnými. Čím komunitu překvapil a jak obtížné bylo ho získat. A další podstatné vlastnosti a přednosti, vždy ve vztahu ke světové úrovni vědy a současného poznání.
• Jasně vyjádřete, jestli je podle vás výsledek na světové špičce, na světové úrovni, nebo jen na úrovni evropské či národní? A pěkně konkrétně vysvětlete, v čem a proč si to myslíte!
• Pokud jste, alternativně, výsledek vybrali pro jeho významnou společenskou relevanci, tak tuto relevanci popište a vysvětlete. Důkladně a pravdivě popište skutečný dopad výsledku na společnost, ekonomiku, průmysl, kulturu, zdraví, přírodu, kvalitu života atp.
• U aplikovaného výsledku samozřejmě uveďte, jestli byl vůbec aplikován a jak přesně. Jaký ekonomický dopad aplikace měla. Kolik licencí se prodalo, kolik výrobků vyrobilo, jaké zisky autorům, jejich organizaci nebo někomu jinému přinesl. Kolik lidí výsledek používá, kolika pomohl, a jak. Kde ho využívá veřejná správa a služby a s jakým dopadem? Jak vylepšil zdraví, životní prostředí a kvalitu života? Jak pomohl kultuře a společnosti.
• Uveďte, zda má výsledek relevanci a dopad na celou zeměkouli, na Evropu, na naší zemi.
• Pokud se na výsledku podílelo několik výzkumných organizací, popište a doložte konkrétní přínos té vaší.

Skutečné dopady výsledků se přirozeně poznají až po několika letech. Metodika s tím počítá a také proto se bude za plného běhu celkové hodnocení provádět jen jednou za pět let. Teď na začátku v prvním kole se hodnotily jen čerstvé výsledky a tak místo skutečných dopadů uvažovali hodnotitelé jen jejich predikce. To není principiální „chyba,“ ale jen dočasná vlastnost. Postupem času se to samo napraví. Do té doby si snad výzkumné organizace zvyknou na to, že aplikační výsledky mají mít skutečné aplikace s konkrétními dopady.

Všechny své argumenty důkladně doložte a dokažte

I když kvalitu a výhody výsledku vysvětlíte a zdůvodníte, hodnotitel vám nemusí a jen tak nebude věřit. Právě vy ho musíte přesvědčit. Nejlépe tak, že své informace a argumenty dobře doložíte!

Jak hodnotitele přesvědčit? S každým vybraným výsledkem zašlete:

• Popis výsledku s důležitými vlastnostmi a parametry, nějakou alespoň hrubou dokumentaci ukazující principy, fungování atp. Co nejvíc materiálů a zdrojů prokazujících významnost výsledku v dané oblasti výzkumu a vývoje.
• Další materiály, prokazující např. ekonomické nebo další parametry, využití, ocenění, zmapované dopady atd.
• Vybrané recenze, expertní stanoviska z respektovaných zdrojů apod.
• Pokud materiály máte na webu (nebo je tam dáte), hodnotitel vystačí s fungujícím odkazem. Ale pozor: odkaz mu musí umožnit volný přístup, kdykoli a samozřejmě zdarma! Tohle je jen vaše zodpovědnost!
• Přidejte spojení na důležité osoby, aby je hodnotitelé mohli kontaktovat a ověřit si vámi uvedená fakta. Na zástupce firem, které výsledek vyrábějí a prodávají. Na relevantní uživatele. Na reprezentanty společenských skupin, úřadů a organizací, na které výsledek dopadl, kterým pomáhá.
• Při výběru relevantních materiálů buďte tvořiví, ale rozumní. Irelevantní materiály a další balast tam nedávejte, hodnotitele to jen naštve.

Mnohé z uvedeného Metodika výslovně uvádí mezi nepovinnými položkami. Ale vlastně celkem zbytečně. Pokud se něčím chcete pochlubit a dokonce to posíláte k ohodnocení ven, tako tohle vše a mnohé další přirozeně uděláte sami od sebe. Pokud někoho chcete o něčem přesvědčit, přirozeně mu poskytnete co nejvíc relevantních informací a matriálů. A to v pro něj nejvhodnější formě.

Často slýchávám názor, že to je příliš náročné. Že taková příprava stojí příliš mnoho úsilí a času. Že to autoři a jejich šéfové nechtějí anebo odmítají dělat. Vůbec tomu nevěřím! A pokud to někde pravda je, pak to tam nejspíš nefunguje dobře. Copak to všechno nezvažují, když se hodnotí sami pro sebe? Aby to věděli? Aby mohli lépe svou práci a personál řídit? Aby smysluplně rozdělovali peníze? Copak se toho už mnohem dříve nezúčastní samotní autoři výsledků? Neznám autora, který by se rád svou prací nepochlubil, před kolegy a šéfy! Který by všechny přednosti, výhody svého výsledku ochotně nevysypal kdykoli zpaměti, i s důkazy. Kvůli slávě a uznání, a kvůli odměnám! Nebo snad někde své nejlepší výsledky a vědce neuznávají a dobře neodměňují? To pak ale není věc Metodiky!

Připadá vám, že všechno výše popsané každý ví a dělá? Že takovým samozřejmostem věnuji příliš mnoho času? Ve skutečnosti byl v prvním běhu dobře zdůvodněn a doložen málokterý zaslaný výsledek. Na závěr a pro pobavení uvedu pár odstrašujících příkladů výsledků zaslaných v prvním běhu podle kritéria společenské relevance v oboru technických věd. Tak takhle to určitě vypadat nemá:

• S výsledkem nebylo dodáno vůbec nic! Z hlouposti nebo nedbalosti při vkládání?
• Nebylo dodáno nic s vysvětlením, že výsledek podléhá obchodnímu či jinému tajemství. No možná je kvalitní, ale vybrat ho k peer review moudré nebylo. Koho asi napadlo poslat hodnotitelům výsledek, o kterém jim nic neprozradil? Co asi čekal za známku? Aby bylo jasno, také „tajné“ výsledky mohou být zváženy, ale v Modulu 3 Metodiky. Do Modulu 1 rozhodně nepatří!
• Jediným poskytnutým matriálem k funkčnímu vzorku nebo prototypu byla jeho fotografie. Dokázali byste z toho poznat jeho společenskou relevanci? Sotva.
• Organizace poskytla jen fotografii autora, na které mu potřásá rukou ministr. Co byste z toho poznali vy?
• Jedinou poskytnutou informací a dokumentací byla přihláška patentu nebo užitného vzoru. Z ní ani nepoznáte, jestli to vůbec funguje, natož dopad či relevanci.

Moc se mi nedaří psát stručně, tak to teď přeruším. Rady k bibliometrii si nechám na příště. Jenom ještě připomenu, že tento text není oficiální a vyjadřuje jen mé osobní názory a zkušenost ze stovek hodin, které jsem v roce 2018 strávil hodnocením podle Metodiky 17+.

 

Autor: Michael Šebek