Co všechno unese druhý pilíř kafemlejnku

Vybrané výsledky předkládané do tzv. II. pilíře nejsou hodnoceny strojově ani bibliometricky jako v I. pilíři, ale expertními panely v 11 oborových skupinách. Panely měly za úkol posoudit kolem tisíce předložených výsledků a vybrat z nich pětinu nejlepších. V Metodice se na straně 17 jasně píše, že "Kromě vlastního roztřídění výsledků je výstupem panelu i zdůvodnění - uvede především všechny hlavní argumenty, které jej vedly k zařazení výsledků do třídy A". Za vybrané výsledky posléze dostávají vysoké školy a jejich fakulty více peněz. Při čtení odůvodnění výběru většiny výsledků však jeden neví, zda má plakat nebo se smát.

Solidní panely

Pouze tři panely z jedenácti (3, 8, 10) budí dojem solidně odvedené práce. Jde o Panel 3: Společenské vědy typu C, Panel 8: Fyzikální vědy a Panel 10: Biologické vědy. Většina jejich odůvodnění obsahuje alespoň náznak věcných (odborných) důvodu, proč byl výsledek vybrán jako excelentní. Zde je několik ukázek:

• ID32 (Panel 3): This article tackles a very important topic and a clear research question, with a high impact on the current academic debate and societal challenges. The analysis is clear, precise, straightforward and understandable. The paper uses appropriate methodological framework. The results are saliently interpreted and discussed. The paper was published by a top-notch international journal.
• ID33 (Panel 3): This article is built around a straightforward, strong hypotheses. The argument is developed meticulously based on a robust experimental design, and the paper includes an excellent discussion. The article has been published in a top economics journal, has been extensively cited, and potentiality can influence further development in the discipline.
• ID34 (Panel 3): This paper asks an interesting and highly relevant research question, which it tackles using a robust, appropriate methodology. The paper produces several important results, which are thoroughly discussed, carefully interpreted and clearly explained. This makes it highly likely that it will be cited extensively. The paper has been published by a high-impact journal. The paper is likely to spur further research in this direction.
• ID 146 (Panel 8): Quantum Monte Carlo methods represent a powerful and broadly applicable computational tool for finding accurate solutions of the stationary Schrödinger equation for atoms, molecules and solids. The paper is an invited review of the last ten years of development of the diffusion Monte Carlo method with emphasis on its applications to the electronic structure of solids and other many-particle systems. The authors won this opportunity because of their significant contribution in this field. The review is highly-cited having a clear significant impact on the research field.
• ID216 (Panel 10): The authors describe poorly characterized red-pigmented semiaerobic strain of photosynthetic bacteria phylum Gemmatimonadetes found in freshwater lake in Gobi desert. The authors provide evidence that Gemmatimonadetes contain (bacterio)chlorophyll with novel insights into bacterial photosynthesis. The study was published in a highly prestigious journal.

Nefunkční panely

Výsledky tří panelů naopak budí vážné pochyby o jejich funkčnosti. Panel 7: Matematické vědy, Panel 9: Chemické vědy a Panel 11: Lékařské vědy. Naprostá většina jejich odůvodnění totiž neobsahuje ani náznak věcných (odborných) důvodů, proč byl výsledek vybrán za excelentní:

• Panel 11 se téměř výhradně odkazoval pouze na bibliometrické ukazatele nebo na zařazení výsledku v minulém Hodnocení'14 cca touto formou s minimálními obměnami: Autoři z instituce předkladatele mají dominantní podíl na publikaci, včetně hlavního autorství. Jde o kvalitní původní práci, o čemž svědčí zařazení časopisu v horním decilu oboru dle IF.
• Panel 9 u většiny výsledků neuvedl vůbec nic a v lepším případě jen odkaz na minulé hodnocení jako např. "A" from the previous evaluation.
• Panel 7 neuvedl odůvodnění ani u jednoho výsledku.

Stínovat bibliometrii

Panel 4: Technické a informatické vědy svá rozhodnutí skoro výhradně opíral o bibliometrickou informaci. To ale popíra smysl peer-review hodnocení panely. Na základě bibliometrie se totiž hodnotí v I. pilíři. Odůvodnění vypadají takto:

• ID43 Excellent experimental paper on a hot research topic. Very good journal a very high number of citation response.
• ID44 Excellent experimental paper on a hot research topic. Very good journal a very high number of citation response.
• ID45 Very good paper on important research subject, very good journal and a high number of citations.
• ID49 Solid scientific topic, excellent result, top journal and a high number of citations.
• ID50 A good paper presenting new industrial technology, Q1 journal, a high number of citations, successful industrial application.
• ID51 Very good paper with relevant scientific impact and industrial applications.
• ID52 Very good results published in an average journal but significant impact in the research community and potential for applications.
• ID53 Very good paper in good journal with serious impact confirmed by numerous citations.
• ID54 Excellent paper with a good practical impact and many citations.
• ID55 A very good paper published in a good journal very high number of citations considering the field.
• ID56 Excellent paper in a good journal with a very significant impact.
• ID57 Very good result published in an average journal yet received numerous citations. Good application potential.
• ID60 Good result, nice paper, good citation response
• ID63 Good result, top journal and many citations.
• ID65 Very good paper, great impact
• ID66 Very good paper with serious impact confirmed by numerous citations.
• ID67 A very good paper with a good impact.
• ID69 Very good paper published in a good journal and with relevant impact in the scientific community.
• ID70 Good paper with serious impact confirmed by citations.
• ID71 Good paper in a good journal with serious impact confirmed by numerous citations.
• ID75 Good paper in a good journal. Enough citations to prove its quality.
• ID76 Good paper in top journal with a very high number of citations.
• ID80 Good paper with serious impact confirmed by numerous citations.

Řada posudků napříč panely je divná

V některých odůvodněních člověk marně hledá náznak opravdových důvodů:

• ID7 The book introduces innovative and coherent approach to writing literary histories . It presents alternative approach to the interpretation of the cultural and literary phenomenona.
• ID20 Jde o velice zajímavé srovnání anatomické struktury moderního člověka s neandrtálci v kontextu výdaje množství energie v souvislosti se sháněním potravy. Autoři tvrdí, že tento faktor mohl být z jedním důležitých faktorů, proč předchůdci dnešního člověka evolučně nakonec "zvítězili".
• ID25 Jde o knihu s aktuálním tématem podmínek a pravidel diskurzu terorismu (a kritiky těchto pravidel a podmínek) publikovanou u prestižního zahraničního vydavatele.
• ID29 Tuto studii jednoznačně hodnotíme tím nejvyšším způsobem: jde o publikaci s nejvyšším IF, v němž člen Archeologického ústavu kdy publikoval, a jedná se o studii globálního významu.
• ID30 Pro zařazení do kategorie A hovoří vysoká kvalita předložené studie a její uplatnění v prestižním odborném periodiku s vysokým impaktfaktorem. O uznání vědeckou komunitou svědčí to, že studie byla označena v roce 2014 jako třetí nejčtenější článek v rámci srovnávacích politologických studií a velmi brzy – během 2 let – získala 4 citační záznamy ve Web of Science a 29 na Google Scholar.
• ID59 Method of generation of pressure pulsations and apparatus for implementation of this method
• ID77 Experimentally based paper but with clear interest from the relevant community. Paper in a good journal.

Jinde je popis důvodů zoufale odfláknut:

• ID2 This book is based on the analysis of legal acts and their application in the practice. The author stresses the negative role of the law, which was under the Nazi in Protektorát unjust. Tbe book describes the lawlessness and harm done to the juifs . I really esttem this work which connects the legal, constitutional, historicak and political aspects.
• ID5 This book written by one author is in English language. It is based on the archival documents from the 14 European archives and it is really very positive.The hero is Austrian Chancellor Metternich. The book shows this influential politician as the diplomat who was involved in many political events, mainly in the Ottoman affairs.
• ID106 The result of internartrional subcommition on tourmaline lead by Czech scientist. Very high citation rate.

Spousta odůvodnění se pouze odkazuje na hodnocení v minulém kole typu: This paper carries an "A" from the previous evaluation.

Suma sumárum

Myšlenka hodnocení cestou peer-review hodnotícími panely spočívá v tom, že nezávislí kolegové znalí oboru dokáží ve vědeckých výsledcích rozeznat kvality, které nemusí bibliometrické ukazatele postihnout. Není náhoda, že v britském hodnocení REF mají hodnotitelé používání bibliometrických ukazatelů vysloveně zakázano. Neznamená to, že by se na ně nesměli podívat, ale kvalitu hodnoceneného výsledku musí obhajovat konkrétními věcnými argumenty jdoucími k podstatě obsahu. Ve zveřejněných výsledcích II. pilíře je však předlouhá řada těch, kde odkaz na bibliometrické ukazatele představuje jediné odůvodnění. To není dobře.

Ze zveřejněných výsledků je zřejmé, že koordinace a sladění přístupů k hodnocení mezi panely byly minimální nebo absentovaly úplně. Nasvědčují tomu velmi rozdílná pojetí odůvodnění napříč panely. Absence kalibrace mezi panely je další závažný nedostatek, protože přístup panelů musí být stejný. A to prostě jen s návodem bez koordinace a vnějšího dohledu nejde. Ti, co výsledky do hodnocení předkládají, by také měli mít předem jasnou představu, co se vlastně hodnotí a ne muset předem odhadovat, jak k hodnocení přistoupí ten který panel.

Řada odůvodnění se jeví spíše jako názor jednotlivých hodnotitelů a ne jako názor celého panelu. Principem fungování panelu však má být, že výsledky hodnocení jsou společným dílem a vychází ze shody panelu.

Velmi mnoho výsledků bylo mezi excelentní zařazeno jen a pouze na základě toho, že jako excelentní byly vyhodnoceny už v minulém Hodnocení'14. Jenomže pravidla jsou nastavena tak, že i tyto výsledky, pokud je opět někdo předložil, mají projít hodnocením v soutěži o nejlepších 20 %. Kdyby to tak být nemělo, tak je v Metodice napsáno, že již dříve excelentní výsledky panely se už znovu nehodnotí.

Podoba zveřejněných výsledků hodnocení ve II. pilíři budí vážné pochybnosti o způsobu organizace a průběhu hodnocení. Je s podivem, jak podivné výstupy hodnocení se Úřad vlády odvážil zveřejnit. Že jsou u výsledků navíc zřejmě špatně uvedeny autorské podíly je v tomto ohledu jen lapálie.

 

Článek byl publikován na webu http://metodikahodnoceni.blogspot.cz