Deset principů Leidenského manifestu vysvětluje, jak by se měla a neměla používat bibliometrie k hodnocení vědy. Principy nastavují kritické zrcadlo dosavadní české praxi. Přináším další v řadě [1|2] zamyšlení nad principem třetím. Ten varuje, že bibliometrické ukazatele nemusí doceňovat výzkumy místního významu.
U nás se dlouho hodnotilo výhradně právě podle impakt faktoru a nebo ještě hůře, podle počtu vědeckých výsledků. Zároveň ale neplatí, že každý výzkum lokálního charakteru je automaticky kvalitní a relevantní. Stejně tak to neznamená, že by se výzkum lokálního charakteru nedal a neměl hodnotit. Hodnocení lokálně orientovaných výsledků by se měla věnovat o to větší pozornost, o kolik to nezvládá bibliometrie.
3. Leidenský princip: Je třeba chránit vynikající výzkum regionálního významu. V mnoha částech světa je vynikající výzkum ztotožňován s publikováním v anglickém jazyce. Například španělský zákon stanovuje jako žádoucí, aby španělští badatelé publikovali v časopisech s vysokým impakt faktorem. Impakt faktor se vypočítává pro časopisy zařazené na Web of Science, který má sídlo v USA a převažuje na něm angličtina. Takové zvýhodňování je zvláště problematické v sociálních a humanitních vědách, kde se výzkum více vztahuje k danému regionu či státu. Národní nebo regionální dimenzi má i mnoho dalších oborů – jako například epidemiologie HIV v subsaharské Africe. Tento pluralismus a společenský význam výzkumu jsou potlačovány tvorbou článků, o které mají zájem časopisy s vysokým impakt faktorem – anglicky psané časopisy. Španělští sociologové, kteří pracují na abstraktních modelech nebo analyzují data z USA, dosahují na Web of Science vysoké citovanosti. Zapadnou specifika sociologů, kteří publikují ve vysoce vlivných španělsky psaných článcích o tématech jako místní pracovní právo, neformální zdravotní péče o seniory nebo zaměstnanost přistěhovalců. Měření zohledňující kvalitní neanglojazyčné publikace by pomohlo rozpoznat a ocenit vynikající výzkum regionálního významu.
Také máme dost místních problémů ke zkoumání
Třetí Leidenský princip je dlouhý včetně polopatických příkladů. Možná bych ani nemusel nic dalšího dodávat. Ale česká realita si prostě o repete říká. Jako každá země, má i Česko přehršel specifických problémů, kde by mohla a měla pomáhat věda. Vezměme složitý fenomén osobního předlužení a exekucí velké části populace severních Čech a Moravy. Podobně dopady školní inkluze. Nebo výzkum neblahých ekonomických dopadů nekonečné šňůry legislativních změn. A konečně třeba výzkum neefektivní regulace síťových odvětví u nás. Výzkumy lokálnějšího významu se často týkají společenských a humanitních věd, ale nejen jich. Z jiných oborů vezměme namátkou problémy s kůrovcem, rozsáhlá kontaminovaná území v severních Čechách, nebo hrozbu nedostatku vody a vláhy na našem území. Ne že by se v tomto směru u nás kvalitních výzkumů moc dělalo, ale mohly a měly by, protože jsou pro Česko velmi důležité. Průnik do špičkových zahraničních impaktovaných časopisů se s nimi podaří jen zřídka. A mnohdy má smysl ty články dokonce psát i česky a publikovat v místních časopisech nebo monografiích.
Velké a pak smrtelné hříchy kafemlejnku
Problém s používáním impakt faktoru (IF) v hodnocení je i v Česku takový, jak ho 3. Leidenský princip popisuje. Kafemlejnek články v lokálních impaktovaných časopisech, většinově s nízkým IF, hodnotí téměř paušálně. Vznikají tak velké motivace sekat velký počet článků, kde o smysluplnost obsahu často moc nejde. Velký prostor je k tomu otevřen v oborových skupinách, kde existují domácí impaktované časopisy. Bibliometrie se svým IF mezi nimi kvalitní a lokálně významné články rozhodně identifikovat nedokáže.
A skutečnost, že řada výsledků lokálního významu vychází v jiných časopisech, než těch indexovaných WoS či Scopusem, se u nás vyřešila prostě tak, že se v některých oborových skupinách umožnilo jejich bodování. Jakoby výzkum lokálního významu neměl v jiných oborech místo. I zde však jde o bodování paušální. Počet článků je tam ještě primitivnější ukazatel než problematický IF. Takové hodnocení už vůbec nemá šanci zohlednit:
(i) vědecký význam,
(ii) kvalitu metodologického zpracování,
(iii) rozsah a náročnost výzkumu,
(iv) společenskou nebo ekonomickou relevanci pro místní prostředí.
Sodomu a Gomoru paušálního bibliometrického hodnocení pak představují výsledky typu Jrec, tedy články v neimpaktovaných, dominantně v Česku vydávaných časopisech. Ano, právě tam, jsou hromadně publikovány Manifestem zmiňované lokálně relevantní výsledky. Kafemlejnku, až do jeho posledního dechu v Hodnocení 2016, bylo úplně jedno, zda byl či nebyl článek v tom kterém (Jrec) časopise kvalitní a lokálně relevantní a zda vůbec obsahoval původní výzkum.
V zoufalství došlo před pár lety k určitým změnám v podobě Metodiky 2013-2015. Ale šlo o nápravu v řadě ohledů jen kosmetickou. Například vznikl tzv. II. pilíř peer-review hodnocení vybraných výsledků, ale význam tohoto pilíře byl od začátku malý a dělal spíše zástěrku pokračování kafemlejnkových principů. Byl také zaveden tzv Sub-pilíř I, tedy peer-review hodnocení monografií, které skoncovalo s jejich paušálním bodováním. To se však dotklo pouze knih a kapitol uplatněných v letech 2014-2015. Poslední známé Hodnocení 2016, podle kterého dodnes vesele rozdělují peníze jak MŠMT [1|2], tak vysoké školy na výzkum, vzdělávací činnost i doktorandy, stále dominují body za paušálně zhodnocené monografie z let 2011-2013.
Kafemlejnek prostě hází všechny potenciálně lokálně významné vědecké výsledky do jednoho pytle, skvělé, průměrné, slabé a namnoze i pseudovědecké. Finanční podpora výzkumu od roku 2009 začala s úředním posvěcením v řadě oborů směrovat tam, kde naší vědě dominovala kvantita nad (i), (ii), (iii) a (iv). Ale to nebylo to nejhorší. Paušální bodování dalo vzniknout silným motivacím generovat vysoký počet výsledků nízké kvality. Celý problém prohloubila neschopnost systému vyřazovat nevědecké až podvodné výsledky.
V celkovém součtu kafemlejnek reprezentuje přesně to, před čím 3. Leidenský princip varuje.
Kritika na draka
U nás máme v zásadě dvě velmi odlišné skupiny odpůrců hodnocení lokálně orientované vědy. Jedni nechápou či prostě ignorují omezené možnosti bibliometrie pro hodnocení výsledků místního významu. Ti se dominantně rekrutují z řad přírodních a technický věd. V řízení vysokých škol mají většinový hlas. V oborech chemie a fyziky tato skupina dokonce ani nepřipouští, že by nějaký lokálně významný výsledek mohl vyjít jinde než v impaktovaném časopise a kafemlejnek je tedy neboduje. Jediným jejich ústupkem vůči společenským a humanitním vědám je, že se přiznávají body i za jiné než impaktované publikace. Avšak paušální přidělování bodů a destrukční motivace pro tyto obory už jsou jim lhostejné nebo pod jejich rozlišovací schopností.
Druhou skupinou jsou akademici z oblasti společenských a humanitních věd, kteří nemohoucnost bibliometrie používají v argumentaci proti hodnocení jako takovému, bez ohledu na jeho formu. Namnoze jde o akademiky a pracoviště, kteří mají dobrý důvod se domnívat, že by v řádném hodnocení bez paušálního počítání výsledků pohořeli.
3. Leidenský princip říká, že i bibliometricky slabý vědecký výsledek může být cenný a významný. To ale automaticky neznamená, že každý lokálně orientovaný výsledek je automaticky kvalitní a relevantní. U nás to však někteří z opodstatněné kritiky bibliometrie chybně vyvozují. Omezená či nulová vypovídací schopnost bibliometrie v některých společenskovědních a hlavně humanitních oborech pak slouží jako pouhá záminka, aby se v těchto oborech nehodnotilo vůbec nic. To je ale zásadně špatně. V případě lokálně vydávaných publikací je totiž mnohem větší pravděpodobnost, že výsledek nestojí ani za cenu papíru, na kterém byl vytištěn. Pokud nám zde solidní vhled nedává bibliometrie, o to důležitější je věnovat pozornost jiným formám hodnocení.
Autor: Daniel Münich
Článek byl publikován 18. 3. 2018 na webu metodikahodnoceni.blogspot.cz.
