Nezávislé informace o vědě a výzkumu

Kognitivní disonance hodnocení výzkumu

30. 10. 2018
Kognitivní disonance hodnocení výzkumu

Je to už devět let co vyšel článek Antoinette Molinié a Geoffrey Bodenhausena „Bibliometrics as Weapons of Mass Citation.“ V něm je krásně popsán rozpor mezi měřením kvality článku podle krátkodobé popularity a skutečným posouzením technicky nového experimentu.

Jednoduše, ověřit zda je nové řešení funkční znamená provést kontrolní experiment. Ale je to nutné i z jiného důvodu, platí totiž Feynmanovo tvrzení „Co neumím vytvořit, tomu nerozumím.“  Proto žádné hodnocení peer review na základě textu nemůže zajistit pravdivost experimentálního, ba vesměs ani teoretického, článku. I tam je třeba si najít čas na kompletní nezávislé odvození, například. Tento rozpor je již léta v praxi ignorován a zcela nahrazen měřením popularity. Tu a tam, zejména v naší zemi, kde se většina lidí stále živí inženýrskou činností, je ale stále bolestně pociťován.

Lze tedy logicky dovodit, že články v nejvíce impaktovaných časopisech nejsou nejlepší, ale jen nejčtenější. Ty časopisy také nejsou nejlepší, dokonce ani nejvlivnější, jen je jejich editorská politika zaměřena tak, aby články v nich byly nejčtenější. Tento rozpor se vědní politici snaží nějak zamlžit, jde to až tak daleko, že tvůrce softwaru na zobrazení grafů popularity publikací popře svou exaktnost a nahradí ji „komplexností myšlení“. Aniž by, jak se ukazuje, věděl, že komplexita je vědecký termín a že i společenské jevy lze studovat s použitím analogických matematických modelů (viz diskuse pod článkem zde). Diskutující měl samozřejmě na mysli svou sociální intuici, zejména schopnost orientace ve vědní politice, kdo s kým mluví, kdo je součástí větší party, která se prosadí, a komu tedy přihodit hlas v „měkkých“ faktorech. Výsledek komplexita popisuje jako tragédii obecní pastviny.

Současný systém hodnocení vědy je tedy především v rozporu s požadavkem zhodnocení technické realizovatelnosti a opakovatelnosti. To je jedním z faktorů, který vysvětluje nízkou efektivitu přenosu poznatků do praxe. Druhým nejvýznamnějším faktorem je, že přenos do praxe řídí univerzitní TTO a ty jsou také hodnoceny podle krátkodobých indikátorů, většinou počtu podaných patentů. Vše ostatní trvá příliš dlouho, než se patent z univerzity dostane k velkému průmyslovému partnerovi, což je konečným meřítkem úspěchu, i 10-15 let. Tak dlouhou dobu nelze na hodnocení čekat, a proto pokud jsou v nějakém hodnocení zahrnuty výsledky přenosu technologií, je to za cenu pokud možno ještě větší kognitivní disonance, než v případě hodnocení článků podle popularity. Patenty na univerzity nepatří.

Studenti se ale přicházejí na vysoké školy vzdělávat pro svůj budoucí život. To vytváří další rozpory v definici a obsahu vysokoškolského/univerzitního/terciárního vzdělávání. Masové vzdělávání a vytlačování těch skutečně kvalitních studentů na okraj zájmu, posléze mimo doktorské vzdělávání a akademickou kariéru, je samozřejmě v souladu s hodnocením výzkumu podle popularity. Moc se neptat, co nejlépe splnit požadavky a získat potřebné body, potřebný počet shlédnutí. Vědecký youtubering. Tento systém trvá již nejméně 40 let, za tu dobu se akademická garnitura již úplně vyměnila, a rozpor mezi očekáváním studentů – nalákaných na vysoké akademické hodnocení školy nebo oboru - a skutečnými podmínkami a sdělovanými poznatky, je dramatický. Proto po celém světě vznikají všelijaké polytechniky a Fachhochschule, kde se učí konkrétní poznatky (tzv. středoškolskými metodami) a od nichž si „opravdové univerzity“ udržují důstojný odstup.

V České republice jsou tyto rozpory ještě mnohem citelnější proto, že v roce 1991 bylo zřízeno několik veřejných vysokých škol, které si honosně říkají univerzity. Deset let na to začala podpora masovosti, v jejímž rámci staré „kamenné“ univerzity, zejména pražské a trochu brněnské, posbíraly studenty, kteří dříve šli na regionální univerzity. A na regionální univerzity zbyli ti, kdo původně končili průmyslovkou nebo nástavbou. Dále nastal boom soukromého vysokého školství. Z rozumně koncipovaného terciárního vzdělávání na vyšších odborných školách se stalo místo, kde je možno se „zaparkovat“ ve studentském statusu, než se dostanu na vytouženou vysokou školu. Průmysl si stěžuje, že absolventi ani zdaleka nevědí to, co vysoké školy tvrdí, že je učí. I těchto problémů jsou si vysokoškolští politici vědomi a reagují hystericky. A to až tak, že polovinu článku kritizují tvrzení svého názorového souputníka a ten je za to ještě pochválí (viz diskuse pod článkem zde). V rámci boje za zachování počtů studentů pro kamenné i regionální univerzity se pak srovnává celé terciární vzdělávání v jiných zemích, které zahrnuje i všechny různé formy post-středoškolského vzdělávání, s českými univerzitami, nejlépe ještě jako by všechny byly z první světové stovky.

Co s tím? Můžeme si vzít příklad z Rakouska

  1. Zřídili si IST zákonem. To se zaměřuje na všeobecně přijímaná kritéria excelence, zejména schopnost získávání prestižních mezinárodních grantů, ale nepřehání to, po určité době udělí trvalou profesuru, čímž je hon za body ukončen. Získanou mezinárodní reputací naláká do svého pětiletého (!) doktorského studia nejlepší absolventy bakalářského (!) studia z celého světa, kteří se tím dostanou jak k nejlepšímu vybavení, tak k nejzajímavějším diskusím a kontaktům. A i když za dobu studia vyprodukují i jen 2-3 články, potřeby jejich profesorů to naplní. A jelikož je IST dobrá adresa, články budou i přirozeně docela citovány, což sníží tlak editorů na jejich „populárněvědeckost“. Rakouskou udělilo na vládní úrovni v nedávné době i několik dalších takových „prestižních“ velkých dlouhodobých grantů. To dohromady vytváří vynikající reputaci (podle Natureindexoidních kritérií) pro celou rakouskou vědu. IST plní společenskou roli „přitahovačů zajímavých lidí do Rakouska“.
  2. Univerzity, zřízené podle zákona, mají zajištěnou podporu na určený počet studijních míst ve státem určených oborech. Jejich hlavní rolí je udržování tradice a přece jen jistých standardů akademické svobody a kvality.
  3. Vedle toho je zřízena a stále rozšiřována celá řada polytechnik – Fachhochschulen, které se řídí jiným zákonem a jsou financovány samostatně. Produkují kvalitní absolventy pro průmysl, ale nejen pro něj. Absolvent Fachhochschule v Hagenbergu se našel i v doktorském studiu na Karolinském institutu ve Stockholmu. Plní roli kvalitního standardního vzdělávání.
  4. Samostatně existuje i celá řada různých výzkumných ústavů zřízených a financovaných státem podle jiných pravidel, například ústavy Akademie věd, ústavy Společnosti Ludwiga Boltzmanna, Austrian Institute of Technology apod. Z pohledu z dálky vidím, že jsou postupně méně a méně financovány a lidé z nich často přecházejí na univerzity.

Co z toho máme my? Myslím, že si laskavý čtenář odpoví sám. Ale navíc proti Rakousku určitě máme věčnou snahu řídit vše z centra a to podle jednoho, desetkrát na hlavu postaveného, zákona 130/2002. Důsledkem toho je, že „Havlíček za jediné negativum současného vývoje označil, že rostou nespotřebované výdaje a stát dává do vědy více peněz, než je tato oblast v současné době schopná využít.“

Závody v nesmyslnosti v české vědní politice 17+

Především děkuji všem, kteří zareagovali na mou provokaci. Mnohé, co jsem nevěděl, jsem se dozvěděl od zdroje. A je to ještě horší, než jsem se domníval.

  1. Kafemlejnková část, cituji: „Také oborům a institucím počítá jen články ve špičkových časopisech. Není sice tak náročná, takže místo 1 % nejlepších sleduje 10 % (první decil) a 25 % (první kvartil) těch nejlepších časopisů z WoS. Špičkové kategorie má tedy širší: namísto 82 z přírodních věd, je tvoří asi dva tisíce a pět tisíc relativně dobrých časopisů všech oborů.“ Jak dovozuji výše, nejvýše impaktované časopisy nejsou nejlepší, jen nejčtenější. Pro zajímavost přidávám odkaz na publikační výkonnost ředitele IST Thomase Henzingera, obor informatika. Nebo stále aktivní tamní profesor Krishnendu Chatterjee. Stovky konferenčních příspěvků, které se nikdy nepřeklopily do časopisecké publikace. Článků v Q1 WOS minimum, jednotky za kariéru, a to ještě mimo hlavní směr výzkumu. Zrušíme informatiku nebo konečně pochopíme, že důležitý je obsah a ne popularita?
  2. Odborně posuzovaný pilíř: Především je podle mne argumentace patenty naprosto mimo realitu. Patenty vlastněné univerzitami by vůbec neměly existovat, viz tento článek. Tím by se dosáhlo až 82% úspěšnosti uplatnění poznatků získaných na univerzitách v praxi. Vybrané ostatní výsledky procházejí vědněpolitickým posouzením na několika úrovních. Mám čerstvou osobní zkušenost hned z naší fakulty, mohla nominovat dva články a samozřejmě prošly ty mainstreamové. Další skrutinium bude na univerzitě, kdoví, jestli jím projdou alespoň ty zbylé. Naše fakulta není v univerzitním mainstreamu. A to vše přijde k ještě více politicky zvolené centrální komisi, která si to také „ošetří“. Jak varoval Jiří Chýla hlavně ne britské REF: „Oborový panel Fyzika má 15 členů, takže z každého podoboru fyziky, kterých je mnoho, je v panelu obvykle jen jeden skutečný odborník.“ Pokud vůbec, dodávám. Tohle je REF. (A v České republice je to ještě horší, v některých oborech máme tak málo lidí, že by se musel každý hodnotit sám.)
  3. Další moduly se „teprve připravují“. Moduly 3, 4 a 5 mají jednu smutnou výhodu. Na rozdíl od modulu 1 a 2 žádnou oporu v realitě nepředstírají. Je to čirá politika.

Profesorské privilegium

Komentář Martina Fuska je přesně očekávaná reakce šéfa TTO.
  1. Kdyby byl fair, k tabulce příjmů přidá i tabulku nákladů. Ta čísla jsou ale nedostupná. Odhad je možný z článku Jacobsson et al. Jen 25% univerzitních patentů USA je ve vlastnictví konečných výrobců.
  2. ÚOCHB zatím žádné příjmy z nových patentů nemá. Má ale smlouvy s několika firmami o přednostním přístupu k duševnímu vlastnictví. Zda na takových smlouvách vydělá spíše česká společnost nebo ony firmy jistě posoudí laskavý čtenář sám.
  3. To, že se dva ústavy AV, ÚOCHB a ÚMCH, kojí nadějí, že možná za 10 let něco vydělají, nic nevypovídá o zbytku republiky. Já zas vidím jiný konec spektra. A milionové odměny na ČVUT.

 

 

 

 

Autor: Dalibor Štys