Kdo skutečně vévodí Nové Evropě

Jak říkal Winston Churchill "věřím jen té statistice, kterou jsem sám zfalšoval". Přitom tím "falšováním" neměl na mysli skutečné falšování dat, ale jejich "vhodný" výběr a způsob zpracování.

V článku Martina Rychlíka v Lidových novinách ze 3. 5. 2018 „Nové Evropě“ vévodí Estonci, s podtitulkem První je estonské Tartu, tři české univerzity jsou v top 10, jeho autor informuje o 53. festivalu vědeckých filmů Academia Film Olomouc (AFO) a s ním spojené prezentaci Times Higher Education (THE) společnosti TES. Tématem byl rozvoj excelentního výzkumu v „nových“ zemích Evropské unie. Pro tuto příležitosti THE představila žebříček univerzit ze zemí střední a východní Evropy, které do EU vstoupily mezi lety 2004-2013, tedy ČR, Polska, Maďarska, Slovenska, Slovinska, Bulharska, Rumunska, Chorvatska, Estonska, Litvy, Lotyšska, Kypru a Malty. Podle THE je nejlepší univerzitou tohoto regionu estonská univerzita v Tartu a před Karlovou univerzitou jsou ještě dvě kyperské vysoké školy:

1. Tartuská univerzita (Estonsko)
2. Kyperské učení technické (Kypr)
3. Kyperská univerzita (Kypr)
4. Univerzita Karlova (Česko)
5. Semmelweisova univerzita (Maďarsko)
6. Varšavská univerzita (Polsko)
7. Masarykova univerzita (Česko)
8. Splitská univerzita (Chorvatsko)
9. Mariborská univerzita (Slovinsko)
10. Univerzita Palackého v Olomouci (Česko), 
20. České vysoké učení technické v Praze (Česko)
21. Vysoká škola chemicko-technologická v Praze (Česko)
22. Komenského univerzita (Slovensko)
24. Vysoké učení technické v Brně (Česko)
30. Ostravská univerzita (Česko)
31. až 40. Česká zemědělská univerzita v Praze (Česko)

Aleš Vlk z portálu Vědavýzkum.cz tuto tabulku komentoval slovy:

„Kyperský systém neznám, takže to nemohu posoudit. Ale první Tartu a devátý Maribor si umístění zaslouží. Zastoupení tří českých škol v první desítce považuji za odpovídající – potěšující je postupný růst Masarykovy univerzity a především Univerzity Palackého.“

Z důvodů, které dále vysvětlím, mám na význam této tabulky i celého žebříčku THE jiný a velmi kritický názor a nedoporučuji ho brát vážně. O skutečném postavení našich univerzit v celosvětovém i regionálním měřítku vypovídá daleko více a lépe šanghajský žebříček Academic Ranking of World Universities (ARWU), k němuž se později dostanu.

Nejdříve několik technických poznámek k žebříčkům THE.

1. THE World University Rankings je jeden z výstupů portálu Times Higher Education společnosti Tes Global, která se zaměřuje na podporu výuky a vzdělávání. Thomson Reuters pro THE shromažďuje a analyzuje data, na nichž jsou založeny žebříčky univerzit.

2. Do žebříčků je zařazeno cca 1100 univerzit podle kritérií, která nebudu rozebírat.

3. Klíčové pro posouzení (i)relevance žebříčků THE je znalost metodiky hodnocení, jež má 5 indikátorů s různými vahami:

• Výuka (vzdělávací prostředí / learning environment), váha 30 %
• Výzkum (objem, příjmy, reputace / volume, income, reputation), váha 30 %
• Citovanost (vliv výzkumu / research influence), váha 30 %
• Mezinárodní postavení, váha 7,5 %
• Příjem z transferu znalostí, váha 2,5 %

Podrobný popis těchto kritérií lze najít zde. Jen připomenu, že polovina „výuky“ a tři pětiny „výzkumu“ jsou určeny na základě průzkumu názorů (reputation survey) cca 10 tisíc odborníků z celého světa. Jakou formu měla tato vyjádření a jakým způsobem z nich THE vyrobil jedno číslo, není nikde specifikováno a výsledky takového hodnocení nemmají tedy žádný formativní význam.

Jak uvidíme, nejdůležitější vliv na pořadí Nové Evropy má třetí indikátor - citovanost, jež by měla postihnout vliv/dopad výzkumu. Zde je hlavním měřítkem průměrný počet citací článků dané univerzity. Celkově bylo shromážděno 62 milionů citací na 12.4 milionů článků indexovaných v letech 2012-2016 v databázi Scopus firmy Elsevier, jež obsahuje cca 23 tisíc „akademických časopisů“ velmi různého významu a citovaných v letech 2012-2017. Z popisu je zjevné, že co citace to citace, THE nebere ohled na to, kdo resp. jaký časopis článek cituje. Zprůměrování na celkový počet článků dané univerzity se může zdát správné, ale tento krok má za následek, že „vliv výzkumu“ jednoho člověka je pak stejný jako skupiny 100 stejně dobrých vědců, byť těch citací mají stokrát více. Tím se ztrácí smysl pojmu „vliv/dopad výzkumu“.

A nyní k žebříčku univerzit Nové Evropy podle THE. Pro pochopení proč jsou univerzity z Tartu a Kypru před Karlovou univerzitou, je třeba doplnit výsledky částečných hodnocení, přičemž stačí vzít tři nejdůležitější kritéria: výuka, výzkum a citovanost, z nichž každé má váhu 30 procent. Informace o celkovém pořadí, intervalu příslušné celkové známky a třech uvedených indikátorech jsem do výše uvedené tabulky doplnil a doplnil jsem bez pořadového čísla ležatým písmem také další univerzity, které jsou v intervalech 601-800:

Z uvedených čísel je na první pohled zjevné, že o pořadí na prvních místech rozhodl indikátor citovanosti, který má univerzita v Tartu i Kyperské učení technické výrazně vyšší než Karlova univerzita. Výrazně vyšší hodnotu tohoto indikátoru, konkrétně 75.8, než 56.3 Karlovy univerzity, má ovšem i Univerzita Makerere v Ugandě, která s Karlovou univerzitou sdílí stejný chlívek univerzit na 401-500. místě. Velký rozdíl těchto čísel ve prospěch univerzity v Makerere téměř vyruší její horší výsledky ve výuce a výzkumu, takže pokud bychom sečetli všechna bodová hodnocení, porazila by Karlova univerzita univerzitu v Makerere na body těsně 112 ku 110. Podezření, že s výpočtem tohoto klíčového indikátoru není něco v pořádku, se potvrdí, pokud seřadíme pořadí všech univerzit podle tohoto indikátoru, což aplikace THE umožňuje. Výsledek čtenáři pravděpodobně vyrazí dech.

Na první místě je společně s Massachusettským technologickým institutem a maximálním možným počtem bodů 100 celkově 201-250. St. George’s, University of London, jedna z kolejí londýnské univerzity, které jsou tradičně uváděny samostatně. To by ještě bylo snad pochopitelné vzhledem k tomu, že tato kolej je malá a je zaměřena výlučně na klinickou medicínu a zdravotnické služby. St. George’s se na prvním místě podle THE drží již tři roky, předtím byla 69.

Větším překvapením je ovšem skutečnost, že na 11. místě je Anglia Ruskin University, malá univerzita v Cambridge, celkově 301-350., jež má lepší citační skóre než devět univerzit z první dvacítky, včetně nejlepšího Oxfordu, (v závorce celkové pořadí): Oxford (1.), Cambridge (2.), Imperial College (8.), Chicago, Pennsylvania (10.), Yale (12.), Columbia (14.), California, Los Angeles (15.) a Cornell (19.). Anglia Ruskin je letos 11., loni byla 10. ale předtím v žebříčku THE vůbec nefigurovala, což je velmi divné.

A vyslovený šok čtenář asi zažije, až zjistí, že na 14. místě podle citovanosti je Babol Noshirvani University of Technology, Iran, celkově rovněž 301-350., tedy lepší než Karlova univerzita, jež má stejné skóre 99.1 jako první Oxford a je lepší než sedm univerzit z první dvacítky: Cambridge (2.), Imperial College (8.), Pennsylvania (10.), Yale (12.), Columbia (14.), California, Los Angeles (15.) a Cornell (19.).Takže výzkum na této mladé technice na severu Íránu má podle THE větší vliv než výzkum na nejlepších světových univerzitách. Ani tím ovšem překvapení nekončí, protože Babol Noshirvani University of Technology naskočila rovnou na 14. místo, neboť v minulosti v žebříčku THE nikdy nebyla vedena.

Absurdity se ovšem netýkají jen exotických univerzit, ale lze je najít všude, například Islandská univerzita má podle THE větší citovanost než nejlepší německá univerzita Ludvíka Maxmiliána v Mnichově. Jejich primární příčinou je skutečnost, že výsledky indikátoru "výzkum", jenž by měl charakterizovat objem, příjmy a reputaci výzkumu dané vysoké školy a jenž je ze dvou třetin určen na základě názoru několika tisíc odborníků, jsou všeobecně v naprostém nesouladu s výsledky indikátoru "citovanost", jenž by měl charakterizovat "vliv" tohoto výzkumu. Takže podle THE je například skóre "výzkumu" íránské Babol Noshirvani University of Technology pouhých 12.2 ze 100 možných, zatímco "citovanost" tohoto výzkumu je 99.1 ze sta možných, tedy osmkrát větší, u Kyperského učení technického více než šestkrát větší. Autoři žebříčku THE se očividně nenamáhali prověřit, zda použitá metodika nevede ke takovým zjevným absurditám a nesmyslům při hodnocení citovanosti výzkumu, jaké jsem právě uvedl.

Protože tento indikátor je rozhodující nejen pro pořadí univerzit Nové Evropy, ale i obecně, je třeba na THE zapomenout a podívat se na žebříčky univerzit jiných agentur, například ShanghaiRanking Consultancy, což je nezávislá organizace zabývající se výzkumem vysokého školství a konzultacemi, která sestavuje každoročně Academic Ranking of World Universities ARWU. Nebudu podrobně popisovat jejich metodiku, která je zásadně odlišná od THE a jejíž indikátory jsou zaměřené na postižení skutečně excelence lidí (absolventů a pracovníků univerzit) nebo jejich prací a uvedu rovnou žebříček univerzit Nové Evropy podle ARWU:

1. 201-300., Karlova universita
2-3 301-400., Tartuská univerzita, Estonsko
2-3 301-400., Varšavská univerzita, Polsko
4-5 401-500., Jagellonská univerzita, Polsko
4-5 401-500., Ljubljanská univerzita, Slovinsko
6-8 501-600., Univerzita Eotvose Loranda, Maďarsko
6-8 501-600., Szegedská univerzita, Maďarsko
6-8 501-600., Záhřebská univerzita, Chorvatské
9-13 601-700., Hornicko-hutnická univerzita, Polsko
9-13 601-700., České vysoké učení technické
9-13 601-700., Masarykova univerzita
9-13 601-700., Palackého univerzita
9-13 601-700., Univerzita Babeș-Bolyai, Rumunsko
14-19 701-800., Vilniuská univerzita, Litva
14-19 701-800., Univerzita Adama Mickievicze, Polsko
14-19 701-800., Slezská lékařská univerzita, Polsko
14-19 701-800., Wroclavská univerzita, Polsko
14-19 701-800., Budapešťská technická univerzita, Maďarsko
14-19 701-800., Komenského univerzita, Slovensko

Kyperské univerzity mezi 800 vůbec nejsou, stejně jako tam není maďarská Semmelweisova univerzita, slovinská univerzita v Mariboru, britská Anglia Ruskin University a íránský Babol Noshirvani University of Technology, St George's je na 401-500. místě. Co je zajímavé, je skutečnost, že ve stejném chlívku na 201-300. místě jako Karlova univerzita je také Bělehradská univerzita. Ta ovšem v žebříčku Nové Evropy nefiguruje, protože Srbsko není dosud členem EU.

Vévodkyní Nové Evropy je tedy podle ARWU jasně Karlova univerzita, což ji i nás může těšit, ale ostatní naše univerzity si vůči THE moc nepolepšily. Karlova univerzita by ovšem měla mít větší ambice a srovnávat se s univerzitami v zemích, jako je Rakousko, Belgie, Nizozemí, Dánsko, Norsko, Švédsko či Finsko. A při tomto srovnání stále více či méně pokulhává, v případě Rakouska a Finska méně, v ostatních případech spíše více. O tom, co by bylo třeba změnit, aby se jim vyrovnala, příště.

Celkově tedy žebříček ARWU univerzit zemí Nové Evropy podle mého názoru daleko lépe odpovídá jejich skutečnému významu než žebříček THE.

Autor: Jiří Chýla