Novým žebříčkem je každoroční U. S. News Best Global Universities rankings. Vychází hlavně z rozsahu a úrovně vědy. Je totiž dělán ve spolupráci s firmou Clarivate, která před časem koupila známou databázi Web of Science (WoS). Nepřekvapí proto, že žebříček vychází především z bibliometrických údajů této databáze. Zajímavé a atraktivní na žebříčku je, že nabízí srovnání škol i podle oborových skupin.

Kdo se do žebříčku dostal

Prvním úskalí bylo se do žebříčku vůbec dostat. Kritéria dle metodiky byla dvě. Buď se škola musela vměstnat mezi 250 škol s nejvyšší vnímanou reputací, jak to vyšlo v jakémsi tazatelském šetření, a nebo škola musela v letech 2011-2015 vykázat alespoň 1 500 vědeckých článků v databázi WoS. Je zřejmé, že druhou překážku nepřekonaly školy malé a školy, kde se výzkum moc nepraktikuje. Celkem tak mezi hodnocené prošlo 1 295 škol z celého světa, z toho 10 z Česka.

Ukazatele

Pro nás je asi nejzajímavější, jak naše školy dopadly v rámci Evropy. Webovská aplikace není zrovna nejpřehlednější, takže jsem klíčové informace shrnul v níže uvedené tabulce. Ukazuje, v které desetině evropských univerzit se ta která česká škola v té které oborové skupině umístila (1. je nejlepší)

Z celkem 22 oborových skupin Česko nemá zastoupení ve třech. Z pohledu našich dřívějších srovnání kvality a významu českých vědeckých článků překvapuje absence českých Computer Science a Geosciences. V případě geosciences je to možná dáno tím, že se ve větším rozsahu a kvalitě výzkum dělá spíše na ústavech AV ČR. V případě Computer Science nevím. Překvapivá naopak není absence Česka v Psychology/Psychiatry. V této vědní oblasti má Česko po publikační stránce všeobecně velmi slabé výsledky, včetně vysokých škol.

Potom najdeme 10 oborových skupin (to je opravdu hodně), kde je Česko zastoupené jen jedinou školou. Kromě dvou jde navíc o umístění až na konci evropského pelotonu. Výjimkou je kromě velmi úspěšné Mathematics na MFF UK oborová skupina Economics and Business na Univerzitě Karlově, která se umístila v polovině tohoto pelotonu (v principu jde o výkon dvou celkem malých pracovišť, CERGE UK a IES FSV UK). Za pozornost stojí, že nebýt Univerzity Karlovy, tak Česko ve společenských a humanitních vědách v Evropě nemá v tomto žebříčku zastoupení žádné.

Naopak v evropské špičce (1. a 2. desetina škol) se umístila pouze Univerzita Karlova a to v oborových skupinách Mathematics, Plant and Animal Science a Physics a ještě ČVUT v posledně zmiňovaném oboru.

Další zajímavostí je četnost českých škol v jednotlivých oborových skupinách. Nejvyšší je v Plant and Animal Sciences (6 škol) a v Chemistry (5 škol). Tyto oborové skupiny jsou u nás velké, a to jak co do počtu vědců, tak podílu na financování. S tím kontrastuje poměrně málo rozvinutý chemický průmysl v zemi. Na druhé straně máme hodně vysoký podíl strojírenského průmyslu, čemuž zase neodpovídá naše pozice v žebříčku v Engineering, Material a Space science. Ale to už spadá do kadlubu správně stavených strategických priorit.

Poznámky k dílčím ukazatelům

Celkové pořadí univerzit jako celek a v oborových skupinách je založeno na celkovém skóre, které je dáno váženým průměrem skórů dílčích. Kromě dvou dílčích ukazatelů globální a regionální výzkumné reputace (každý s váhou 12,5 %), zbylých 75 % váhy mají ryze bibliometrické ukazatele publikačních výsledků, navíc jen na základě databáze WoS.

Vzdělávací aspekty jsou tedy zohledněny jen velmi nepřímo ve dvou reputačních ukazatelích. Nejsou také zohledněny ostatní typy vědeckých výsledků, stejně jako publikace, které nezachycuje databáze WoS. Tento žebříček tedy do velké míry školy posuzuje podle významu a rozsahu základního výzkumu. Původní podrobnější popis ukazatelů je níže uveden kurzívou a mé drobné a dovysvětlují a kritické poznámky k nim jsou uvedeny modře.

Publications (10 percent): This is a measure of the overall research productivity of a university, based on the total number of scholarly papers – reviews, articles and notes – that contain affiliations to a university and are published in high-quality, impactful journals. This indicator is closely linked to the university's size. It is also influenced by the university's discipline focus, since some disciplines, particularly medicine, publish more than others.

Popis je zavádějící, protože počet vědeckých článků za období let 2011-2015 nepředstavuje produktivitu, ale publikační výkon. Blíže pravdě je konstatování, že jde spíše o indikátor velikosti univerzity. Ukazatel zohledňuje kvalitu výzkumu minimálně a to v tom smyslu, že nepočítá články v časopisech, které databáze WoS nevede: většinově méně významné a hodně lokální.

Normalized citation impact (10 percent): The total number of citations per paper represents the overall impact of the research of the university and is independent of the university's size or age; the value is normalized to overcome differences in research area, the paper's publication year and publication type. NCI is considered one of the core measures of research performance and is used by various research evaluation bodies globally.

Tento ukazatel naopak nemá s velikostí školy přímo společného nic. Obrazně může NCI reprezentovat průměr z jednoho či milionu článků. Velikost školy ale hraje roli nepřímou a navíc neznámou. Škola, která má kromě velmi citovaných článků ještě hromadu článků necitovaných bude mít mnohem nižší NCI než škola, která ty necitované články nemá. V tomto ohledu indikátor ukazuje, nakolik je škola soustředěna na významný, tedy na hodně citovaný výzkum.

Total citations (7.5 percent): This indicator measures how influential the university has been on the global research community. It is determined by multiplying the publications ranking factor by the normalized citation impact factor. Total citations have been normalized to overcome differences in research area, publication year of the paper and publication type.

Tohle je společný efekt velikosti (Publications) a průměrné citovanosti (Normalized citation impact). Tedy něco jako citační výkon (počet citací článků publikovaných v letech 2011-2015). Přitom jsou zohledněny mezioborové citační rozdíly. Dlužno říci, že citace se zde počítá jako citace, ať se kamarádi citují navzájem nebo když citace přichází od nositelů Nobelovy ceny.

Number of publications that are among the 10 percent most cited (12.5 percent): This indicator reflects the number of papers that have been assigned as being in the top 10 percent of the most highly cited papers in the world for their respective fields. Each paper is given a percentile score that represents where it falls, in terms of citation rank, compared with similar papers – those with the same publication year, subject and document type. Since the number of highly cited papers is dependent on the university's size, the indicator can be considered a robust indication of how much excellent research the university produces.

Tento ukazatel míří na skutečnou vědeckou kvalitu, respektive význam. Jak je správně uvedeno, zohledňuje jak význam odvozený od vysoké citovanosti tak velikost pracoviště. Takže například dvě univerzity, každá s pěti články ve skupině top 10 % cited, z nichž jedna má 1 000 vědců a druhá pouze 10, budou mít hodnotu tohoto indexu stejnou. Navzdory tomu je váha tohoto ukazatele 12,5 %, zdaleka nejvyšší ze všech bibliometrických.

Number of highly cited papers that are among the top 1 percent most cited in their respective field (5 percent): This highly cited papers indicator shows the volume of papers that are classified as highly cited in the Clarivate Analytics' service known as Essential Science Indicators. Highly cited papers in ESI are the top 1 percent in each of the 22 subject areas represented in the Web of Science, per year. They are based on the most recent 10 years of publications. Highly cited papers are considered indicators of scientific excellence and top performance and can be used to benchmark research performance against subject field baselines worldwide. This is a size-dependent measure.

Jde o stejně koncipovaný ukazatel jako předchozí, ale s ještě větším důrazem na excelentní výzkum. Místo s nejcitovanějšími 10 % článků na světě totiž pracuje s jejich pouhým 1 %.

Percentage of total publications that are among the 10 percent most cited (10 percent): This indicator is the percentage of a university's total papers that are in the top 10 percent of the most highly cited papers in the world – per field and publication year. It is a measure of the amount of excellent research the university produces and is independent of the university's size.

Tento ukazatel vypovídá o tom, jak moc se škola zaměřuje na špičkový výzkum. Podobně jako v případě NCI i zde hraje roli, zda škola kromě špičkových publikací publikuje z nějakého důvodu i hodně publikací málo či nevýznamných. Pokud ano, snižuje jí to výrazně hodnotu tohoto ukazatele, který má druhou nejvyšší váhu, 10 %.

Percentage of total publications that are among the top 1 percent most highly cited papers (5 percent): This percent of highly cited papers shows the number of highly cited papers for a university divided by the total number of documents it produces, represented as a percentage. It is a measure of excellence and can show what percentage of an institution's output is among the most impactful papers in the world. This is a size-independent measure.

Jde o stejně koncipovaný ukazatel jako ten předchozí, ale s ještě větším důrazem na excelentní výzkum. Místo nejcitovanější 10 % článků totiž pracuje s pouhým 1 %.

Percentage of total publications with international collaboration (5 percent): This indicator is the proportion of the institution's total papers that contain international co-authors and is another measure of quality.

International collaboration (5 percent): This indicator is the proportion of the institution's total papers that contain international co-authors divided by the proportion of internationally co-authored papers for the country that the university is in. It shows how international the research papers are compared with the country in which the institution is based. International collaborative papers are considered an indicator of quality, since only the best research will be able to attract international collaborators.

Books (2.5 percent): Books are an important medium of publication for scholarly research, particularly in the social sciences, arts and humanities. The use of this ranking indicator provides a useful supplement to the data on articles and better represents universities that have a focus on social sciences and arts and humanities.

Knihy, jako prostředek šíření vědeckých poznatků (pozor ne učebnice nebo popularizační či shrnující kompendia), hrají významnější roli jen v některých oborech. Určitě v humanitních, uměleckých, částečně společenských, ale třeba i v matematice. Navíc není uvedeno, že jde zřejmě pouze o monografie vedené ve WoS, což je poměrně malý zlomek toho, co na světě v letech 2011-2015 autoři z univerzit napsali a vydali.

Conferences (2.5 percent): Academic conferences are an important venue for scholarly communication, particularly in disciplines tied to engineering and computer science. The formal publication of conference proceedings can represent genuine research breakthroughs in certain fields that may not have been documented or published elsewhere.

Konferenční sborníky jsou přirozeným a zároveň významným komunikačním médium v několika málo oborech, kde je tempo vzniku a zastarávání poznatků tak vysoké, že se to v časopiseckých článcích nestíhá smysluplně publikovat. Jde především o computer sciences a některé technické obory. Že se konfererenční sborníky intenzivě začaly před pár lety používat v českých společenských vědách je anomálie, vyvolaná před lety zhoubnými motivacemi kafemlejnku.

Pozn: Téměř třetinovou váhu mají v celkovém skóre počty a podíly článků vysoce citovaných článků (celkem 32.5 % = 12.5% + 10% + 5 % + 5%).

Autor: Daniel Münich

Článek byl publikován na webu metodikahodnoceni.blogspot.cz