Neslyšeli o něm dokonce ani mnozí z kapitánů, co kroutí kormidlem vědní politiky země. O metodách odhalujících kauzální dopady grantové podpory vědy nedávno přednášel kolega Štěpán Jurajda na již IV. konferenci SCI-PO 2021. Zde najdete přepis jeho prezentace, kterou vřele doporučuji k přečtení! Já nabízím pouze polopaticky a ledabyle přežvýkanou návnadu.

Hlavně polopaticky

Vytipujte desetinu nejlepších vědců nějakého oboru v Česku. S velkou jistotou se můžete vsadit, že tito budou i v budoucnu dosahovat nadprůměrných vědeckých výsledků. Když jim k tomu navíc udělíte výzkumné granty, těžko to jejich kvalitě uškodí, spíše naopak. Zůstane ale otázka, jak velký čistý přínos ta vaše grantová podpora měla, a co byl jen efekt toho, že granty získali ti nejlepší. Odhalit čistý dopad grantové podpory na vědecké výsledky prostě není vůbec jednoduché. Zároveň je hodně důležité to vědět, pro grantové agentury a vlády určitě.

Úvodní odstavec se na laickém příkladu snaží osvětlit, že pouhá korelace mezi grantovou podporou a vědeckými výsledky podpořených vědců přínos grantů zdaleka nedokazuje. Ti, co dostávají granty, jsou nadprůměrní a nadprůměrné vědecké výsledky by posléze měli i bez grantů. Přitom nejde o maličkost. Na vědecké granty jde hodně, opravdu hodně peněz. V poměru k přímé podpoře (formou institucionální podpory výzkumných organizací) v Česku dokonce abnormálně hodně. I proto je žádoucí čistý přínos grantů průběžně vyhodnocovat. Pokud jsou totiž čisté přínosy grantů malé, je nasnadě změnit jejich podobu nebo výzkum podporovat jinak, efektivněji. Také proto se na čistý přínos vědeckých grantů ve vyspělém světě vědci, grantové agentury a vlády ptají a snaží se tento fenomén průběžně sledovat.

Takže už snad chápeme, že prosté srovnání výsledků příjemců grantové podpory a výsledků těch bez ní, nám odpověď nedá. O podobný případ jde mimo vědu například v případě přínosu často diskutovaných osmiletých gymnázií. Tam, u výrazně lepších výsledků gymnazistů, jde o to odlišit dopad samotné kvality školy na straně jedné od efektu pečlivě vybraných disponovanějších žáků. A pro příklad sáhněme i do medicínské oblasti. Vyšší úmrtnost pacientů v nejšpičkovějších nemocnicích může být jednoduše dána tím, že tyto nemocnice řeší ty nejvážnější případy s největší úmrtností. Ve farmacii jsou naštěstí již běžné a povinné kontrolované experimenty. Experimenty, kdy část náhodně vybraných pacientů podstoupí léčbu testovaným medikamentem a část dostane lék jen naoko (placebo). Ostatně se tak experimentálně testovaly i vakcíny proti covidu. Metod, jak identifikovat kauzální dopady grantové podpory vědy, se nabízí hned několik.

Metoda RDD

Zkratka RDD je z anglického Regression Discontinuity Design. Překlad do češtiny (nespojitá regrese) zde stejně asi nic nevysvětlí. Ale pointa je vcelku jednoduchá. Už dobře víme, že nemůžeme srovnávat průměrného příjemce grantu a průměrného nepříjemce. Ale co takhle srovnávat příjemce co skončili těsně nad čarou, a se štěstím grant dostali, se smolaři těsně pod čarou, kterým grant o chlup unikl? Obě skupiny žadatelů si budou před přidělením grantů asi dost podobné. A navíc to lze poměrně snadno ověřit srovnáním jejich dosavadních vědeckých výsledků a dalších charakteristik. Při troše metodologické opatrnosti je pak možno pozdější rozdíly vědeckých výsledků přisoudit kauzálním dopadům grantů.

Podobně se nemusí hodnotit jen kauzální dopady grantů. Známy jsou studie dopadů založení univerzit na rozvoj regionu. V tomto případě se srovnává rozvoj regionu s univerzitou s rozvojem regionu, který v soutěži o umístění univerzity kdysi těsně prohrál. Nebo podobně v případě dopadů zavedení železnice, kdy se v historii původně zvažovalo několik podobných variant.

Metoda (kvazi)náhodných rozdílů

Pokud bychom byli na experimentální ověřování grantů tak přísní jako jsme na ověřování účinnosti (a nežádoucích účinků) ve farmacii, část grantů blízko rozhodovací čáry by se běžně přidělovala žolíkem - tedy nikoliv kvaziexperimentálně, ale experimentálně. V případě grantů si věc můžete představit tak, že o šťastlivcích mezi grantovými uchazeči se stejný počtem bodů rozhoduje los. Při dostatečném počtu podpořených a nepodpořených tak je statisticky zajištěno, že obě skupiny žadatelů jsou si před udělením grantu podobné a případný pozdější sledovaný rozdíl je kauzálním čistým dopadem získaného grantu.

Podstata kvazi-experimentálních metod je prostější, než naznačuje učeně znějící název. Mnohdy k přidělení grantových podpor dochází náhodou či shodou administrativně-procesních okolností bez ohledu na kvalitu žadatelů o grant. Například některé grantové žádosti jsou zamítány čistě z administrativních příčin.

Pokud jste dočetli až sem, pokračujte v přepisu mnohem podrobnější a odbornější přednášky na toto téma od Štěpána Jurajdy na nedávné konferenci SCI-PO 2021.

První vlaštovky v Česku

Podobný typ analýzy u nás před pár lety představil Martin Srholec a Oleg Sidorkin pro hodnocení dopadů velkých programů grantové podpory aplikovaného výzkumu TAČR (více ve studii a ve videu z prezentace). Také navazující studie Martina Srholce a Jána Palguty ukázala směr, jak by bylo možno i v Česku ekonometrické odhady motivačního účinku veřejných dotací na firemní VaV výdaje provádět (video z prezentace). Zde v případě finančně velkého programu ALFA. Jistý pokrok v tomto směru udělali za poslední roky v TAČR, nikoliv však na MPO.

V případě grantů základního výzkumu u nás asi první kvaziexperimentální vlaštovku představuje studie Václava Korbela Grantová podpora a doktorské studium: analýza dat Grantové agentury Univerzity Karlovy. Zkoumala vztah mezi interní grantovou podporou doktorandů a jejich dalším studiem. Konkrétně mírou dokončení a délkou studia na univerzitě.

A konečně poslední v řadě představuje ještě čerstvá studie IDEA Martina Srholce a Matěje Bajgara Standardní granty GA ČR a publikační výkonnost vědců: Kontrafaktuální analýza projektů udělených v letech 2005-2014. Jako asi první u nás nabídla ekonometrické odhady dopadů standardních grantů GAČR na publikační výkonnost podpořených výzkumníků. Porovnala členy řešitelských týmů těchto grantů (podpořená skupina) s výzkumníky, kteří se v daném období do těchto grantů nezapojili, ale jinak se podpořeným vědcům podobali (kontrolní skupina). Kromě mnohého dalšího studie odhalila, že standardní granty měly pozitivní efekt na publikační výkonnost podpořených výzkumníků. Odhaduje, že za pět let od začátku grantu nositel grantu publikoval zhruba o jeden článek ve významném odborném časopise více, než by dotyčný výzkumník publikoval bez grantu. K dispozici je i video záznam ze semináře.

Graf ze studie IDEA Martina Srholce a Matěje Bajgara Standardní granty GA ČR a publikační výkonnost vědců: Kontrafaktuální analýza projektů udělených v letech 2005-2014.

Falešný bůh korelací

Výše uvedené analýzy je žádoucí dělat v případě všech velkých grantových programů a zdaleka nejen v případě těch pod kuratelou GAČR a TAČR. Také by to nemělo končit identifikací dopadů na samotné nositele grantů. Pozornost si zasluhují i možné sekundární efekty grantů na ty, kteří grant nezískali. Rozvoj vědy díky příjemcům grantů totiž může zlepšovat i výsledky ostatních. Může tomu však být i naopak, kdy bohatší nositel grantu přetáhne solidní lidské zdroje ostatním.

A jedna hořkosladká douška na závěr. Velká potřeba zkoumání kauzálních dopadů vládních intervencí na nás v Česku kouká, kam se podíváme. Jaký kauzální dopad mělo zvýšení minimální mzdy na zaměstnanost a mzdy? Jaký kauzální dopad mělo letošní zrušení superhrubé mzdy na zaměstnanost, spotřebu a výskyt chudoby? Jak moc státní příspěvek na stavební či důchodové spoření motivuje k čistému zvýšení sklonu k úsporám? ... Svou podstatou podobné analytické metody se v řadě vyspělých zemí světa skutečně běžně používají k hodnocení přidané hodnoty mnoha typů hospodářských, vzdělávacích či sociálních intervencí a politik včetně podpory vědy. Když je neumí dělat na ministerstvech a grantových agenturách, sbírají průběžně potřebná data a analýzy si zadají externě. U nás je jich zatím jako šafránu. Jako v temném středověku si totiž stále většinou vystačíme se vzýváním falešného boha korelací.

Autor: Daniel Münich

Text vyšel na autorově blogu Metodikahodnoceni.blogspot.cz