Proč přidávání dalších proměnných do statistických modelů paradoxně zhoršuje naše poznání? Zaměřil jsem se na pohled statistika Richarda McElreatha, který kriticky hodnotí analýzu observačních dat v behaviorálních vědách. „Kauzální salát“ se ale promítá do širokého spektra oborů, a to i v české vědě. Potřebujeme především změnit naše myšlení: mít nejdřív správný příběh a až poté čísla. Ze samotných čísel nemůžeme vytvořit správný model světa.
V západní vědě je dnes respektovaným a široce používaným směrem analýzy dat takzvaná kauzální inference. Ke studiu těchto pokročilých metodologických materiálů jsem se dostal vlastně náhodou, ale okamžitě mě zaujalo – a do jisté míry i šokovalo – jak snadno a fatálně nás naše klasické statistické postupy mohou klamat. Bez pevného kauzálního rámce totiž i ta nejpopulárnější mnohočetná regrese selhává a v observačním výzkumu vytváří nebezpečné iluze, které namísto odhalování pravdy plodí spíše nekontrolovaný „kauzální salát“.
Při sledování online semináře Statistical Rethinking a čtení stejnojmenné doprovodné knihy Statistical Rethinking od antropologa a statistika Richarda McElreatha mě zaujala jeho precizní, až nekompromisní argumentace. McElreath, který aktuálně působí jako ředitel Institutu evoluční antropologie Maxe Plancka, není typickým nekritickým popularizátorem vědy. Nesnaží se u akademické komunity za každou cenu vzbudit nadšení a rozhodně nepěje ódy na současnou vědeckou praxi.
Místo toho otevírá a chirurgicky rozebírá palčivá témata související se statistikou a nastavením vědeckého publikování. Jeho mottem by se mohla stát věta: „Není důležité, KDE publikuješ ani to, jak ohromující je to, CO jsi vybádal, ale JAK jsi k tomu došel a JAK to dokážeš obhájit.“
Někdy jeho slova znějí až příliš pesimisticky. Otázkou však zůstává, zda nejde spíše o realistickou diagnózu stavu, v němž se aktuálně nachází analytická praxe. A to nejen v behaviorálních a sociálních vědách, které autor často kritizuje, ale do značné míry i u nás na domácích univerzitách. Co z jeho argumentů plyne pro českou vědeckou komunitu?
Recept na kauzální salát: Hoď tam všechny proměnné a uvidíš
Ve své blogové trilogii Regression, Fire, and Dangerous Things McElreath ukazuje, že mezi akademiky extrémně rozšířená analytická technika – mnohočetná regrese – je při analýze observačních dat systematicky nebezpečná. Ne proto, že by byl samotný statistický model matematicky chybný. Problém je v tom, že ho používáme způsobem, který vůbec neodpovídá otázkám, které si klademe.
Dominantní analytickou strategii naší současné vědy pojmenovává jako Causal Salad (kauzální salát). Recept je až děsivě prostý: vezmi zkrátka všechny dostupné proměnné, které ti v dotazníku či databázi leží, přidej je do regresní rovnice, přikrášli výsledný mix kreativním akademickým vyprávěním v diskuzi a doufej, že editoři a recenzenti to spolknou.
Tento přístup je dle McElreatha rozšířený napříč vědními obory. A z pragmatického hlediska skvěle funguje – vede totiž k výsledkům, které jsou snadno publikovatelné. Jako nástroj pro skutečné pochopení kauzálních vztahů však může selhávat a jeho výsledky mají k realitě často hodně daleko.
McElreath to ilustruje na elegantně jednoduchém příkladu matek a dcer. Zajímá nás, zda má počet dětí, které mají matky (M), kauzální vliv na počet dětí, které budou mít jejich dcery (D). Tady pozor! Simulace je navržena tak, aby pravdivá odpověď byla nulová – žádný přímý kauzální vliv neexistuje. Obě generace jsou ale ovlivněny sdíleným, nepozorovaným faktorem U (například kulturní normou v dané komunitě). Celá simulace tedy slouží jako kontrolovaný experiment: víme přesnou pravdivou odpověď (nulový vliv), takže můžeme jasně ukázat, kdy a proč nás regrese zavede na scestí. Přestože nám tedy zdravý rozum říká, že přímá souvislost zde neexistuje, pokud model překrmíme dalšími daty, statistický výsledek ukáže vztah tam, kde ve skutečnosti žádný není.
Mnohočetná regrese
Vícenásobná (mnohočetná) regresní analýza je statistická technika používaná k predikci hodnoty jedné závislé proměnné (v tomto případě počtu dětí dcery) na základě hodnot dvou a více nezávislých proměnných neboli prediktorů (např. počtu dětí matky, pořadí narození matky či pořadí narození dcery). Metoda se snaží najít takovou lineární rovnici, která co nejlépe popisuje vztah mezi těmito veličinami. Výsledkem jsou regresní koeficienty pro každý prediktor, které udávají, o kolik se změní závislá proměnná (počet dětí dcery), pokud se daný prediktor změní o jednu jednotku (např. pokud bude mít matka o jedno dítě více) za předpokladu, že ostatní proměnné zůstanou konstantní. To v běžné analytické praxi slouží k určení toho, jakou statistickou asociaci a váhu model jednotlivým faktorům v tabulce koeficientů přiřazuje.
Pokud do regrese přidáme další kontrolní proměnné – konkrétně pořadí narození matky (B1) a pořadí narození dcery (B2) – odhad kauzálního efektu se zhorší: jeho hodnota se vzdálí od nuly, která v tomto případě představuje skutečný kauzální efekt. Problematická je přitom zejména proměnná pořadí narození matky (B1), která silně predikuje počet dětí matky a zároveň je ovlivněna nepozorovaným faktorem U (viz obrázek 1) – právě tato kombinace způsobuje zkreslení. Model s více proměnnými přitom předpovídá lépe než ten jednodušší (měřeno AIC – jde o statistické kritérium, které porovnává, jak dobře různé modely odpovídají datům; nižší hodnota AIC znamená lepší shodu). Predikce se zlepšila. Kauzální inference se zhoršila.
Tento jev se odborně nazývá bias amplification (amplifikace neboli zesílení zkreslení). Vzniká tehdy, když do modelu přidáme proměnnou, která sice silně predikuje hlavní zkoumanou příčinu (expozici), ale sama o sobě výsledný jev přímo neovlivňuje a přitom je svázána se stejným skrytým faktorem jako výsledek. Přidání takové proměnné paradoxně původní zkreslení nepročistí, ale naopak brutálně zesílí.
Pro naši každodenní výzkumnou praxi je to naprosto zásadní, varovné sdělení. Přidávání kontrolních proměnných (což je dnes rutinní záležitost), není neutrální. Může naše poznání aktivně poškodit. A co je nejhorší: model bude na pohled v softwaru vypadat fantasticky. Nabídne lepší fit, nižší AIC, přesvědčivější tabulku koeficientů a lákavě nízké p-hodnoty. Regrese jednoduše neví nic o kauzalitě. Vidí asociace. Kauzální interpretaci dodáváme my a dáváme ji bez formálního aparátu.
Přemýšlet jako graf, ne jako regrese
V druhém díle své série McElreath nabízí alternativu: kauzální design s využitím orientovaných acyklických grafů (zkráceně DAG). Myšlenka je přímočará: než vůbec otevřete statistický software a začnete analyzovat data, nakreslete si vizuální myšlenkovou mapu, kde šipky představují hypotetické příčinné vztahy. Šipka od jedné proměnné ke druhé znamená, že změna první může způsobit změnu druhé, ale ne naopak. Regresní rovnice nic takového neobsahuje. Je to pouze soubor asociací bez směru.
Klíčový krok je přechod od otázky „Jaké proměnné přidám do modelu?" (zjednodušeně „Co všechno mám do počítače naházet?“) k otázce „Jaký generativní model odpovídá realitě, kterou studuji?" (zjednodušeně „Jak vůbec tato data ve skutečnosti vznikla?“) Tento přechod není kosmetický. Mění celý způsob myšlení o analýze dat.
McElreath demonstruje, že když se na problém podíváme skrz tuto nakreslenou mapu (DAG – viz obrázek 1), dokážeme najít správnou odpověď. Dokonce se ukazuje, že ta samá proměnná (zda je matka prvorozená), která mu předtím výsledky úplně zničila, nás teď může zachránit. Pokud ji totiž chytře využijeme k „očištění“ dat (jako tzv. instrumentální proměnnou), získáme přesný výsledek. Má to ale jeden obrovský háček: funguje to pouze tehdy, když díky naší mapě přesně víme, jakou roli tato proměnná hraje a proč ji do výpočtu dáváme. Nesmíme ji tam jen tak hodit naslepo.
Matematicky tato pravidla popsal vědec Judea Pearl ve své knize The Book of Why a nazval je do-kalkulus. Celý vtip spočívá ve změně základní vědecké otázky. Místo pasivního „Jak spolu X a Y souvisí?“ se ptáme aktivně: „Co by se stalo s Y, kdybychom vzali X a uměle ho změnili?“
To je dle McElreatha pro reálný život naprosto klíčové. Když lékař nasazuje nový lék, učitel zkouší novou metodu nebo stát mění zákony, nezajímají je pouhé pasivní souvislosti v tabulkách. Chtějí vědět, co jejich konkrétní zásah (intervence) reálně způsobí. A právě do-kalkulus by nám měl přesně říct, jestli z našich dat vůbec můžeme tento skutečný vliv vyčíst. Nebo – a to je možná ještě důležitější – nám neúprosně ukáže, kdy to zkrátka možné není.
Zjištění, že dostupná data na naši otázku nedokážou odpovědět, je obrovský vědecký přínos. Ušetří čas, peníze a zabrání zavádění nebezpečných nesmyslů do praxe. Bohužel, žijeme v realitě, kde se za poctivé „z těchto dat to nevíme“ publikace v prestižních časopisech nerozdávají.
Plně luxusní Bayes jako vědecká poctivost
V závěrečném díle trilogie McElreath představuje svůj vrcholný přístup: organické spojení kauzálního a statistického modelu do jednoho komplexního celku, který ironicky nazývá „Full-Luxury Bayes“. Místo abychom skryté a nenaměřené vlivy v datech ignorovali nebo předstírali, že neexistují, tento model s nimi napřímo matematicky počítá.
Pro představu laika (a přiznám se, já jsem také laik!) stačí vědět jedno: tento „plně luxusní“ přístup je ve skutečnosti spíš brutální dřina. Vyžaduje pokročilé programování a nutí výzkumníka matematicky a explicitně popsat úplně všechno, o čem předpokládá, že se v datech děje.
Proč se s tím vůbec trápit? Protože je to vědecky nejpoctivější cesta. Nepředstíráme, že známe a naměřili jsme všechno. Naopak – pokud nějakou proměnnou v reálném světě změřit nedokážeme, model o její existenci a potenciálním vlivu „ví“ a automaticky to zohlední ve výsledné nejistotě. Odměnou za tuto obrovskou technickou složitost jsou mnohem přesnější odhady skutečných příčin a jasné vyčíslení toho, jak moc si svými závěry (ne)můžeme být jistí.
Věda v plamenech a poctivý plán pro výzkum
Ve svém pozdějším, ostřejším eseji Science and the Dumpster Fire jde McElreath ještě dál a konstatuje, že status quo v biologických a behaviorálních vědách je jednoduše hrozný. Investovat obrovské prostředky do ambiciózních výzkumných projektů nemá smysl, pokud průměrný výzkumník nedokáže jasně formalizovat, jak jím zkoumaný jev funguje, co z toho plyne a jak to korektně konfrontovat s reálnými daty. Smutné je, že tyto klíčové analytické dovednosti dnes nejsou nutnou podmínkou vědeckého úspěchu.
To je tvrdé sdělení – a možná ne ve všem fér vůči každému jednotlivému výzkumníkovi. Přesto ho nemůžeme zcela odmítnout. Pokud lze publikovat v prestižních časopisech bez explicitního kauzálního modelu, bez simulace výzkumného designu a bez jasně definované alternativní hypotézy, pak vědecký systém odměňuje výstupy, které mohly vzniknout náhodou, bez schopnosti rozlišit signál od šumu.
Protilékem proti tomuto metodologickému požáru by mohl být McElreathův poctivý plán pro skromný výzkum (An honest plan for modest research), který lze shrnout do následujícího čtyřkrokového workflow:
Krok 1: Co vlastně hledáme? Často se ve vědě postupuje tak, že se pojmenuje problém, vezmou se nějaká dostupná data, spočítá se mezi nimi souvislost a zbytek logiky se prostě „okecá“. Tak by to ale být nemělo. Na začátku musíme mít naprosto jasno v tom, co přesně chceme měřit, jaká by mohla být alternativní vysvětlení a jaká konkrétní čísla by nám pomohla mezi těmito vysvětleními rozhodnout.
Krok 2: Jaká data by pro to byla ideální? Tady nesmíme spoléhat na intuici. Musíme si jasně definovat (a ideálně nanečisto nasimulovat), jak podle nás fungují příčiny a následky v reálném světě. Vše závisí na vašich předpokladech – ale závěry bez předpokladů mají zpravidla nulovou hodnotu.
Krok 3: Jaká data máme reálně v ruce? Jak moc se naše skutečná data liší od toho ideálu z kroku 2? Zcela jistě v nich budou chyby z měření. Určitě nám nějaké informace chybí. Pravděpodobně nemáme reprezentativní vzorek (zkreslení výběru). A všechny tyto chyby a nedostatky reality musíme do našeho modelu na rovinu zahrnout.
Krok 4: Umíme z těchto reálných dat vůbec zjistit to, co jsme chtěli v kroku 1? Dokažte to matematicky a logicky. Častá vědecká taktika ve stylu: „Sice přesně nevíme, jestli tam je opravdu vztah příčiny a následku, ale ty věci spolu souvisí, tak se tvařme, že to příčina je, a navrhujme podle toho řešení“ – je podle McElreatha zkrátka neetická a nelze ji obhájit.
Tento čtyřkrokový postup vlastně neobjevuje Ameriku. Je přelomový pouze v tom, že nás nutí říkat a psát nahlas to, co bychom beztak všichni dělat měli, ale v honbě za publikacemi často neděláme. Když tento postup musíte bod po bodu formálně sepsat a obhájit před sebou i recenzenty, donutí vás to ke konkrétnosti. A právě tato konkrétnost obvykle nemilosrdně odhalí, kolik fatálních děr ve vašem výzkumném designu ve skutečnosti je.
Co z toho tedy plyne pro nás?
Pokud analyzujeme data bez explicitního kauzálního modelu – bez DAGu nebo analogické struktury – pak asi vlastně nevíme, co kontrolní proměnné v naší regresi dělají. Možná pomáhají. Možná škodí. Možná zesilují bias, který jsme chtěli eliminovat. Model nám to neřekne, protože model sám o sobě neví nic o kauzalitě.
Přechod od „kauzálního salátu“ ke kauzálnímu designu vyžaduje především změnu myšlení: nejdřív model světa, potom statistická analýza. Nejdřív generativní příběh, potom čísla. A v ideálním případě podle McElreatha simulace výzkumného designu na syntetických datech ještě předtím, než shromáždíme reálná data.
Toto jsou dovednosti, které se na většině univerzit či výzkumných pracovišť běžně nevyučují. Otázka je, zda jde o přístup, který stojí za to vzít vážně.
Sám McElreath sice nepíše přímo o biomedicíně, psychologii či kinantropologii, ale jeho argumenty se přenášejí do jakéhokoli oboru, kde jsou observační data normou. To se týká celé šíře disciplín zastoupených na českých univerzitách. Observační data (data, která sbíráme tak, jak přirozeně vznikají, aniž bychom sami kontrolovali podmínky jejich vzniku) jsou všude kolem nás – záznamy, výsledky testů, dotazníky, laboratorní i terénní měření.
Díky současnému výzkumu máme data. Otázka je, co s nimi skutečně umíme. A McElreathova odpověď je: méně, než si myslíme.
Autor: Ladislav Baloun & AI (Claude & Gemini)
Příspěvky z rubriky Názory nijak nevyjadřují názory a postoje redakce.
- Autor článku: ne
- Zdroj: VědaVýzkum.cz
