Čeští vědci se zúčastnili mimořádného mezinárodního projektu, který zkoumal, jak moc závěry výzkumu v sociálních a behaviorálních vědách závisí na způsobu analýzy dat. Studie publikovaná v časopise Nature dokládá, že i při práci se stejnými daty mohou různí odborníci dospět k odlišným výsledkům.
Čeští výzkumníci se zapojili do rozsáhlé mezinárodní sítě analytiků. Nezávisle analyzovali vybraný dataset a přispěli k celkovému vyhodnocení míry tzv. analytické variability.
„Studie v Nature ukazuje, že i když mají vědci k dispozici stejná data a stejnou výzkumnou otázku, mohou při zcela obhajitelných analytických postupech dospět k odlišným výsledkům. To neznamená, že je věda nespolehlivá, ale že skutečná míra nejistoty bývá vyšší, než jak ji prezentuje jedna publikovaná analýza. Pokud chceme posilovat důvěru ve vědu, musíme tuto analytickou variabilitu otevřeně zkoumat a komunikovat,“ říká spoluautor studie David Lacko z Psychologického ústavu AV ČR.
Když stejná data vedou k různým závěrům
Mezinárodní tým téměř pěti set výzkumníků zkoumal, nakolik se mohou lišit vědecké závěry, pokud různí odborníci analyzují stejná data. Projekt vedli Balázs Aczél z Eötvös Loránd University a Barnabás Szászi z Corvinus University of Budapest.
Do výzkumu se zapojilo 457 nezávislých analytiků, kteří provedli celkem 504 reanalýz dat ze 100 již publikovaných studií ze společenských a behaviorálních věd. Každý tým obdržel stejná data i stejnou klíčovou výzkumnou otázku, měl však plnou svobodu v tom, jaký analytický postup zvolí.
Výsledky se často významně lišily. Pouze asi v jedné třetině případů se všichni analytici shodli s autory původní studie. Přibližně 82 % studií vykazovalo rozdílné statistické výsledky napříč použitými testy. Pouze 4,3 % studií vykázalo při všech opakovaných analýzách téměř totožné výsledky. I při širší toleranci bylo plně konzistentních pouze 24 % studií.
Rozdíly přitom nelze vysvětlit nedostatkem odbornosti. Zkušení statistici dospívali k odlišným výsledkům stejně často jako ostatní. Méně robustní se ukázaly observační studie, u nichž komplexnější struktura dat umožňuje více analytických voleb – a tím i větší nejistotu.
Interpretace výsledku totiž nezávisí jen na samotných datech, ale i na tom, jak jsou analyzována a jak výzkumník posuzuje jejich významnost. Výzkumníci při analýze dělají řadu legitimních rozhodnutí, např. jaký statistický model použijí, jak zahrnou kontrolní proměnné nebo jak naloží s odlehlými hodnotami. Tyto různé, ale stále obhajitelné postupy mohou vést k odlišným závěrům. Z jedněch dat tak může vyjít, že efekt zůstává podobný, při odlišném statistickém modelu však zeslábne natolik, že už není průkazný, nebo se dokonce obrátí.
Podle Lacka je to dáno tím, že v praxi neexistuje jediný „správný“ postup analýzy a uvádí konkrétní příklad: „Například u výzkumu vlivu videoher na agresi může výzkumník A najít pozitivní vztah mezi násilnými videohrami a agresí a uzavřít, že hráči násilných her mají vyšší agresi. Výzkumník B použije jinou, také běžně používanou analytickou strategii, a efekt se zmenší natolik, že už není statisticky průkazný, a uzavře, že nenašel přesvědčivý důkaz pro vztah mezi násilím ve videohrách a agresí. Výzkumník C použije další legitimní postup, např. jinou kombinaci kontrolních proměnných nebo jinou operacionalizaci násilí ve videohrách, a zjistí, že vztah je dokonce negativní, a interpretuje to tak, že hráči násilných videoher mohou mít nižší agresi.“
Jsou závěry této studie, jež je dostupná i jako open access preprint, přenositelné i do jiných výzkumných oblastí, než jsou sociální a behaviorální vědy? David Lacko se domnívá, že částečně ano: „Závěry studie jsou do jisté míry přenositelné i do dalších oblastí, protože ukazují obecný princip: I při stejné výzkumné otázce a stejném datasetu mohou různí výzkumníci dospět k odlišným výsledkům v závislosti na analytických rozhodnutích. Přesnou míru přenositelnosti zatím neznáme. Lze ale očekávat, že tento jev bude obecně přítomen napříč obory, avšak slabší v těch, které jsou méně komplexní z hlediska statistických analýz a nabízejí méně analytických voleb."
Nejistota jako přirozená součást vědy
Výsledky mezinárodní studie nezpochybňují důvěryhodnost předchozího výzkumu. Naopak upozorňují, že prezentace jediné analytické cesty může podhodnocovat skutečnou míru empirické nejistoty.
V posledních letech se společenské a behaviorální vědy snaží být otevřenější a transparentnější. Vědci například předem zveřejňují, jak budou postupovat, nebo své studie opakují, aby ověřili výsledky. Takový přístup pomáhá omezit zkreslení a náhodné nálezy. Podle autorů nové studie to ale samo o sobě nestačí a stále existuje více způsobů, jak data vyhodnotit – přičemž každý z nich může vést k trochu jinému závěru.
„Otevřené vědecké postupy, jako je preregistrace a replikace, jsou velmi důležité a pomáhají zvyšovat transparentnost a spolehlivost výzkumu. Metaanalýzy mohou také významně pomoci, protože shrnují výsledky napříč studiemi. Zcela ale neřeší problém analytické variability uvnitř jednotlivých studií a samy o sobě nutně nezvyšují robustnost výsledků. Proto je vhodné je doplňovat o analýzy robustnosti (robustness checks) a přístupy, které systematicky zkouší různé analytické varianty," říká David Lacko.
Vědci proto navrhují, aby stejná data analyzovalo více nezávislých týmů, případně aby se systematicky vyzkoušelo více možných způsobů analýzy. Smyslem není najít jedinou „správnou“ odpověď, ale zjistit, zda výsledek obstojí i při jiném přístupu.
Autoři také doporučují, aby se běžně uvádělo, jak moc se výsledky mění podle zvoleného postupu. Čtenáři by tak získali lepší představu o tom, nakolik jsou závěry skutečně pevné – a kde už začíná prostor pro nejistotu.
Zdroj: Akademie věd ČR, redakčně upraveno a doplněno
- Autor článku: ne
- Zdroj: Akademie věd ČR
