Umělá inteligence dnes dokáže odhadnout, které vědecké publikace budou mít úspěch a které ne. Nový výzkum jde ještě dál: snaží se ukázat, která slova v abstraktu k tomuto odhadu nejvíc přispívají a také vysvětluje jeho příčiny. Díky tomu mohou autoři vědeckých studií i hodnotitelé lépe porozumět faktorům, které rozhodují o vlivu textu.
Proč nestačí jen odpověď ano nebo ne
Autorovi vědeckého článku nestačí vědět pouze to, zda jeho článek uspěje, nebo ne. Potřebuje také jasné vysvětlení, co konkrétně přispělo k hodnocení (ať už pozitivně či negativně). Modely strojového učení jsou sice velmi přesné, ale jejich rozhodování bývá složité a neprůhledné. Běžné vysvětlovací postupy, například LIME nebo SHAP, obvykle fungují dodatečně a vytvářejí zjednodušenou náhradu původního modelu. Taková interpretace může být nepřesná a pro autora zavádějící.
Nový přístup: SMER
Tým z Fakulty informatiky a statistiky VŠE v Praze a Lawrence Berkeley National Laboratory (Lucie Dvořáčková, Marcin P. Joachimiak, Michal Černý, Adriana Kubecová, Vilém Sklenák, Tomáš Kliegr) představil metodu SMER (Self‑Model Rated Entities). Tato metoda odhaduje, zda bude článek patřit mezi nadprůměrně citované, a zároveň určí, která konkrétní slova v abstraktu k tomuto odhadu přispívají nejvíc.
Jak to funguje?
Model pracuje s tzv. word embeddings – matematickými reprezentacemi (vektory) slov, které zachycují jejich významové vztahy.
- Z každého abstraktu vytvoří průměr vektorů obsažených slov, čímž získá stručnou matematickou reprezentaci textu sloužící k trénování modelu logistické regrese. Ten se následně učí rozpoznat, kdy je článek vlivný (míněno citovaný).
- Síla konkrétního slova se určuje aplikací logistické regrese na jeho individuální vektor. Výsledné skóre ukazuje, jak silně je dané slovo spojeno s vysokou citovaností v rámci tohoto modelu.
Kombinace průměrování a lineárního modelu umožňuje dosáhnout dokonalé věrnosti (perfect fidelity). Díky tomu je vysvětlení přesně v souladu s tím, co model skutečně počítá.
Co ukázaly experimenty
Výzkumníci studii otestovali na rozsáhlém biomedicínském vzorku CORD‑19 (otevřená databáze vědeckých textů o covidu-19 a příbuzných tématech). V několika fázích ověřili přesnost predikce i kvalitu interpretace.
- Predikce dopadu článků: Model byl trénován na článcích z jednoho období a testován na pozdějších článcích. V tomto realistickém scénáři dosáhl AUC kolem 0,77, což znamená, že dokázal rozlišit nadprůměrně a podprůměrně citované články výrazně lépe než náhoda. (AUC je plocha pod křivkou ROC; hodnota 1,0 značí dokonalou přesnost, zatímco 0,5 odpovídá náhodnému tipu)
- Srovnání s tradičními metrikami: Výsledky AI se shodovaly s realitou vědeckého světa. Články, které model označil jako nejperspektivnější, se často objevovaly v prestižnějších časopisech a psali je autoři s vyšším h-indexem; tyto informace ale nebyly součástí tréninku a sloužily jen ke zpětné kontrole výsledků.
- Porovnání vysvětlovacích metod: V testu založeném na tzv. AOPC (sledování poklesu výkonu modelu při odstraňování nejdůležitějších výrazů) se SMER ukázal jako nejpřesnější přístup k určování důležitých slov, čímž překonal i zavedené přístupy LIME a SHAP.
- Konkrétní zjištění: Mezi nejvýše hodnocenými termíny se objevovaly názvy variant viru i léčiv, například „omicron“, „remdesivir“ nebo „molnupiravir“.
- Nová slova mimo trénink: Díky word embeddings (česky často „vektorové reprezentace slov“) umožňuje model hodnotit i nově se objevující termíny, které v tréninku logistické regrese nebyly, pokud k nim máme vektorovou reprezentaci.
Proč je to přelomové
Vysvětlení na úrovni slov pomáhá nejen autorům při psaní, ale i institucím a editorům, kteří chtějí porozumět hodnocení obsahu.
Nová metoda SMER má potenciál i pro praxi, ale studie ji ověřuje hlavně na vědeckých abstraktech z oblasti covid-19.
- Optimalizace abstraktů: Autoři mohou vidět, která slova model spojuje s vyšší citovaností. Z toho ale neplyne, že „našlapanější“ abstrakt znamená kvalitnější studii. Model hodnotí jen to, co se naučil z trénovacích dat, tedy vztah mezi obsahem abstraktu a citovaností.
- Identifikace trendů: Model dokáže rozpoznat nově se objevující výrazy, například názvy variant viru nebo léčiv. To může být užitečné i pro recenzenty nebo editory jako rychlý signál, která témata se v oboru začínají objevovat.
- Transparentní hodnocení: Díky tomu, že vysvětlení přesně odpovídá výpočtu modelu, je snazší pochopit jeho rozhodnutí. Je ale důležité pamatovat na to, že jde stále o modelový odhad založený na abstraktu, nikoli o definitivní posouzení kvality článku.
Studie ve Springer Nature
Autorka: Růžena Škrobánková
- Autor článku: ne
- Zdroj: Vysoká škola ekonomická v Praze
