Má generativní AI a ChatGPT ve vědě své místo?

V mnoha oblastech vědy je stále častěji skloňován pojem Large Language Model (LLM). Tento typ modelů využívá algoritmy hlubokého učení, které je založené na umělých neurálních sítích ke zpracování přirozeného jazyka (NLP – natural language processing). Modely jsou trénovány na obrovském množství textových dat, aby se naučily vzorce a vztahy mezi entitami v jazyce. Právě kvůli nezměrnému množství dat název modelů obsahuje přívlastek „large“ (velký).

LLM mohou v praxi sloužit k řadě úkonů: strojovým překladům, textové klasifikaci, sumarizaci textových dokumentů, a dokonce i k vytváření dialogu. Díky těmto možnostem, jako je právě generování přirozených textů, které však i tak mohou obsahovat chyby, se LLM staly stěžejním prvkem mnoha aplikací umělé inteligence.

Největší popularity se za poslední dobu z množiny velkých jazykových modelů dostalo technologii ChatGPT. Tedy verzi chatbotu GPT-3, který spatřil světlo světa v roce 2020. ChatGPT se po svém vydání v listopadu loňského roku proslavil zejména tím, že byl zdarma a snadno dostupný.

Kromě něj však existuje řada dalších chatbotů, jako je BLOOM AI či LLaMA. Pro uživatele je však těžké objektivně poměřit kvalitu těchto nástrojů.

„V tomto případě totiž absentuje kritérium, které by jednoduchým způsobem ocenilo vygenerovanou větu. Stroj umí rozpoznat úplnost odpovědi nebo zda obsahuje fakt, na který jsme se ptali. Kvalita věty vyjma mluvnického rozboru se poznat nedá. Jedná se o podobnou situaci, jako kdybyste porovnávali Guernicu s Monou Lisou a ptali se, který z obrazů je lepší. Jde o subjektivní záležitost, výsledek nelze objektivně porovnat,“ uvádí Jan Šedivý, vedoucí skupiny Big Data and Cloud Computing z Českého institutu informatiky, robotiky a kybernetiky (CIIRC) ČVUT.

Generativní umělá inteligence se dále neomezuje pouze na text, může také vytvářet obrázky nebo zvuky.

Zdánlivě pouze kladná odezva z řad vědecké a akademické obce

V prosinci minulého roku realizovali výpočetní biologové Casey Greene a Milton Pividori z University of Pennsylvania experiment s chatbotem GPT-3. Cílem bylo, aby tento nástroj vylepšil tři z jejich výzkumných prací. Nehumanoidní asistent se v tomto směru ukázal jako vysoce efektivní – navrhl revize části dokumentů za několik sekund. Přezkoumání každého rukopisu zabralo přibližně pět minut a v jednom z nich si všiml chyby v odkazu rovnice. Výsledné rukopisy se nakonec četly lépe, přestože se proces neobešel bez komplikací, a honorář byl navíc velice skromný – méně než 0,50 USD za dokument.

Oba vědci po pokusu potvrdili, že LLM dokáže ulehčit podstatný kus práce, a výzkumníci tak mohou být v dalších částech své pracovní činnosti mnohem produktivnější a pracovat efektivněji. Z oblasti výzkumu a vývoje se ozývají další vědci, kteří generativní AI vnímají pozitivně. Využívají ji ke psaní nebo kontrole kódů, brainstormingu nápadů, vyplnění zdlouhavých částí žádostí o grant, úpravě rukopisů nebo v oblasti vzdělání k převádění studentských prací na referáty. „LLM aktuálně používám každý den jako doplněk k práci. Mnoho lidí včetně mých kolegů používá tento nástroj jako digitálního asistenta,“ říká Hafsteinn Einarsson, počítačový vědec z University of Iceland v Reykjavíku.

Hranice a omezení LLM

Ve všech výše uvedených pozitivních ohlasech z vědecké oblasti se opakuje stejný vzorec – na generativní umělou inteligenci je pohlíženo pouze jako na asistenci při mechanické činnosti.

„Kódování odpovědí je časově velmi náročné. Absolvoval jsem několik směn a za den můžete zakódovat 2 000 až 3 000 odpovědí. Za pomoci umělé inteligence se lze probrat skrze mechanickou část kódování za podstatně kratší dobu. Usnadňuje to zkrátka ty části výzkumu, které nepotřebují kreativitu nebo úsudek,“ říká Ralph Scott, výzkumný pracovník BES z Manchester University.

Práce odvedená pouze LLM bez lidského přispění se tak podle odborníků jeví jako nedostatečná. Veškeré užívání chatbota k vědeckým a akademickým činnostem je podmíněno lidskou supervizí, tedy výzkumnými pracovníky. Ti mají dostatek odborných znalostí, aby mohli přímo odhalit problémy nebo snadno ověřit odpovědi – například zda je vysvětlení nebo návrh počítačového kódu správný.

„Požádal jsem ChatGPT, aby napsal studentskou esej, a on vytvořil něco, co by na bakalářské úrovni dostalo známku 2:2, ale na magisterské úrovni by propadlo. Úroveň syntézy znalostí tam nebyla. Nástroj neumí ani analyzovat, ani hodnotit,“ zmiňuje Toby Walsh, profesor University of New South Wales v Sydney, odborník na umělou inteligenci a australský laureát.

LLM, tedy ChatGPT a jeho konkurenti, pracují s již zmíněnými obrovskými databázemi online textů, ve kterých se ale mohou vyskytovat jak nepravdy, předsudky, tak vyvrácené údaje a zastaralé znalosti. Mimo jiné se i v nich učí statistické vzorce jazyka. Když pak LLM dostanou náležité podněty (jako například pečlivě strukturované požadavky v případě zmíněného experimentu Greenea a Pividoriho na vykonání revize dokumentů – přepsání částí rukopisů), jednoduše vygenerují stylisticky a tematicky koherentní a věrohodný text.

Ve výsledku tak LLM nejen podle portálů Nature a Times Higher Education snadno produkují chyby a zavádějící informace, zejména u technických témat, k jejichž realizaci mohou mít nedostatečné množství údajů.

„Velmi často LLM vracejí tvrzení, která nemusejí být nutně pravdivá, a pokud nástroji položíte několikrát stejnou otázku, dá vám různé odpovědi. Obavy ze zneužití systému v akademické sféře tedy nejsou zcela namístě. O psaní vědeckých článků by se tak mohli pokoušet i lidé bez jakýchkoli znalostí v dané oblasti, což není možné,“ okomentoval problematiku chybovosti chatbotů Alex Zhavoronkov, šéf hongkongské společnosti Insilico Medicine, zabývající se objevováním léků pomocí umělé inteligence.

V případě zneužití LLM navíc falešní autoři, kteří texty produkované generativní AI neoprávněně vydávají za své, nedokážou prokázat původ svých informací. „Pokud jsou vyzváni, aby napsali akademickou práci, a rozhodnou se touto cestou podvádět, uvádějí fiktivní citace,“ zmiňuje Toby Walsh.

Umělá inteligence a etické zásady

Na základě obav z plagiátorství a nedávné kontroverze spojené se spoluautorstvím generativní umělé inteligence u některých vědeckých publikací se přední univerzitní nakladatelství Cambridge University Press (CUP) rozhodlo vydat etické zásady spojené s ChatGPT a dalšími generativními nástroji AI. Ke zveřejnění pokynů došlo 14. března a jejich cílem je kromě zákazu uvádět umělou inteligenci za „autora“ nebo „spoluautora“ akademických článků a knih také cílit na „šedé oblasti“, v nichž generování textu chatbotem vedlo k nevědomému plagiátorství.  

Autoři v této souvislosti budou muset být „zodpovědní za přesnost, integritu a originalitu svých výzkumných prací, včetně jakéhokoli použití umělé inteligence“, vysvětlují nové zásady. Ty dále zdůrazňují, že publikace musí vycházet z vize a myšlenek autora – nesmí tak prezentovat cizí materiál, myšlenky, data, slova, tedy zkráceně cokoliv bez odpovídajícího a transparentního citování.

Výkonná ředitelka pro akademickou sféru v CUP Mandy Hill uvedla, že etické zásady byly navrženy tak, aby poskytly důvěru vědcům, kteří využívají ChatGPT a další nástroje umělé inteligence jako nástroj, nikoli však pouze jako prostředek k plagiátorství.

„Jsme přesvědčeni, že akademičtí autoři, editoři a recenzenti by měli mít možnost používat nové technologie dle svého uvážení v rámci příslušných zásad – stejně jako to dělají s jinými výzkumnými nástroji,“ okomentovala zásady Mandy Hill.

Etické zásady tak upřesnily problém „spoluautorství“ umělé generativní inteligence v publikacích, jenž byl v poslední době palčivým tématem. Další problém, často jmenovaný v souvislosti s generativní umělou inteligencí, je pak samotná rychlost jejího vývoje, na který je těžké pohotově reagovat. Tuto tezi potvrzuje i profesor Alvarez, spolueditor titulu CUP Quantitative and Computational Methods for Social Science: „Očekávám, že nová úskalí, která s sebou generativní umělá inteligence přináší v oblasti akademické publikace, se dalších letech budou stále objevovat.“

Šíří se zákaz technologie ChatGPT?

Zmíněné nástrahy vyvolané rychlým vývojem na sebe skutečně nenechaly dlouho čekat. 31. března se Itálie jako první ze západních zemí přidala k Číně, Íránu, Severní Koreji a Rusku v souvislosti se zákazem technologie ChatGPT. Italské úřady na ochranu osobních údajů aktuálně prošetřují činnost firmy OpenAI. Úřady tak společnosti jakožto provozovateli chatbota poslaly příkaz k okamžité blokaci technologie.

Důvodem je údajné nerespektování zákona Evropské unie o ochraně osobních údajů a fakt, že jedenáct dní před zákazem unikly údaje o uživatelích tohoto nejpoužívanějšího chatbota.

Evropská unie aktuálně pracuje na prvním právním předpisu o umělé inteligenci na světě, ale Evropská spotřebitelská organizace (BEUC) se obává dlouhé doby, než zákon o umělé inteligenci vstoupí v platnost. Uživatelé by v tomto období byli vystaveni riziku poškození ze strany technologie, která podle úřadu není dostatečně regulována. Europol v této souvislosti minulý měsíc varoval před zneužitím LLM ze strany zločinců, kteří se prostřednictvím zneužití technologie mohou dopustit podvodů.

Na zákaz společnost Open AI reagovala pouze vyjádřením, že se těší, až bude ChatGPT v Itálii opět „brzy“ k dispozici.

 

Autor: Vědavýzkum.cz (JM)

Zdroje: THE (1, 2, 3), Nature (1, 2), Guardian, BBC, Europol, CC