Tomáš Mikolov: Základní výzkum je trochu jako ruleta

Co Vás přivedlo k myšlence vrátit se zpátky do České republiky?

V zahraničí jsem byl s přestávkami od roku 2010. Od roku 2012 jsem už na plný úvazek pracoval v Kalifornii, později v New Yorku a rok také v Paříži. Minulé desetiletí jsem byl tedy stále pryč. Už jsem se ale chtěl vrátit do Česka. Nabyl jsem dojmu, že jsem si v mém oboru vyzkoušel vše, co potřebuji, a viděl, co se vidět dá. Podařilo se mi pracoval s řadou vědců, kteří jsou nejcitovanější ve svých oborech. Měl jsem například možnost v různých obdobích pracovat s vědci, kteří vyhráli Turingovu cenu, což je taková nobelovka v oblasti IT (pozn.: Cena A. M. Turinga, anglicky ACM A.M.Turing Award, je každoročně udělované ocenění Asociací výpočetní techniky jednotlivcům za jejich technický přínos v oboru informatiky). Další pobyt v zahraniční již tedy pro mě nebyl tou hlavní motivací. Chytří lidé jsou všude na světě i v Česku. O úspěšném vědci pak rozhodují často kombinace různých faktorů včetně náhody – některé se ovlivnit dají, jiné ne. Každopádně skvělý výzkum je možné dělat více méně kdekoliv, hlavně pokud jde o ten základní. K základnímu výzkumu v našem oboru potřebujete hlavně nápady a myšlenky.

Proč ale zpátky do České republiky?

V Česku se to hodně podceňuje, ale když se podíváte do světa, tak si uvědomíte, že u nás řada věcí pro život funguje dobře. Nemáme tu zemětřesení ani zásadní přírodní katastrofy. To, že se tu žije dobře, si lidé často uvědomí, když stráví pár let v zahraničí a vrátí se zpět. Upřímně nerozumím otázkám typu, proč se člověk přestěhuje z New Yorku do Prahy. New York je pěkné město, ale třeba v Praze je mnohem lepší veřejná doprava. Navíc lidé jsou tu méně agresivní. Pokud jde o počet turistů, tak to bude asi remíza. Když jsem začal srovnávat, tak jsem si uvědomil, proč bych nemohl stejný výzkum dělat i tady. Jít na prestižní univerzity typu MIT nebo Stanford mě nelákalo. Asi by to vypadalo lépe na mém CV, ale já jsem se tím nikdy moc netrápil. Nikdy jsem nemířil na to být slavný a bohatý vědec. To tak nějak nakonec dopadlo samo (smích).

Co bylo rozhodující pro práci v CIIRC ČVUT?

Nebylo to jasné rozhodnutí už od začátku, rozhodla kombinace faktorů. Uvažoval jsem i o dalších pracovištích. CIIRC ČVUT na mě ale udělal dojem jako jedno z těch nejprogresivnějších, atraktivní je i z hlediska lokality a nové budovy. Navíc ekosystém lidí, kteří už na CIIRC jsou, mi přijde zajímavý. Je tady řada lidí, kteří stejně jako já pracovali v zahraničí několik let ve špičkovém výzkumu a, stejně jako já, se vrátili do Česka. Mají podobnou zkušenost a docela dost možná i podobné názory na výzkum nebo vzdělávání. Tři nejvýraznější vědci, se kterými komunikuji už od začátku, jsou Jan Šedivý, který mě sem pozval poprvé, dále Josef Urban a Josef Šivic. Důležité je pro mě dělat věci, které mi dávají smysl, s lidmi, se kterými mě baví pracovat.

Zmínil jste, že se budete věnovat nadále základnímu výzkumu. V čem vidíte jeho hlavní smysl?

Základní výzkum je často vnímán obtížně. Vědci dělají na nápadech, které vypadají abstraktně. Pro okolí je to něco, co nemá konkrétní výsledky. Než se myšlenka začne používat v praxi, může to trvat dlouhou dobu. Ale nakonec se to vše může stát rychleji, než si lidé představují: kdo by si před sto lety pomyslel, že za pár desítek let přistanou lidé na Měsíci? Základní výzkum je trochu jako ruleta, nevíte, jak to dopadne. Někdy je to o náhodě – vyzkoušíte dvacet či třicet nápadů, ukáže se, že fungují tak čtyři, z toho se jen jeden dostane do praxe. Pravděpodobnost dosažení zásadního objevu je malá, ale jeho efekt a dopad může být naopak obrovský. Posouvá nás to dopředu, vymýšlíme zcela nové věci, nové stroje, léky. O tom základní výzkum je – musíme zkoušet a posouvat se dopředu. Bez základního výzkumu by nebyly možné inovace. Na to se často zapomíná. Často vidíme jen třešničku na dortu, když už je výsledek uvedený do praxe. Přitom když se dnes podíváme na úspěšné technologické firmy, ať už Google, Facebook, Microsoft či Apple, tak tyto firmy často stojí na objevech, které udělali vědci před nějakými 20-30 i více lety. Tyto firmy zbohatly na internetu, Google ani Facebook ale žádný internet nevymyslely. Abychom měli dobré nové věci a aby ten systém fungoval, je nutná podpora základního výzkumu a následně podporovat zavádění výsledků základního výzkumu do praxe. Když je pak výsledek komerčně úspěšný, tak tam už žádná podpora nutná není.

Jak vnímáte dosavadní výzkum umělé inteligence?

Výzkum umělé inteligence se v minulosti zabýval zejména tím, že se vědci snažili kopírovat nějakou část lidského rozhodovacího procesu. Dobře se to demonstruje třeba na hraní šachů. Řekli si – aby mohl počítač hrát šachy jako člověk, musí být alespoň tak chytrý a inteligentní jako člověk, aby byl schopen takto komplexní hře porozumět. Je to poměrně složitá intelektuální činnost. Postupně se ale ukázalo, že to ani tak složitá intelektuální činnost být nemusí. Počítač umí projít miliony kombinací tahů, vyzkouší si je a posoudí, která z možných kombinací mu dá nejlepší výsledek. Je schopen šachy obstojně hrát a vůbec té hře ani nemusí rozumět.

Umělá inteligence byla v minulosti o tom, že vědci hledali zkratky, jak se dostat k výsledku. Nadefinujeme si jednu konkrétní úzce specifikovanou úlohu. Když ji počítač vyřeší dostatečně dobře, tak se možná podaří přijít s technikami, které lze zobecnit a aplikovat i na další úlohy. To byla úvaha, kterou se ale nepodařilo zcela naplnit. Osobně si myslím, že se to ani v dohledné době nepodaří.

A v tomto nepomohl ani výzkum neuronových sítí, kterými jste se doposud zabýval hlavně?

Neuronové sítě sice jde použít na řadu úloh, ale je to vždy na principu takzvaného supervizovaného učení. To znamená, že počítači vždycky musíte říkat, co by měl dělat. Když mu ukážete milión příkladů, jak vypadá kočka a jak pes, tak počítač dokáže rozpoznat kočku od psa třeba z 99,9 %. Vypadá to, že to funguje. Ale když mu pak ukážete kotě nebo štěně, kde obrázky vypadají trochu jinak, tak zjistíte, že musíte začít úplně od začátku. Znovu ho to naučit. Je to neefektivní. Transfer mezi jednotlivými úlohami je mizivý v porovnání se schopnostmi člověka. Stejně to je u šachů nebo hry go. Když ve hře změníte jedno pravidlo nebo uděláte jiné rozestavění figurek, tak se ty algoritmy totálně sesypou a nefunguje to. Musíte začít stavět řešení úplně od začátku.

V čem jsou tedy komplexní systémy jiné?

Komplexní systémy by mohly vést k obecné či silné umělé inteligenci, jak se ve vědecké komunitě říká. Algoritmy by měly mít potenciál mít samostatnou inteligenci jako mají lidé. To dnes ale nikdo nezná, nikdo to neumí postavit. Žádný ze světoznámých vědců, jako je například Geoffrey Hinton, Yoshua Bengio nebo Yann Lecun, se kterými jsem o tom mluvil, nemá představu, jak tu skutečně silnou umělou inteligenci vytvořit. Byl jsem v Google Brain, Facebook AI research, navštívil jsem desítky dalších výzkumných skupin. Neznám nikoho, kdo by v dnešní době věděl, jak se pohnout dopředu.

Proto musíme zkoušet nové nápady. Mnoho lidí dělá aplikovaný výzkum, kde vezme to, co funguje. Naučí třeba ten klasifikátor, co dokáže rozpoznávat kočky a psy, aby rozpoznával i něco jiného. Vezme tedy další množství dat z jiné domény. To je ale stále jen jiná aplikace toho samého, co už bylo vymyšleno třeba před deseti, dvaceti lety.

Je tedy jiné řešení?

Komplexní systémy jsou systémy se spoustou jednoduchých částic, které spolu můžou interagovat. Inteligence v komplexních systémech není něco, co definujeme explicitně. Přímo do toho systému ji nedodáváme. Naopak se snažíme vytvořit systémy, kde nám jakousi postupnou umělou evolucí vznikne ona složitost – inteligence. Je to podobné jako přirozený vývoj na Zemi. I zde komplexita a složitost života narůstala postupně několik miliónů let. Úlohy, které my jako lidé musíme a umíme řešit nyní, život před milióny či miliardami let vůbec nebyl schopen vyřešit.

Máte v oblasti komplexních systémů na co navázat, nebo je to zcela nový obor?

Nápady o komplexních adaptivních systémech nejsou žádnou novinkou. Už v padesátých letech minulého století vědci, kteří stavěli první počítače, přemýšleli, jak udělat inteligentní počítače. Evoluce byla jednou z hlavních zajímavých myšlenek. Situace je nyní podobná, jako u neuronových sítí. Matematické modely neuronů a mozku se dají vysledovat až do 40. let minulého století. Už v 80. letech se neuronovým sítím věnovala celá řada vědců – bylo zde období asi deseti let, kdy umělé neuronové sítě byly mezi vědci poměrně populární. Během 90. let ale upadly v nemilost, protože se ukázalo, že jednodušší modely dokáží řešit podobné úlohy stejně dobře jako neuronové sítě. Pak už si nikdo nepomyslel, že by mohly fungovat lépe. Viděl jsem potenciál neuronových sítí, věřil jsem tomu, že by je bylo možné používat pro více oblastí. Že bychom mohli stejným modelem řešit jazyk, překlad, rozpoznání řeči, rozpoznání obrazu. Nápad neuronových sítí nebyl rozhodně nový, spíš byla otázka, jak to dotáhnout do konce, jak to rozpohybovat, aby to fungovalo – a to se podařilo právě až té mé generaci.

To znamená, že nyní chcete rozpohybovat i komplexní systémy?

Dá se to tak říct. Můžeme to přirovnat k nápadu postavit letadlo. Takový nápad už tady měli lidé 500 let zpátky. Ale jak to doopravdy udělat, aby to fungovalo, trvalo několik dalších stovek let. Jak letadlo odlepit od země. Mě a dalším mým kolegům se podařilo neuronové sítě odlepit od země asi před těmi deseti lety.

Teď si myslím, že by se to mohlo podařit s komplexními systémy. Není to opět nápad, který tu nikdy před tím nebyl. Ale v dnešní době se komplexní systémy nepoužívají tam, kde by skutečně fungovat mohly. Tam, kde se používají, nedávají smysl. Často jsou nahrazeny jednoduššími modely.

Myslím, že momentálně chybí pár dobrých nápadů, jak komplexní systémy rozpohybovat a odlepit od té pomyslné země. Je to sice trochu loterie, protože nikdo neví, co bude a co nebude fungovat a jak dlouho takový výzkum bude trvat. Ale je to velice kreativní činnost.

Pomáhá vám ve vašem úsilí někdo další?

Již si na CIIRC buduji malý tým studentů a doktorandů. V týmu mám studenta z Francie i jednu studentku z Univerzity Karlovy. Počítám, že do roka či dvou bude mít naše skupina kolem pěti lidí. Mým cílem je mít kolem sebe několik lidí s podobnými vědeckými zájmy, kteří se nebojí zkusit vymyslet něco nového v podstatě od začátku.

O příchodu Tomáše Mikolova na CIIRC ČVUT jsme psali zde.

Zdroj: CIIRC ČVUT

Tomáš Mikolov

absolvoval doktorský program na Vysokém učení technickém v Brně, následně Česko opustil a postupně působil ve společnostech Google Brain či Microsoft Research. Do CIIRC ČVUT přichází z Facebook AI Research, kde se od roku 2014 zabýval vývojem inteligentních algoritmů pro co nejpřirozenější komunikaci strojů s lidmi. Převrat ve svém oboru způsobil, když ještě na studiích vyvinul modely jazyka založené na rekurentních neuronových sítích. Ty dokáží popsat strukturu jazyka mnohem přesněji než jakékoliv předchozí přístupy, přispěl tak k zásadnímu zlepšení Google překladače. V roce 2018 byl za oceněn Cenou Neuron za významný vědecký objev v oboru computer science.