facebooktwittergoogleinstagram

Věda a výzkum

Portál Vědavýzkum.cz - Nezávislé informace o vědě a výzkumu

IOCB Tech, s.r.o. - hlavní partner portálu Vědavýzkum.cz

Hlavní partner portálu
facebooktwittergoogleinstagram

Výzkumníci z VUT vyvinuli ve spolupráci s Adobe Research novou metodu pro rozšířenou realitu

6. 2. 2021
Výzkumníci z VUT vyvinuli ve spolupráci s Adobe Research novou metodu pro rozšířenou realitu

Výzkumníci z Fakulty informačních technologií Vysokého učení technického v Brně ve spolupráci se společností Adobe Research vyvinuli software, který focení v přírodě posouvá na novou úroveň. Nyní čekají na udělení patentu.

Chcete si v přírodě vyfotit hezký snímek mobilem. Namíříte kameru na krajinu a zařízení vám v rozšířené realitě přímo na obrazovce nabídne názvy okolních kopců, jejich výšku, turistické cesty nebo třeba vrstevnice. Díky tomu, že nový softwarový nástroj výzkumníků z CPhoto@FIT VUT pozná, kde fotograf stál i co fotil, nebo jak dané místo vypadá v nejrůznějších podmínkách, tak doma můžete fotku různě upravit, třeba doostřit či změnit stíny. Nebo se na místo pořízení snímku znovu přenést prostřednictvím virtuální reality.

cphoto FIT VUT ar 1

To všechno umí nový software, který vyvinul tým z výzkumné skupiny výpočetní fotografie Fakulty informačních technologií Vysokého učení technického v Brně ve spolupráci s Adobe Research. Nový nástroj společně představili na prestižní konferenci ECCV, nyní čekají na udělení patentu.

„Náš software umí zpřesnit pozici a orientaci kamery v prostředí outdooru. V mobilní aplikaci pak nabídne prostřednictvím rozšířené reality různé informace o okolí – názvy řek a hor, vrstevnice nebo třeba vzdálenost k horské chatě – zkrátka dokáže zobrazit jakoukoli topografickou informaci v reálném terénu," popisuje vedoucí výzkumné skupiny CPhoto@FIT Martin Čadík.

Mobil si díky určení polohy GPS zobrazí syntetický pohled na krajinu, podobně jako např. Google Earth. Z fotografie nebo obrazovky potom detekuje významné body, třeba obrysy kopců, řek nebo lesů, porovná je s terénními modely a díky tomu dokáže určit polohu i orientaci kamery na metry přesně. Porovnání bodů z fotografie a z 3D modelu terénu dělá automaticky pomocí neuronové sítě. Tu výzkumníci natrénovali na tisícovkách fotografií krajin z vlastních archivů a snímcích stažených z internetu.

 

 

„Tyto snímky jsme dříve využívali právě pro porovnávání jednotlivých bodů, tedy porovnávali jsme fotografie s fotografiemi. Mělo to ale řadu nevýhod – odkud jsme neměli snímky, tam jsme nemohli provést lokalizaci. Nyní porovnáváme fotografie přímo s 3D terénními modely. Ty pokrývají celou planetu, tedy i místa, kam lidé nechodí, navíc obsahují data s texturami z různých ročních období. To pomáhá při lokalizaci, pokud se krajina mění," vysvětluje Martin Čadík. Ve světě výpočetní fotografie jde o velký krok, který byl umožněn pokrokem ve vývoji neuronových sítí a dostupností přesných terénních modelů s texturami.

Algoritmy pak uživatelům pomůžou zejména doma u počítače. Ten už díky softwaru dokonale zná místo, odkud byl snímek pořízen, i orientaci kamery, tedy místo, které chtěl fotograf zvěčnit. Díky tomu jsou možné úpravy snímků, které by jinak byly hodně komplikované. Uživatelům umožní třeba zaostřit na jiný vrchol, přidat stíny nebo změnit osvětlení fotky. Software také dokáže zasadit pořízenou fotografii přímo do terénu a může pak ve virtuální realitě vrátit fotografa přímo na místo, odkud byl snímek pořízen. Fotograf pak díky speciálním brýlím může třeba svým kamarádům či příbuzným virtuálně ukázat místo, kde pořídil snímky, a jak vypadá okolí mimo záběr fotografie.

Nástroj vznikl v rámci projektu Ministerstva školství, mládeže a tělovýchovy ČR Topografická analýza obrazu s využitím metod hlubokého učení. Na něj chtějí vědci z FIT navázat dalším výzkumem, ten by měl umět díky neuronové síti a terénním modelům lokalizovat místo a orientaci kamery ve větším měřítku i bez předchozího hrubého odhadu pozice z GPS.

 

Zdroj: VUT v Brně

redakčně upraveno