Dokáže obyčajná kamera vytvoriť presný 3D model auta? Skúsili sme to.

Predstavte si, že by ste dokázali vytvoriť presný 3D model auta len pomocou bežnej kamery alebo mobilu. Bez drahých laserových skenerov, bez špecializovaných zariadení – len s využitím dostupnej techniky a inteligentného softvéru.

Práve túto otázku sme si položili na začiatku nášho inovačného projektu. Moderné metódy počítačového videnia a neurónových sietí dnes dokážu z obyčajných fotografií rekonštruovať trojrozmerné objekty s prekvapivou presnosťou. Ale je takýto prístup použiteľný aj pri relatívne komplexnom objekte, akým je automobil?

V projekte sme analyzovali súčasné technologické riešenia, preskúmali dostupné nástroje a navrhli prototypový postup vytvárania 3D modelu vozidla zo série fotografií alebo videozáznamu. Výsledkom je štúdia realizovateľnosti, technická metodika a testovací prototyp riešenia, ktorý ukazuje, že aj dostupné technológie môžu priniesť zaujímavé možnosti v oblasti digitálnej rekonštrukcie objektov.

Takýto prístup môže mať v budúcnosti využitie napríklad v oblasti online predaja vozidiel, digitálnych katalógov, virtuálnych showroomov alebo archivácie objektov v digitálnej podobe.

Projekt realizovala spoločnosť Nový film, s.r.o. v spolupráci s odborným riešiteľom a bol podporený z prostriedkov Plánu obnovy a odolnosti Slovenskej republiky prostredníctvom Slovenskej inovačnej a energetickej agentúry (SIEA).

1. Príprava vozidla a fotografovanie

Začali sme tým, že sme vybrali vhodné vozidlo a dôkladne ho pripravili na digitalizáciu. Povrch auta sme starostlivo umyli a leštili, pretože aj drobné nečistoty alebo prach by sa mohli prejaviť na výslednom modeli ako nechcené artefakty. Cieľom bolo zachytiť každý detail karosérie, vrátane jemných odrazov, štruktúry laku a drobných prvkov ako sú logá či svetlomety.

Samotné fotografovanie sme realizovali počas mierne zamračeného dňa, ktorý poskytol prirodzené a rovnomerné svetlo. V takýchto podmienkach nevznikajú ostré tiene a farby zostávajú verné realite. Na technickú realizáciu sme zvolili iPhone 15 Pro v profesionálnom režime ProRAW, ktorý zachytáva väčší rozsah farieb a detailov ako bežné fotografie. Stabilizátor DJI Osmo Mobile zabezpečil, že snímky boli ostré aj pri pohybe okolo auta.

Auto sme snímali systematicky – zo všetkých strán, v rôznych výškach a pod rôznymi uhlami. Nezamerali sme sa len na celkový pohľad, ale aj na detaily, ako napríklad kolesá, spätné zrkadlá či predné a zadné svetlá. Výsledkom bol dataset s viac než 150 fotografiami, ktoré sa navzájom prekrývali minimálne na 50–70 %. Takýto postup je nevyhnutný na to, aby softvér dokázal neskôr fotografie presne zosúladiť a vytvoriť konzistentný 3D model.

2. Premena fotografií na 3D dáta

Keď bol dataset pripravený, nastúpila druhá fáza – spracovanie fotografií. Tie sme nahrali do špecializovaného softvéru, ktorý dokáže z obyčajných snímok vytvoriť tzv. bodové mračno. Ide o tisíce až milióny bodov v trojrozmernom priestore, ktoré tvoria akúsi digitálnu kostru auta. Každý bod má presne určenú polohu a často aj informácie o farbe. Následne sa spustil tréningový proces, počas ktorého softvér začal tieto body zdokonaľovať. Funguje to tak, že sa model porovnáva s pôvodnými fotografiami a krok za krokom sa upravujú jeho parametre – poloha, farba či veľkosť bodov – až kým sa výsledok nezačne presne zhodovať s realitou. Tento proces možno prirovnať k postupnému vyfarbovaniu skladačky, kde s každým krokom pribúdajú detaily a obraz sa stáva čoraz vernejším.

3. Kontrola kvality

Tretím krokom bolo overenie, že výsledný model je nielen vizuálne atraktívny, ale aj technicky presný. Na to sme použili pokročilé metriky, ktoré porovnávajú originálne fotografie s vygenerovaným 3D modelom.

PSNR (Peak Signal-to-Noise Ratio) nám ukázalo, ako veľmi sa model zhoduje s pôvodnými fotografiami na úrovni jednotlivých pixelov. Čím vyššia hodnota, tým vernejší je výsledok.
SSIM (Structural Similarity Index) analyzovalo kontrast, jas a štruktúru obrazu, vďaka čomu sme vedeli, že model zachytáva tvary a proporcie vozidla presne tak, ako v realite.
LPIPS (Learned Perceptual Image Patch Similarity) použilo neurónovú sieť na posúdenie podobnosti modelu a fotografií z pohľadu ľudského oka.

Kombinácia týchto testov potvrdila, že model verne reprezentuje skutočné auto nielen po stránke tvarov, ale aj detailov povrchov a farebnosti. Navyše, vizuálne posúdenie tímom ukázalo, že 3D model pôsobí prirodzene a realisticky. V praxi to znamená, že potenciálny zákazník by ho mohol vnímať takmer rovnako, ako keby sa na auto pozeral naživo.

Čo je Gaussian Splatting?

Gaussian Splatting je moderná technológia, ktorá umožňuje vytvárať trojrozmerné modely objektov iba z fotografií. Aby sme si to vedeli predstaviť, spomeňme si, ako fungujú tradičné prístupy. Fotogrametria napríklad vytvára 3D model tak, že pospája body do trojuholníkov a vznikne akási sieť povrchov, na ktorú sa následne nanesie textúra. Funguje to dobre, ale často je to časovo náročné a vyžaduje veľa ručného čistenia. Iná moderná metóda, známa ako NeRF, používa neurónové siete, ktoré si pamätajú scénu a dokážu ju znovu vykresliť. Táto technológia prináša veľmi realistické výsledky, no je pomalá a každý nový objekt sa musí učiť odznova.

Gaussian Splatting ide na to celkom inak. Namiesto plôch využíva obrovské množstvo drobných farebných bodiek, ktoré sa nazývajú Gaussians. Každá z týchto bodiek je ako malý farebný elipsoid v priestore. Má svoju polohu, veľkosť, farbu aj mieru priehľadnosti. Keď ich softvér správne rozmiestni a upraví, vytvoria dokopy plynulý obraz celého objektu. Zo začiatku to vyzerá ako hrubá hmla alebo rozmazaná masa bodov, no postupným tréningom sa jednotlivé bodky zlepšujú, pridávajú alebo rozdeľujú tak, aby výsledok čo najviac pripomínal realitu. Softvér neustále porovnáva vygenerovaný obraz s pôvodnými fotografiami a na základe rozdielov vylepšuje parametre bodiek. Tento proces sa opakuje desaťtisíce krát, až kým model nezačne vyzerať úplne realisticky.

Najväčšou výhodou Gaussian Splattingu je rýchlosť a plynulosť. Výsledný model sa dá otáčať a skúmať v reálnom čase, bez toho, aby používateľ musel čakať na výpočty. Je to podobné, ako keď sa pozeráme na obraz impresionistického maliara – zblízka vidíme len farebné bodky, ale keď odstúpime, splynú do nádherného celku. Táto technológia dokáže veľmi presne zachytiť aj jemné detaily, napríklad odlesky na laku auta alebo drobné prechody medzi materiálmi. A čo je najdôležitejšie, na jej použitie stačí obyčajná kamera alebo dokonca moderný smartfón. Nie je potrebné žiadne drahé laserové zariadenie ani špeciálny 3D skener.

Gaussian Splatting tak otvára úplne nové možnosti pre digitálnu prezentáciu produktov. Či už ide o autá, ktoré si zákazníci môžu prezrieť zo všetkých uhlov, alebo iné predmety, ktoré sa dajú preniesť do virtuálneho sveta, výsledkom je vždy verná a realistická skúsenosť. Pre laikov je dôležité vedieť, že ide o technológiu, ktorá spája jednoduchosť fotografovania so silou moderných algoritmov a umožňuje z obyčajných snímok vytvoriť presný trojrozmerný model, ktorý pôsobí takmer ako skutočný.

Projekt “Analýza a vytvorenie prototypu nástroja pre tvorbu 3D modelu auta pomocou štandardných kamier s využitím neurónových sietí” (Kód projektu: 09I02-03-V03-00330) bol financovaný Európskou úniou NextGenerationEU.