Waarom naar de realiteit kijken als je kunt wijzigen wat je in realtime ziet?

De adoptie van augmented reality gebeurt langzaam maar zeker, en het is gemakkelijk om een ​​potentiële toekomst voor deze technologie te zien: apparaten waarmee je in realtime kunt bewerken wat je ziet, waarbij objecten om je heen worden vervangen door virtuele overlays. Noem het een mixed reality, om precies te zijn.

Recent onderzoek door het AI-team van Porsche (ja, de autofabrikanten – daar komen we zo op) laat zien hoe dit zou kunnen werken. Het team heeft een bestand gemaakt AI-systeem genaamd TransformMR Het detecteert zaken als auto’s en mensen, verwijdert ze en vervangt ze vervolgens in realtime door CGI-alternatieven. De eindresultaten zijn onberispelijk (wijzigingen zijn willekeurig en de CGI-modellen zien eruit alsof ze van hen zijn geleend 3D-filmmaker) Maar het concept is opmerkelijk. Het is niet moeilijk voor te stellen dat dergelijke apps de komende decennia populair zullen worden.

Zei het team achter het werk de rand dat hoewel de afzonderlijke elementen van hun werk al eerder zijn gemaakt, het samengestelde systeem nieuw is. TansforMR kan op gewone smartphones en tablets draaien, maar het vereist een 4G-verbinding om gegevens naar de cloud te verzenden. Afbeeldingen worden zo verwerkt dat niet alleen objecten worden afgedekt, zoals bij Apple’s Snapchat AR- of Memoji-lenzen, maar volledig worden bewerkt. Objecten worden gedetecteerd, gesplitst en vervolgens “geschilderd” (vervangen door een door AI gegenereerde achtergrond) en het CGI-model wordt vervangen door het origineel.

Het is duidelijk dat er veel gebieden zijn die verbetering behoeven. De framesnelheid is slechts 15 fps bij verf van lage kwaliteit; Het verschil is 50 tot 100 milliseconden; En CGI-alternatieven zijn niet van de beste kwaliteit. Maar het team achter het systeem zegt dat deze aspecten relatief eenvoudig te verbeteren zijn.

“De belangrijkste beperking is dat grote afbeeldingen erg rekenintensief zijn”, zegt Muhammad Carey, een machine learning-onderzoeker bij Porsche. de rand. “Dus voor de interne tekening doen we dit momenteel met zeer kleine afbeeldingen en werken we aan een afbeelding van 512 × 512. Maar de bandbreedte [usage] Het is verwaarloosbaar. Als je FaceTime kunt doen, kun je TransformMR doen.”

Een belangrijk onderdeel van het systeem, zegt Carey, is het gebruik van situationele detectie. Dit betekent dat wanneer het systeem bijvoorbeeld een persoon detecteert, het 18 afzonderlijke gewrichten in het lichaam identificeert. Dit betekent dat de CGI-vervanging in realtime kan worden gekoppeld aan de beweging van het doelwit. Carey vergelijkt dit met andere AR-systemen die eenvoudig geometrische oppervlakken markeren.

Als we naar TransforMR-clips in actie kijken, is het niet moeilijk voor te stellen dat dergelijke software in een augmented reality-bril zou worden geïntegreerd. Gebruikers kunnen een ‘thema’ voor hun dag kiezen en auto’s, gebouwen en mensen vervangen door alternatieven voor sciencefiction of items uit de natuur. Maar, benadrukt Carey, dit zal een grote hardware-uitdaging met zich meebrengen. De huidige AR-brillen kunnen alleen semi-dekkende overlays met een lage resolutie op hun lenzen weergeven. Op dit moment hebben we niet de technologie om te “wijzigen” wat gebruikers zien met dit type apparaat. (Hoewel dit moet worden gedaan met een bestand) Virtual Reality-systeem “Transit”, waar first-person camera’s live video-uitzendingen afspelen op schermen die het zicht van de drager volledig belemmeren.)

“We reproduceren het hele beeld op het scherm, dus we kunnen alles verwijderen wat we willen, maar met augmented reality-brillen is het verwijderen van objecten moeilijk omdat het intensiteit aan het licht toevoegt”, zegt Carey. In HoloLens zoekt u bijvoorbeeld via Glas, dus dingen verwijderen is moeilijker. Deze vraag staat open voor onderzoek.”

Maar waarom zou Porsche dit soort technologie überhaupt onderzoeken? Volgens een van de AI-ingenieurs van het bedrijf, Tobias Grosse-Puppendahl, draait het allemaal om het verbeteren van de ervaring voor passagiers en chauffeurs. Toekomstige versies van TransforMR zouden kunnen worden gebruikt om mensen te vermaken wanneer ze vastzitten in het verkeer, zegt Gross Poppendal. de rand. “Onze belangrijkste vraag was: hoe kunnen we de werkelijkheid op een leuke en vermakelijke manier aanpassen om ermee om te gaan? Vandaar ons idee.”

Andere onderzoeksprojecten bij Porsche volgen een soortgelijk thema. Zo bouwde het bedrijf ook een profiel op Prototype systeem genaamd SoundRide Het gebruikt het automatische zicht van de auto om veranderingen in het landschap te detecteren en speelt de juiste muziek af. “Misschien rijd je bijvoorbeeld door de Alpen, rijd je door een mooie weg en heb je ineens een geweldig uitzicht en misschien verandert de muziek”, zegt Carey. “We denken na over hoe technologie de ervaring in de auto interessanter en mooier kan maken.” Dit betekent manipuleren wat mensen zien en horen.