Hoe werkt de volgende mixed reality-headset van Apple?

(Bloomberg) — De langverwachte mixed reality-headset van Apple Inc. Het is een ambitieuze poging om een ​​3D-versie van het besturingssysteem van de iPhone te maken, met oog- en handvolgsystemen die de technologie zouden kunnen onderscheiden van concurrerende producten.

Het apparaat van bijna $ 3.000, dat later dit jaar zal worden uitgebracht onder de potentiële naam Reality Pro, zal een nieuwe benadering van virtuele vergaderingen en meeslepende video aannemen, met als doel de virtual reality-industrie op te schudden die momenteel wordt gedomineerd door Meta Platforms Inc. breidt uit naar zijn eerste grote nieuwe productcategorie sinds de lancering van een smartwatch in 2015, en het bedrijf moet indruk maken op de consument.

Apple dringt een onzekere markt binnen met een duur product. De technologieontwikkelingsgroep van het bedrijf, bestaande uit meer dan 1.000 mensen, heeft meer dan zeven jaar aan het project besteed en Apple rekent erop dat het een nieuwe inkomstenstroom zal worden, vooral omdat de omzetgroei dit jaar tot stilstand is gekomen.

Maar virtual reality is een uitdaging gebleken voor de grootste techreuzen. Hoewel sommige prognoses zeggen dat de industrie tegen het einde van het decennium de $ 100 miljard zal hebben overschreden, worden koptelefoons nog steeds als niche-items beschouwd – en Meta verloor miljarden aan haar inspanningen.

Het doel van Apple is om iets nieuws op tafel te brengen. Oog- en handvolgmogelijkheden zullen een belangrijk verkoopargument zijn voor het apparaat, volgens mensen die bekend zijn met het product, dat naar verwachting bijna twee keer zo duur zal zijn als concurrerende apparaten. De kernfuncties zijn onder meer videoconferenties en geavanceerde op FaceTime gebaseerde vergaderruimten.

De headset kan ook meeslepende video-inhoud weergeven, dienen als een extern beeldscherm voor een aangesloten Mac en kan veel van de functies van iPhones en iPads dupliceren.

Zo werkt het: de headset heeft verschillende externe camera’s die de hand van de gebruiker kunnen analyseren, evenals sensoren in de behuizing van de gadget om de ogen te lezen. Hierdoor kan de drager het apparaat bedienen door naar een item op het scherm te kijken, of het nu een knop, een app-pictogram of een menu-item is, om het te selecteren.

Gebruikers knijpen dan hun duim en wijsvinger samen om de taak te activeren – zonder iets vast te hoeven houden. De aanpak verschilt van andere headsets, die doorgaans afhankelijk zijn van een handmatige controller.

Net als de nieuwste Meta-headset, zal het Apple-apparaat zowel virtuele als augmented reality gebruiken. Met VR zien gebruikers afbeeldingen en inhoud in de bril. Aan de andere kant legt augmented reality digitale inhoud bovenop echte scènes.

De headset heeft twee schermen met ultrahoge resolutie – ontwikkeld in samenwerking met Sony Group Corp. – om virtual reality en een set externe camera’s aan te kunnen om “scroll-modus” voor augmented reality mogelijk te maken. Dit betekent dat gebruikers de echte wereld zien door de camera’s die op de headset zijn geplaatst. Apple zal gebruikers op maat gemaakte brillenglazen aanbieden die in de hoes zelf passen.

Het toestel krijgt een zogenaamde Digital Crown – zoals de Apple Watch – waarmee gebruikers kunnen schakelen tussen VR en AR. In VR wordt de drager volledig ondergedompeld. Wanneer augmented reality is ingeschakeld, vervaagt de inhoud weer en wordt deze omringd door de echte omgeving van de gebruiker. Apple verwacht dat dit een spraakmakend product wordt, volgens de mensen die vroegen om niet geïdentificeerd te worden omdat het project nog steeds geheim is.

En de mensen voegden eraan toe dat, aangezien de headset nog maanden verwijderd is van de release, sommige functies nog steeds kunnen worden geschrapt of gewijzigd. Een woordvoerster van Apple weigerde commentaar te geven.

De FaceTime-software van de headset geeft het volledige gezicht en lichaam van de gebruiker realistisch weer in virtual reality. Met deze avatars kunnen twee mensen – elk met een Apple-headset – communiceren en het gevoel hebben dat ze zich in dezelfde kamer bevinden. De technologie verschilt van de virtuele vergaderruimtes op de Meta-headset, die een cartoonachtige gebruikersavatar creëert.

Vanwege de enorme verwerkingskracht die nodig is voor deze functie, ondersteunt de headset alleen realistische avatars tijdens één-op-één videochats. Het staat nog steeds FaceTime-sessies met meerdere mensen toe, maar extra gebruikers worden weergegeven als een pictogram of memoji – de aangepaste emoji van Apple.

Apple is van plan het apparaat al dit voorjaar te onthullen, hoewel het schema volgens People kan veranderen. Hierdoor kan het bedrijf het product bespreken tijdens zijn jaarlijkse softwareontwikkelaarsconferentie in juni en het later dit jaar lanceren.

Net als bij sommige eerdere grote weddenschappen van Apple, is het bedrijf van plan langzaam te beginnen. Het streeft ernaar om de vroege productie van het apparaat in februari in China te starten en overweegt om het product in de VS te lanceren om aan de slag te gaan. Het prijskaartje zal naar verwachting ook de aantrekkingskracht van het product beperken, en Apple werkt al aan een goedkopere versie – voor een release eind 2024 of begin 2025 – die dichter bij $ 1.500 zou kunnen liggen. Dat is wat Meta in rekening brengt voor zijn mixed reality-headset.

Apple verwacht in het eerste jaar ongeveer 1 miljoen exemplaren van zijn nieuwe hoofdtelefoons te verkopen. Dat is vergelijkbaar met meer dan 200 miljoen eenheden voor de iPhone, de grootste winstmaker van het in Cupertino, Californië gevestigde bedrijf. In een zeldzame beweging is het ook niet van plan om winst te maken op de eerste release – zelfs niet tegen de hoge prijs – wat aangeeft dat het bedrijf een langetermijnvisie op het platform heeft.

Meeslepende videoweergave zal een belangrijk kenmerk van het nieuwe apparaat zijn. Apple heeft de ontwikkeling van VR-content voor het platform besproken met een half dozijn mediapartners, waaronder The Walt Disney Co. en Dolby Laboratories Inc. En de technologiegigant werkt zijn Apple TV + -dingen bij om met de headset te werken. Als onderdeel van de push kocht Apple in 2020 het livestreamingbedrijf NextVR, met als doel sportcontent in virtual reality te creëren.

Apple is van plan om de headset te voorzien van een speciale functie voor het bekijken van video’s, waardoor kijkers het gevoel krijgen dat ze naar een film kijken op een gigantisch scherm in een andere omgeving, zoals een woestijn of de ruimte. Maar hoewel de video van de headset meeslepend zal zijn, zullen de luidsprekers minder krachtig zijn. Gebruikers zullen dus AirPods moeten dragen om een ​​volledig ruimtelijk geluid – surround sound-effect te krijgen.

Het apparaat heeft ook productiviteitsfuncties, waaronder de mogelijkheid om als externe monitor voor je Mac te fungeren. Met deze functie kunnen gebruikers hun Mac-scherm in virtual reality zien, maar toch de computer bedienen met een fysiek trackpad of muis en toetsenbord.

Het besturingssysteem van de headset, intern xrOS genoemd, zal veel van dezelfde functies hebben als de iPhone en iPad, maar dan in een 3D-omgeving. Het bevat de Safari-webbrowser, Foto’s, Mail, Berichten en de Agenda-app. Het zal ook apps voor de diensten van het bedrijf bevatten, zoals de App Store voor het installeren van software van derden, Apple TV+, muziek en podcasts. Het bedrijf werkt ook aan functionaliteit voor het volgen van de gezondheid.

De ervaring zou bekend moeten zijn bij Apple-gebruikers. Wanneer u de headset opzet, is de hoofdinterface bijna identiek aan die van de iPhone en iPad, met een startscherm met een raster van pictogrammen die kunnen worden gereorganiseerd. Gebruikers kunnen widgets, zoals het weer, agenda-afspraken, e-mail en beursprestaties, tussen hun app-pictogrammen vastzetten.

Wanneer gebruikers tekst moeten invoeren, kunnen ze de stemassistent Siri gebruiken of vertrouwen op het iPhone-, Mac- of iPad-toetsenbord. In tegenstelling tot de Apple Watch hoeft de iPhone echter niet te worden ingeschakeld. Het bedrijf ontwikkelt technologie waarmee gebruikers met hun handen in de lucht kunnen typen, maar het is onwaarschijnlijk dat deze functie klaar zal zijn voor de eerste lancering.

Van games wordt verwacht dat ze een populair aanbod zijn van externe ontwikkelaars, en Apple heeft zijn kernmotor gemaakt om VR-games aan te drijven. In 2017 bracht het bedrijf ARKit en andere tools uit om ontwikkelaars te helpen bij het opzetten van augmented reality-ervaringen op de iPhone. Dit hielp de weg vrij te maken voor programmeurs om apps, games en services voor de headset te maken.

Het Apple-apparaat zal een variant bevatten van de M2-chip die te vinden is in de nieuwste Macs van het bedrijf, evenals een processor die is bedoeld voor grafische weergaven en mixed reality-ervaringen. De tweede tranche zal de Reality Processor heten, volgens handelsmerkinzendingen van de technologiegigant.

Maar om de processors krachtig genoeg te maken, bracht nog een ander probleem met zich mee: het apparaat raakt oververhit wanneer het op het gezicht van de gebruiker zit. Om dit probleem aan te pakken, heeft Apple de beslissing genomen om de batterij van de binnenkant van de headset naar een extern pakket te verplaatsen. Het zit in de zak van de gebruiker en maakt verbinding via een kabel. Een andere wijziging is de opname van een koelventilator zoals op high-end Macs.

De headset kan ongeveer twee uur per batterijpakket meegaan, in lijn met concurrerende producten. Toch is de batterij groot: ongeveer zo groot als twee iPhone 14 Pro Max’s die op elkaar zijn gestapeld, of 15 cm lang en meer dan een halve inch dik. Sommige prototypes voor interne softwareontwikkeling hebben echter een ingebouwde batterij en worden opgeladen via USB-C.

Meta daarentegen plaatst zijn batterijen op de achterkant van zijn headset op een manier die helpt het apparaat op het hoofd van een persoon te balanceren. De aanpak van Apple is uiteindelijk misschien minder comfortabel voor gebruikers, vooral als ze een hele film kijken terwijl ze een headset dragen. Sommige testers klaagden volgens People dat het product omslachtig kan zijn.

De relatief korte levensduur van de batterij – ongeveer 20 uur minder dan de nieuwste MacBook Pro van Apple – kan zijn eigen hoofdpijn veroorzaken. Als gebruikers urenlang meerdere films willen kijken of games willen spelen, moeten ze mogelijk meerdere batterijen kopen en deze regelmatig vervangen.

Apple heeft deze uitdagingen intern erkend en heeft geprobeerd realistische verwachtingen voor het product te scheppen. Het bedrijf is van mening dat een van de voordelen van het apparaat is dat het klanten kan motiveren om Apple-winkels te bezoeken – niet per se om het product te kopen, maar om het uit te proberen. Ze kunnen dan een ander apparaat aanschaffen, zoals een iPad of AirPods.

Om te pronken met de nieuwe headset, creëert Apple een “winkel-in-een-winkel”-concept – een gebied in winkels dat is gewijd aan het uitstallen van producten. Het bedrijf deed iets soortgelijks toen het de Apple Watch lanceerde, die nu centraal staat in de divisie van $ 41 miljard.

De eerste luidspreker is gemaakt van aluminium, glas en kussens, wat doet denken aan de Apple AirPods Max van $ 550. Het product heeft een gebogen scherm aan de voorkant dat de ogen van de drager virtueel kan laten zien, met luidsprekers aan de zijkanten en een hoofdband die helpt het apparaat rond het hoofd van de gebruiker te plaatsen.

Dit zal verschillen van het grotendeels plastic ontwerp van concurrerende producten, die het apparaat doorgaans met meerdere banden aan de drager bevestigen.

Oog- en handtracking is misschien wel het meest unieke onderdeel van een headset. Net als bij eerdere grote weddenschappen, voegt Apple graag een baanbrekende interface toe die zijn producten onderscheidt van concurrenten. Bij de iPod was dat het klikwiel. Met de iPhone en iPad was dit de multi-touch-benadering. En met de Apple Watch was het de Digital Crown.

Nu hoopt Apple de sci-fi-achtige interface in de headset tot een van zijn nieuwste producten te maken.

© 2023 Bloomberg LP