Het door AI aangedreven groene scherm van Netflix baadt de cast in oogverblindend paars

Afbeeldingscredits: Netflixen

Het make-upproces, of het plaatsen van acteurs tegen een achtergrond die er in werkelijkheid niet is, is zo oud als het filmmaken zelf – en altijd moeilijk. Netflix heeft nieuwe technologie die afhankelijk is van machine learning om een ​​deel van het harde werk te doen, maar het vereist lichtacteurs met een gloeiende paarse kleur.

Decennia lang was de eenvoudigste make-upmethode een chroma key, waarbij acteurs voor een felgekleurde (oorspronkelijk blauwe, later groene) achtergrond stonden die gemakkelijk kon worden geïdentificeerd en vervangen door alles van een weerkaart tot een gevecht met Thanos. De voorgrond zou “onsamenhangend” zijn en de achtergrond is een transparant “alfa”-kanaal dat samen met de rode, groene en blauwe kanalen wordt gemanipuleerd.

Het is gemakkelijk en goedkoop, maar er zijn enkele nadelen, waaronder problemen met transparante objecten, fijne details zoals haar en natuurlijk al het andere dat een vergelijkbare kleur heeft als de achtergrond. Ze zijn meestal goed genoeg, hoewel pogingen om ze te vervangen door geavanceerdere en duurdere methoden (zoals een lichtveldcamera) zijn mislukt.

Netflix-onderzoekers proberen het echter, met een mix van oud en nieuw die make-up eenvoudig en puur kan houden – ten koste van een helse verlichtingsopstelling.

Zoals blijkt uit een onlangs gepubliceerd artikel, “paars groen scherm” produceert oogverblindende resultaten door acteurs in een lichtsandwich te plaatsen. achter hen, felgroen (actief verlicht, geen achtergrond); Aan de voorkant is het een mix van rood en blauw, wat zorgt voor mooie contrasterende kleuren.

Acteurs lichten paars op tegen een groen scherm. Afbeeldingscredits: Netflixen

De resulterende look op de shoot zal waarschijnlijk zelfs de meest ervaren postproductie-artiest ineenkrimpen. Normaal gesproken wil je dat je acteurs helder verlicht worden met redelijk natuurlijk licht, dus ook al hebben ze hier en daar wat klopjes nodig, hun in-camera look is relatief natuurlijk. Maar als het uitsluitend wordt verlicht met rood en blauw licht, vervormt het het uiterlijk volledig, aangezien natuurlijk licht natuurlijk geen significant deel van zijn spectrum afsnijdt.

Maar de technologie is daar ook slim in door de voorgrond alleen rood/blauw te maken en de achtergrond alleen groen, het vereenvoudigt het proces om de twee te scheiden. Een normale camera die normaal gesproken die kleuren vastlegt, legt in plaats daarvan rood, blauw en alfa vast. Dit maakt de resulterende delen zeer nauwkeurig, zonder de artefacten die voortkomen uit het scheiden van de volledige spectruminvoer van de beperkte spectrum hoofdachtergrond.

Natuurlijk lijken ze de ene moeilijkheid door de andere te hebben vervangen: passen is nu eenvoudig, maar het herstellen van het groene kanaal voor paars verlichte doelen is moeilijk.

Dit moet systematisch en adaptief gebeuren, gezien de verschillende onderwerpen en composities, maar een ‘naïeve’ lineaire benadering van het injecteren van groen resulteert in een doffe, gelige uitstraling. Hoe kan het worden geautomatiseerd? AI schiet te hulp!

Het team trainde het machine learning-model op basis van hun trainingsgegevens, die in wezen ‘repetitie’-opnamen zijn van vergelijkbare, maar natuurlijk verlichte scènes. Het convolutionele neurale netwerk krijgt correcties van het volledige spectrumbeeld om te vergelijken met het paars verlichte beeld, en ontwikkelt een proces om het verloren groene kanaal snel te herstellen op een manier die slimmer is dan een eenvoudig algoritme.

Een eenvoudig algoritme levert slechte resultaten op (hoger), terwijl een complexer ML-model kleuren produceert die sterk lijken op de onderliggende realiteit. Afbeeldingscredits: Netflixen

Dus kleur kan verrassend goed in post worden hersteld (“vrijwel niet te onderscheiden” van de grondwaarheid in de camera) – maar er is nog steeds het probleem dat de acteurs en de set op zo’n vreselijke manier moeten worden verlicht. Veel acteurs klagen al dat werken voor een groen scherm onnatuurlijk is – stel je voor dat je dat doet terwijl je wordt verlicht in een hard, onmenselijk licht.

De krant pakt dit echter aan met de mogelijkheid om de verlichting te “verdubbelen”, waarbij de paars/groene verlichting in wezen meerdere keren per seconde wordt in- en uitgeschakeld. Het is afleidend (zelfs gevaarlijk) om 24 keer per seconde te doen (dat is de framesnelheid waarmee de meeste films en tv worden opgenomen), maar als ze de lichten sneller schakelen – 144 keer per seconde – ziet het er “bijna constant” uit.

Dit vereist echter een complexe synchronisatie met de camera, die alleen het licht mag vastleggen tijdens de korte momenten dat de scène paars is. En ze moeten ook rekening houden met verloren frames voor beweging…

Zoals je kunt zien, is dit nog erg experimenteel. Maar het is ook een interessante manier om een ​​oud probleem in de mediaproductie op een nieuwe, hoogtechnologische manier te benaderen. Dit zou vijf jaar geleden niet mogelijk zijn geweest, en hoewel het al dan niet wordt goedgekeurd, is het duidelijk het proberen waard.