Installeer open source AI in de robot en hij zal je kamer opruimen

Met behulp van alleen open source AI lieten onderzoekers een commerciële robot objecten vinden en verplaatsen in een kamer waarin hij nog nooit eerder was geweest. De robot is niet perfect, maar het suggereert dat we misschien niet zo ver verwijderd zijn van het delen van onze huizen met huishoudelijke robots als experts eerder dachten.

“Gewoon absoluut onmogelijk”: Demovideo's van robots Keuken schoonmaken, Snacks makenEn Andere huishoudelijke klusjes doen Misschien zou je willen dat de dagen waarop de vaatwasser werd gevuld, geteld waren, maar AI-experts voorspellen dat we nog steeds hetzelfde zijn Een decennium verder Van het overdragen van een fractie van ons routinewerk aan robots.

“Er zit een heel doordringend gevoel in [robotics] “Huizen zijn moeilijk, robots zijn moeilijk, en het combineren van huizen en robots is absoluut onmogelijk”, zegt Mahi Shafiullah, een promovendus aan de NYU Courant. Vertellen MIT-technologierecensie.

Open source, klaar voor gebruik: Een grote hindernis in de revolutie op het gebied van thuisrobotica is het bouwen van een robot die in één robot kan werken Iedereen Thuis is veel moeilijker dan iemand opleiden om in een gecontroleerde laboratoriumomgeving te werken.

Een nieuwe studie – mede geleid door Shafiullah, en waarbij onderzoekers van de New York University en de AI-organisatie Meta betrokken zijn – suggereert dat we misschien dichter bij huishoudelijke robots staan ​​dan we denken.

Met behulp van alleen open source-software hebben ze een in de handel verkrijgbare robot aangepast, zodat deze op commando objecten door een kamer kon verplaatsen waar hij nog nooit eerder was geweest. Ze noemen het systeem ‘OK-Robot’ en tonen details van het werk in een bestand papier Gedeeld op de arXiv preprint-server.

“Vertel de robot gewoon in natuurlijke taal wat hij moet kiezen en waar hij het moet laten vallen, en hij zal het doen.” piepen Lirel Pinto, die samen met Shafiullah het onderzoek leidde.

Hoe het werkt: de De robot die het hart vormt van het OK-Robot-systeem heet Rekken (Je kunt er een kopen voor slechts $ 19.950, plus verzendkosten en belastingen.) Het verlengstuk heeft een basis op wielen, een verticale paal en een robotarm die op en neer langs de paal kan glijden. Aan het uiteinde van de arm zit een grijper waarmee de robot voorwerpen kan vastpakken.

Om van de robot iets te maken waarmee mensen kunnen praten, heeft het team hem uitgerust met vision-taalmodellen (VLM's) – kunstmatige intelligentie die is getraind om zowel beelden als woorden te begrijpen – en vooraf getrainde navigatie- en grijpmodellen.

Vervolgens maakten ze met de iPhone-app Record3D een 3D-video van een kamer en deelden deze met de robot, een proces dat ongeveer zes minuten duurde. Vervolgens kunnen ze de robot een tekstcommando geven om een ​​object in de kamer naar een nieuwe locatie te verplaatsen, waarna hij het object zal lokaliseren en verplaatsen.

Ze testten OK-Robot in 10 kamers. In elke kamer kiezen ze 10 tot 20 voorwerpen die in de greep van de robot kunnen worden geplaatst en vragen hem deze (één voor één) naar een ander deel van de kamer te verplaatsen (“verplaats het frisdrankblikje naar de doos”, “verplaats de takkis “op het bureau naar de tafel”, enz.).

Over het geheel genomen behaalde de robot een succespercentage van 58,5% bij het voltooien van taken. Maar in minder drukke ruimtes was hun slagingspercentage veel hoger: 82,4%.

Ik kijk uit naar: Hoewel OK-Robot maar één ding kan (en het doet het niet altijd goed), is het feit dat het gebaseerd is op kant-en-klare modellen en geen speciale training vereist om in een nieuwe omgeving te werken – alleen video van de kamer – is best gaaf.

Dat wordt de volgende stap voor het team Open source hun code Zodat anderen kunnen voortbouwen op waar ze mee zijn begonnen – en misschien kunnen helpen om huisrobots sneller dan verwacht klusjes te laten doen.

“Ik denk dat zodra mensen gaan geloven in de mogelijkheid om thuisrobots te gebruiken, er veel werk op dit gebied zal beginnen,” zei Shafiullah.

dit voorwaarde Oorspronkelijk gepubliceerd door onze zustersite Freethink.