Meta zegt dat het een model van de volgende generatie van eiwitvouwing heeft gecreëerd • The Register

AI-onderzoekers van Meta zeggen dat ze tot nu toe het grootste eiwitvouwmodel in zijn soort hebben ontwikkeld en dat het in staat is de structuur van meer dan 600 miljoen eiwitten te voorspellen.

het team borst Het model gebaseerd op de ESM-2-adapter van 15 miljard varianten en een database voor de voorspellingen van de eiwitstructuur, genaamd Atlas Metagenomic ESM, Dinsdag. Deze database bevat eiwit-isovormen die wetenschappers nog niet hebben waargenomen.

Eiwitten zijn complexe biologische moleculen die tot 20 soorten aminozuren bevatten en ze vervullen allerlei biologische functies in levende organismen. Cruciaal is dat ze zijn gevouwen tot complexe 3D-structuren en hun vorm is van vitaal belang voor hoe ze functioneren; Weten hoe het eruit ziet, helpt wetenschappers te begrijpen hoe het werkt, en op basis daarvan kunnen ze manieren ontdekken om dat gedrag na te bootsen, te veranderen of tegen te gaan.

Helaas kun je niet zomaar de aminozuursamenstelling nemen en meteen aan de uiteindelijke structuur werken. Je kunt simulaties uitvoeren of experimenteren om erachter te komen, maar dat duurt lang. Tegenwoordig kun je goed opgeleide machine learning-software leveren aan de chemische structuur van een eiwit, en het model zal relatief snel en nauwkeurig de structuur voorspellen.

DeepMind heeft zelfs veel laten zien met zijn AlphaFold-model, dat win – win CASP International Biennial Protein Folding Competition in 2020. Door een inputketen van aminozuren kunnen AlphaFold en andere machine learning-software de bijbehorende 3D-structuur genereren.

Sindsdien hebben onderzoekers van het in Londen gevestigde DeepMind hun systeem verbeterd om trots De structuur van meer dan 200 miljoen eiwitten is bekend bij de wetenschap. Meta’s nieuwste ESM-systeem ging nog verder en voorspelde honderden miljoenen na te zijn getraind op miljoenen eiwitsequenties.

Voorlopige paper door het Meta-team – Lin et al – waarin het ontwerp van de ESM-2 . wordt uitgelegd is hier te vinden. Interessant, volgens Onderzoekers, is het systeem in feite een groot taalkundig model dat is ontworpen “om evolutionaire patronen te leren en nauwkeurige end-to-end structurele voorspellingen rechtstreeks uit eiwitsequenties te genereren.” AlphaFold is bijvoorbeeld geen modeltaal en hanteert een andere aanpak.

Zoals Boffin in hun paper opmerkt, kunnen deze grote taalmodellen voor veel meer worden gebruikt dan alleen het omgaan met menselijke talen: “Moderne taalmodellen met tientallen tot honderden miljarden parameters ontwikkelen mogelijkheden zoals low-snap taalvertaling, logisch redeneren en wiskunde Problemen oplossen Allemaal zonder expliciete supervisie.

“Deze waarnemingen verhogen de mogelijkheid van een parallelle vorm van uiterlijk door linguïstische modellen die zijn getraind op eiwitsequenties.”

Het resultaat is ESM-2, dat, hoewel een taalkundig model is geleerd om de fysieke vorm van een eiwit te voorspellen uit een tekstreeks die aminozuren voorstelt.

ESM-2 is het grootste model in zijn soort en lijkt structuren sneller te voorspellen dan vergelijkbare systemen; Het is tot 60 keer sneller dan de nieuwste, eerdere systemen zoals AlphaFold of Rosetta, die volgens Meta meer dan tien minuten nodig hebben om een ​​output te genereren.

Het model was in staat om de ESM’s Metagenomic Atlas te creëren en voorspelde meer dan 600 miljoen structuren van MGnify90 Eiwitdatabase in slechts twee weken op 2000 GPU’s. Op een enkele Nvidia V100 GPU duurt het slechts 14,2 seconden om een ​​eiwit van 384 aminozuren te simuleren. Uit het onderzoeksrapport blijkt dat Meta zei dat zijn systeem grotendeels, maar niet volledig, overeenkomt met AlphaFold in termen van nauwkeurigheid, hoewel de snelheid het belangrijkste is, waardoor het meer eiwitten kan voorspellen.

“Met behulp van de huidige state-of-the-art computationele tools kan het voorspellen van de structuren van honderden miljoenen eiwitketens in een praktisch tijdsbestek jaren duren, zelfs met de middelen van een grote onderzoeksinstelling. Om voorspellingen te doen op metagenomica-niveau, een doorbraak in voorspellingssnelheid is van cruciaal belang”, aldus de Facebook-eigenaar.

Meta hoopt dat de ESM-2 en ESM Metagenomic Atlas de wetenschap vooruit zullen helpen door wetenschappers te helpen bij het bestuderen van de evolutionaire geschiedenis of het aanpakken van ziekten en klimaatverandering. “Om dit werk nog verder uit te breiden, onderzoeken we hoe taalmodellen kunnen worden gebruikt om nieuwe eiwitten te ontwerpen en bij te dragen aan het oplossen van uitdagingen op het gebied van gezondheid, ziekte en het milieu”, concludeerde Pease. ®