Neurale netwerken maken een lijst van op fysica gebaseerde berekeningen om afbeeldingen sneller en duidelijker te herstellen

RLN’s verwerking van een onbewerkt weergavebeeld van een menselijke kankercel resulteerde in een duidelijker beeld dan een beeld dat werd gegenereerd met behulp van een gemeenschappelijk neuraal netwerk dat bekend staat als Thunder. Gele pijlen tonen details die door Thunder ontbreken. Het RLN-beeld kwam heel dicht in de buurt van het gouden standaardbeeld dat werd gegenereerd met een dure confocale microscoop. Het onderste paneel is een zijaanzicht van de cel. Krediet: Lee et al. De manieren van de natuur (2022). DOI: 10.1038/s41592-022-01652-7, Creative Commons Attribution 4.0 International License

Fluorescentiemicroscopie stelt onderzoekers in staat om specifieke structuren in complexe biologische monsters te bestuderen. Het beeld dat met fluorescerende sensoren wordt gemaakt, heeft echter last van vervaging en achtergrondruis. Het nieuwste werk van NIBIB-onderzoekers en hun medewerkers presenteert verschillende nieuwe beeldherstelstrategieën die scherpe beelden creëren en tegelijkertijd de verwerkingstijd en rekenkracht drastisch verminderen. De zoekopdracht is gepubliceerd in De manieren van de natuur.

De hoeksteen van moderne beeldverwerking is met name het gebruik van kunstmatige intelligentie neurale netwerken dit gebruik diep leren om ondoorzichtigheid te verwijderen en achtergrondgeluid in beeld. De basisstrategie is om te onderwijzen diep lerend netwerk Voorspelt hoe een wazig beeld met ruis eruit zal zien zonder wazigheid en ruis. Het netwerk moet worden getraind om dit te doen met behulp van grote datasets van paren van scherpe en vage versies van hetzelfde beeld. Een belangrijke belemmering voor het gebruik van neurale netwerken zijn de tijd en kosten die gemoeid zijn met het maken van grote trainingsgegevenssets.

Voordat neurale netwerken werden gebruikt, werden afbeeldingen – bekend als deconvolutie – opgeschoond met behulp van vergelijkingen. Richardson-Lucy Deconvolution (RLD) gebruikt een vergelijking die kennis van de door een microscoop verschafte opaciteit gebruikt om het beeld te illustreren. Het beeld wordt herhaaldelijk door de vergelijking verwerkt om het te verbeteren. Elke passage door de vergelijking staat bekend als iteratie en er zijn veel iteraties nodig om een ​​duidelijk beeld te creëren. De middelen en tijd die nodig zijn om de afbeelding door vele iteraties te laten lopen, is een groot nadeel van de RLD-aanpak.

RLD is fysica gedreven omdat het beschrijft fysieke eigenschappen die beeldruis en vervorming veroorzaken. Neurale netwerken zouden datagedreven zijn omdat ze naar veel afbeeldingen (data) moeten kijken om te zien wat een wazig of helder beeld is. Het NIBIB-team probeerde te profiteren van de voordelen – en de nadelen te verzachten – van elke methode door ze te combineren. Het resultaat is een neuraal netwerk die ook RLD gebruikt – het Richardson-Lucy Network (RLN).

Door het ontwerp ontdekt het neurale netwerk eigenschappen in identieke paren die het zullen helpen om te leren hoe het vage beeld duidelijk kan worden gemaakt. Interessant is dat de wetenschappers die deze netwerken hebben ontworpen over het algemeen niet weten welke specifieke eigenschappen het netwerk gebruikt om deze prestatie te bereiken. Wat bekend is, is dat de kenmerken die door het netwerk worden gedetecteerd, ten minste gedeeltelijk zijn gebaseerd op de fysieke eigenschappen van de microscoop en dus kunnen worden weergegeven door vergelijkingen.

Het team ontwikkelde een trainingssysteem dat RLD-achtige vergelijkingen integreert in het neurale netwerk die informatie toevoegen over de fysieke eigenschappen die het beeld vervormen. De meest bruikbare vergelijkingen worden gerecycled via het netwerk – versnellen leerproces. Zo worden iteratieve vergelijkingen voor RLD ingebouwd in het neurale netwerk om de RLN te genereren.

“We beschouwen deze aanpak als het ‘leiden’ van het leerproces van het neurale netwerk”, legt Yicong Wu, PhD, een van de senior auteurs van het onderzoek, uit. “Simpel gezegd, de instructies helpen het netwerk om sneller te leren.”

Tests op afbeeldingen van wormembryo’s hebben aangetoond dat de terugkerende larynx-zenuw zowel training als . verbetert Verwerkingstijd Vergeleken met andere deep learning-software die nu in gebruik is. Het aantal parameters dat nodig is om het netwerk met RLN te trainen, is drastisch teruggebracht van enkele miljoenen tot minder dan 20.000. De verwerkingstijd om duidelijke afbeeldingen van embryo’s te verkrijgen is ook aanzienlijk verminderd, aangezien RLN slechts een paar seconden nodig heeft om het beeld op te lossen in vergelijking met 20 seconden tot enkele minuten met behulp van gemeenschappelijke neurale netwerken anders.

Hoewel RLN het trainingsproces versnelt, is het moeilijk om de datasets te verkrijgen voor de vage en duidelijke afbeeldingen die nodig zijn om het netwerk helemaal opnieuw te trainen of op te bouwen. Om het probleem aan te pakken, voerden de onderzoekers de RLD-vergelijkingen omgekeerd uit om snel synthetische datasets voor training te genereren. De door de computer gegenereerde afbeeldingen zijn gemaakt met behulp van een mengsel van punten, cirkels en bollen – gemengde synthetische gegevens genoemd. Op basis van metingen van onscherpe cellen werden vervagingen toegevoegd aan de kunstmatige afbeeldingen. Achtergrondruis is ook toegevoegd om wazige en lawaaierige afbeeldingen van door de computer gegenereerde kunstmatige vormen te creëren. Paren van gemengde, heldere en ambigue synthetische vormen werden gebruikt om het neurale netwerk te trainen om daadwerkelijke beelden van levende cellen op te halen.

Het experiment toonde aan dat RLN, getraind op synthetische data, beter presteerde dan RLD bij het maken van duidelijke beelden van onscherpe cellen. Indrukwekkend genoeg verwijderde RLN veel subtiele structuren in de afbeeldingen die RLD niet kon detecteren.

“Het succes dat we hebben bij het gebruik van synthetische gegevens om neurale netwerken te trainen, is erg opwindend”, legt Harry Shroff, PhD, een van de hoofdauteurs van het onderzoek uit. “Het maken of verwerven van datasets voor training is een enorme hindernis geweest bij beeldverwerking. Deze combinatie van resultaten in dit werk – dat synthetische gegevens echt werken, vooral wanneer ze worden gebruikt met RLN – heeft het potentieel om een ​​nieuw tijdperk in beeldverwerking in te luiden dat we zijn zo agressief op zoek.”

De groep is erg enthousiast over een ander aspect van het bedrijf. Ze ontdekten dat synthetische datasets die zijn gemaakt om afbeeldingen van een specifiek onderwerp, zoals levende cellen, te herstellen, ook in staat waren om dubbelzinnige afbeeldingen te herstellen van afbeeldingen die zo verschillend zijn als menselijke hersenen. Ze omschrijven dit als “generaliserende” compositorische training. Het team beweegt zich nu op volle snelheid om te zien hoe ver een dergelijke generalisatie kan gaan om de creatie van hoogwaardige afbeeldingen voor biologisch onderzoek te versnellen.