Diese Übersichtsarbeit fasst die Fortschritte bei der Integration von Deep-Learning-Methoden in die Einzelmolekül-Lokalisierungsmikroskopie (SMLM) und das Point-Spread-Function-Engineering (PSF-Engineering) in zwei und drei Dimensionen zusammen. SMLM überwindet die klassische optische Beugungsgrenze (~200–300 nm) und erreicht Auflösungen im Nanometerbereich, stieß historisch jedoch bei hohen Emitterdichten und 3D-Rekonstruktionen auf massive algorithmische Rechenengpässe sowie deterministische Spatiotemporal-Trade-offs.
Durch das exakte physikalische Verständnis der optischen Übertragungsfunktion können neuronale Netze vollständig auf synthetischen Daten trainiert werden. Dies ermöglicht eine parameterfreie Rekonstruktion in Echtzeit und das koordinierte End-to-End-Design (Co-Design) von optischen Phasenmasken und Rekonstruktionsalgorithmen. Die vorgestellten Frameworks decken dichte 2D/3D-Lokalisation, aberrationskorrigierte Großfeldaufnahmen, spektrales Multiplexing ohne Farbkanäle, super-spatiotemporale Dynamikrekonstruktion, optisches Genom-Mapping sowie physikinformierte generative Modellierungen zur Schließung der Simulations-Experiment-Lücke ab.
Wichtigste Punkte
Überwindung des Beugungslimits und algorithmische Bottlenecks: Klassische SMLM-Verfahren (STORM, PALM, DNA-PAINT) trennen Fluorophoremissionen stochastisch über Tausende Einzelbilder, erforderten bisher jedoch rechenintensive Maximum-Likelihood-Schätzungen (MLE) oder Compressed-Sensing-Verfahren, die bei überlappenden Punktspreizfunktionen (PSFs) hoher Emitterdichten versagen oder manuell adjustiert werden müssen.
Deep-STORM für hochdichte 2D-Rekonstruktion: Ein vollständig gefaltetes Encoder-Decoder-Netzwerk rekonstruiert hochaufgelöste Bilder direkt aus Beugungsbildern, verarbeitet bis zu 20.000 Emitter pro Sekunde auf GPUs und bewältigt Emitterdichten von bis zu ~6 Emittern/µm² ohne explizites Emitter-Fitting.
DeepSTORM3D und optisches Co-Design: Durch Einbettung einer differenzierbaren physikalischen Simulationsschicht optimiert DeepSTORM3D neuronale Netze und Phasenmasken gemeinsam. Das System erzielt in fixierten Zellen eine laterale Auflösung von ~40 nm und eine axiale Auflösung von ~50 nm über einen Tiefenbereich von 4 µm und erlaubt 3D-Telomer-Tracking bei 10 Hz.
Mehrkanal-Nebulae-PSFs: Bei extremen 3D-Emitterdichten teilt ein Zweikanalsystem das Signal auf zwei Phasenmasken auf. Das gemeinsame End-to-End-Lernen beider Kanäle verdoppelt die Detektionsrate gegenüber Einkanal-Konfigurationen, da die Reduktion räumlicher Signalüberlappungen den photometrischen Signal-Rausch-Verlust überwiegt.
Aberrationskorrektur über große Sehfelder (PPG3D & FD-DeepLoc): Die Kombination eines PCA-basierten PSF-Generators (PPG3D) mit koordinatenbewussten Faltungsschichten (CoordConv) korrigiert räumlich variierende Aberrationen über Sehfelder von ~178 × 178 µm und verbessert die laterale Genauigkeit um 36 % sowie die axiale Genauigkeit um 30 %.
Automatisierte Modelladaption (AutoDS & AutoDS3D): AutoDS analysiert Bildparameter (SNR, Hintergrund, Dichte) automatisch patch-weise und wählt vortrainierte Netzwerke aus einer Bibliothek, womit nachträgliches Modelltraining entfällt; AutoDS3D beschleunigt die 3D-Rekonstruktionspipeline um den Faktor 7.
Spektrale Phasenkodierung und optisches Computing: Durch wellenlängenabhängige Phasenmasken können bis zu vier spektral unterschiedliche Fluorophore simultan über eine Monochromkamera klassifiziert werden. Ein aufgabenspezifisches Netzwerk bestimmt zudem 3D-Paarabstände zwischen Molekülen in einer Einzelaufnahme direkt, ohne Zwischenlokalisierung.
Optisches Genom-Mapping (DeepOM & OM2Seq): OM2Seq ersetzt zweistufige Lokalisierungs- und Alignment-Verfahren durch duale Transformer-Encoder, die DNA-Fluorophor-Muster und Referenzgenome in einen gemeinsamen Einbettungsraum projizieren, was das Alignment um zwei Größenordnungen beschleunigt.
Single-Shot-3D-Zellsegmentierung (CellSnap): Unter Verwendung einer kompakten Tetrapod-Phasenmaske in der Objektiv-Pupillenebene kartiert CellSnap eine einzelne 2D-Aufnahme direkt in ein 3D-Segmentierungsgitter von Zellkernen und ersetzt zeitintensive axiale Z-Stapel bei zehnfacher Durchsatzsteigerung.
Super-Spatiotemporale Rekonstruktion dynamischer Prozesse (DBlink): Durch Kopplung von CNNs mit bidirektionalen LSTMs rekonstruiert DBlink kontinuierliche Super-Resolution-Videos aus Blinking-Sequenzen mit einer Zeitauflösung von bis zu 15 ms (66,6 fps), wodurch Bewegungsartefakte und Photobleaching-Effekte drastisch reduziert werden.
Physikbasierte Datenaugmentierung (PILPEL): PILPEL nutzt ein selbstüberwachtes, objektzentriertes Framework mit explizitem physikalischem PSF-Decoder, um realistische experimentelle Rausch- und Hintergrundmuster zu generieren und die Simulations-zu-Realitäts-Lücke beim Modelltraining ohne manuelle Abstimmung zu schließen.
Zukünftige Entwicklungsfelder: Zukünftige Schwerpunkte liegen auf latenzfreier Echtzeit-Inferenz während der Akquisition, trainingsfreien mikroskopischen Basismodellen (Foundation Models) zur universellen Generalisierung sowie der 3D-Rekonstruktion kontinuierlicher, nicht-punktförmiger Gewebestrukturen.
Glossar
SMLM (Single-Molecule Localization Microscopy): Super-Resolution-Fluoreszenzmikroskopie (z. B. PALM, STORM, DNA-PAINT), die einzelne Moleküle zeitlich getrennt aufblinken lässt, deren Zentren mathematisch hochpräzise lokalisiert und daraus ein Gesamtbild jenseits der Beugungsgrenze rekonstruiert.
Beugungslimit (Diffraction Limit / Abbe-Limit): Physikalische Grenze der optischen Auflösung herkömmlicher Lichtmikroskope, bedingt durch Lichtbeugung, typischerweise bei ca. 200–300 nm lateral.
PSF (Point Spread Function / Punktspreizfunktion): Die dreidimensionale Intensitätsverteilung, mit der ein einzelner punktförmiger Emitter durch ein optisches Abbildungssystem auf dem Sensor abgebildet wird.
PSF-Engineering (Wellenfrontformung): Gezielte Manipulation der Phasen- oder Amplitudenverteilung des Lichts in der Pupillenebene des Mikroskops (z. B. mittels Phasenmasken), um zusätzliche Informationen (z. B. axiale 3D-Position oder Wellenlänge) in der Form der PSF zu kodieren.
Astigmatische PSF: Modifikation der PSF durch eine Zylinderlinse, wodurch ein runder Punkt je nach axialer Tiefe (Z-Achse) zu einer horizontalen oder vertikalen Ellipse verzerrt wird.
Double-Helix-PSF (DH-PSF): Eine Phasenmasken-modifizierte PSF, die zwei Intensitätsmaxima (Lobes) erzeugt, deren Rotationswinkel zueinander die axiale Tiefe über mehrere Mikrometer anzeigt.
Tetrapod-PSF: Hochentwickelte, informationsoptimierte Phasenmaske, die komplexe, mehrlappige Muster über weite Tiefenbereiche (bis zu 20 µm) erzeugt, um maximale Lokalisierungspräzision in 3D zu gewährleisten.
MLE (Maximum Likelihood Estimation): Klassisches statistisches Optimierungsverfahren zur Parameterbestimmung (z. B. Emitterkoordinaten), das die Wahrscheinlichkeit maximiert, das gemessene Photonenverteilungsmuster unter einem gegebenen Rauschmodell zu beobachten.
CoordConv: Erweiterung von Faltungsschichten (Convolutional Layers) in neuronalen Netzen um explizite Koordinatenmatrizen (X- und Y-Kanal), wodurch Netzwerke lernen können, ortsabhängige optische Bildfehler im Sehfeld zu berücksichtigen.
LSTM (Long Short-Term Memory): Eine rekurrente neuronale Netzwerkarchitektur, die sequentielle oder zeitliche Abhängigkeiten über viele Zeitschritte hinweg modellieren kann; in bidirektionaler Form nutzt sie sowohl vergangene als auch zukünftige Frames.
Optisches Genom-Mapping (OGM): Verfahren, bei dem gestreckte, fluoreszenzmarkierte DNA-Moleküle optisch abgebildet und anhand spezifischer Sequenzmuster mit Referenzgenomen abgeglichen werden.
Diffusionsmodell: Generative Deep-Learning-Architektur, die Daten generiert, indem sie schrittweise stochastisches Rauschen anhand gelernter Wahrscheinlichkeitsverteilungen in realistische mikroskopische Bildstrukturen umwandelt.
PILPEL (Physics-Informed Latent Particles for Emitter Localization): Selbstüberwachte KI-Methode, die physikalische Berechnungsmodelle der Lichtausbreitung mit generativen Netzen kombiniert, um synthetische Trainingsdaten mit realistischen experimentellen Rausch- und Hintergrundmustern zu erzeugen.
FOV (Field of View / Sehfeld): Der gesamte zweidimensionale Bereich der Probe, der vom Kamerasensor in einer Aufnahme erfasst werden kann.
Z-Stack (Axialer Bildstapel): Serie von 2D-Bildern, die durch schrittweises Verschieben des Fokus entlang der optischen Z-Achse aufgenommen werden, um ein dreidimensionales Volumen abzubilden.
SNR (Signal-to-Noise Ratio / Signal-Rausch-Verhältnis): Das Verhältnis der nutzbaren Signalintensität (Photonen der Emitter) zur überlagerten Hintergrund- und Rauschintensität (Autofluoreszenz, Poisson-Schrotrauschen, Sensor-Ausleserauschen).