Dieser Vortrag präsentiert SLIT, ein Foundation Model für die Analyse dreidimensionaler (3D) medizinischer Scans, vorgestellt von Orin, KI-Wissenschaftler bei Optum AAI (United Health Group) und ehemaliger Postdoktorand. Das Modell wurde entwickelt, um den klinischen Engpass bei der Früherkennung altersbedingter Krankheiten wie der altersbedingten Makuladegeneration (AMD) zu überwinden. Durch die Kombination eines 2D-Convolutional-Feature-Extractors (unter Verwendung eines Tiling-Verfahrens zur Verarbeitung von Volumenschichten) mit einem Vision Transformer als Feature-Integrator ermöglicht SLIT eine hocheffiziente Analyse von 3D-Scans (darunter optische Kohärenztomographie, Ultraschall-Echokardiogramme, MRT- und CT-Scans). Mit einem zweistufigen Vortraining (ImageNet gefolgt von 2D-OCT-Daten) erzielt SLIT eine mit zertifizierten Netzhaut-Spezialisten vergleichbare Leistung bei der Erkennung von Hochrisiko-Biomarkern, benötigt jedoch bis zu viermal weniger Trainingsdaten (<700 Proben) als domänenspezifische State-of-the-Art-Methoden. Zukünftige Anwendungen umfassen die longitudinale Krankheitsverlaufsanalyse, die Vermeidung unnötiger chirurgischer Eingriffe sowie automatisierte Qualitätskontroll-Agenten ("Vision Model as a Judge").
Wichtigste Punkte & Zeitstempel
0:00 Einführung & beruflicher Kontext: Orin stellt seine Forschung im Bereich der computergestützten Medizin vor und teilt Einblicke in seine Arbeit bei Optum AAI sowie seine akademische Laufbahn an der UCLA und der Universität Tel Aviv.
5:56 Motivation durch AMD: Vorstellung der altersbedingten Makuladegeneration (AMD) als Hauptursache für Erblindung bei älteren Erwachsenen in Industrieländern, die laut CDC-Schätzungen über 40 Millionen Menschen in den USA betrifft.
8:15 Vorstellung von SLIT: Einführung des Frameworks SLIT, eines Foundation Models, das ursprünglich für die automatisierte Erkennung von AMD-Frühbiomarkern entwickelt wurde und später auf andere medizinische Bildgebungsmodalitäten ausgeweitet wurde.
9:03 OCT-Bildgebung als Datengrundlage: Erläuterung der optischen Kohärenztomographie (OCT), einer nicht-invasiven 3D-Netzhautbildgebung, die zunehmend in nicht-klinischen Umgebungen wie Optometriezentren als alltägliches Nebenprodukt verfügbar ist.
13:28 Architektur & Tiling-Verfahren: Überwindung von Daten- und Rechenengpässen durch einen 2D-Faltungs-Backbone und eine Tiling-Technik, die Volumenscheiben in ein gestrecktes Bild konvertiert, um die Verarbeitung durch den Vision Transformer zu ermöglichen.
14:59 Zweistufiges Vortraining (Two-Step Pre-training): Das Modell durchläuft ein Vortraining auf ImageNet, gefolgt von einem zweiten Vortraining auf einem öffentlichen 2D-OCT-Datensatz, wodurch eine hohe Dateneffizienz erreicht wird.
16:43 Evaluierung der Biomarker: SLIT übertrifft traditionelle Baselines und den bisherigen State-of-the-Art-Ansatz (SliverNet) bei der Klassifizierung von Hochrisiko-Biomarkern wie dem Drusenvolumen (DV) signifikant.
19:16 Vergleich mit klinischen Spezialisten: SLIT erreicht eine mit sieben zertifizierten Netzhaut-Fellows vergleichbare Leistung, reduziert jedoch den Zeitaufwand von wochenlangen manuellen Annotationen (über 17 Netto-Arbeitsstunden pro Arzt) auf wenige Sekunden pro Volumen.
21:05 Universelle Anwendbarkeit auf andere Modalitäten: SLIT wurde erfolgreich auf Ultraschall-Echokardiogramme (Ejektionsfraktion zur Herzinsuffizienz-Diagnose), Leber-MRT-Scans und Lungen-CT-Scans übertragen und benötigt dabei bis zu viermal weniger Trainingsdaten als domänenspezifische Modelle.
24:16 Zukünftige Forschungsrichtungen & Validierung: Laufende Kollaborationen umfassen die Vermeidung unnötiger totaler Laryngektomien am Tel Aviv Medical Center, die Analyse von über 4.000 Patientenarchiven über ein Jahrzehnt am Hadassah Medical Center sowie die Entwicklung von "Vision Model as a Judge"-Agenten zur automatisierten Fehlerüberprüfung.
Glossar
SLIT: Ein von den Forschern entwickeltes Foundation Model für die hocheffiziente Analyse dreidimensionaler (3D) medizinischer Scans.
AMD (Altersbedingte Makuladegeneration): Eine progressive Augenerkrankung und die häufigste Ursache für schweren Sehverlust und Erblindung bei älteren Erwachsenen.
OCT (Optische Kohärenztomographie): Ein schnelles, nicht-invasives bildgebendes Verfahren zur Erstellung hochauflösender 3D-Schnittbilder der Netzhaut.
Vision Transformer (ViT): Eine auf Selbstaufmerksamkeit (Self-Attention) basierende Deep-Learning-Architektur, die Bilder in kleine Patches zerteilt, um globale Muster und Zusammenhänge zu analysieren.
2D-Convolutional-Backbone: Ein neuronales Netz mit zweidimensionalen Faltungsschichten, das als Merkmalsextraktor (Feature Extractor) zur Reduzierung der Datenkomplexität dient.
Drusenvolumen (DV): Ein zentraler klinischer Hochrisiko-Biomarker für AMD, bestehend aus lipid- und proteinhaltigen Ablagerungen unter der Netzhaut.
Ejektionsfraktion (Ejection Fraction): Ein Messwert (angegeben als Dezimalzahl oder Prozentsatz zwischen 0 und 1) für den Anteil des Blutes, den die Herzkammer bei jedem Schlag auspumpt, welcher als Hauptindikator für Herzinsuffizienz dient.
Totale Laryngektomie: Die vollständige, irreversible operative Entfernung des Kehlkopfes, bei der die Luftwege dauerhaft von Mund und Nase getrennt werden.
Vision Model as a Judge: Ein vorgeschlagenes Validierungsparadigma, bei dem visuelle KI-Agenten eingesetzt werden, um die Befunde und Ausgaben anderer Modelle vor der finalen klinischen Dokumentation autonom zu überprüfen.