David Masher, Forschungsdatenwissenschaftler am Cedars-Sinai Medical Center in Los Angeles, präsentiert in diesem Vortrag einen methodischen Ansatz zur Integration von professionellem medizinischem Fachwissen in Open-Source-Large-Language-Models (LLMs) anhand von Daten aus elektronischen Gesundheitsakten (EHR). Der Vortrag verdeutlicht, dass herkömmliche LLM-Benchmarks, die auf medizinischen Examensfragen basieren, die tatsächliche Komplexität klinischer Aufgaben – wie longitudinale Patientenverläufe, unvollständige Daten und symptomatische Ambiguität – nicht adäquat abbilden. Es wird ein Supervised Fine-Tuning (SFT) des Modells Qwen-34B auf Basis realer Notaufnahmedaten (ED-Notes) erläutert, um das Modul für medizinische Entscheidungsfindung (Medical Decision Making - MDM) zu imitieren. Die Evaluation erfolgte sowohl qualitativ durch verblindete Notärzte (Anhand von fünf Dimensionen) als auch quantitativ mittels ICD-10-Klassifikationsvorhersagen.
Wichtigste Punkte & Zeitstempel
0:00 Limitationen von LLM-Examens-Benchmarks: Herkömmliche Benchmarks basieren auf starren Prüfungsfragen und spiegeln nicht die longitudinale Komplexität, unvollständige Diagnostik und symptomatische Ambiguität des klinischen Alltags wider.
2:13 Das EHR-Datenproblem: Wertvolles klinisches Erfahrungswissen befindet sich in elektronischen Gesundheitsakten (EHR) hinter strengen Datenschutzbarrieren in Krankenhäusern, während im Internet zugängliche Daten meist nur Leitlinien, klinische Studien oder Lehrbücher umfassen.
3:50 Feinabstimmung auf Medical Decision Making (MDM): Einsatz von regulären Ausdrücken (RegEx) zur Segmentierung von Notaufnahmedaten (ED-Notes) bei Cedars-Sinai, um das MDM-Modul zu isolieren und das Open-Source-Modell Qwen-34B darauf zu trainieren, den ärztlichen Entscheidungsfindungsprozess nachzubilden.
5:30 Technische Trainingsinfrastruktur: Training auf acht Nvidia A100 (80GB) GPUs mittels Hugging Face TRL (Transformer Reinforcement Learning) unter Verwendung der Cross-Entropy-Loss-Funktion auf Tokens sowie 10 % externer Daten zur Vermeidung von katastrophalem Vergessen; die Trainingsdauer betrug 172 Stunden bei Batch-Größe 1.
6:20 Qualitative und Quantitative Evaluation: ED-Ärzte bewerteten das generierte MDM auf fünf Dimensionen (Genauigkeit, Halluzination, Vollständigkeit, Nutzen, Verständlichkeit), wobei das trainierte Modell die Baseline übertraf und eine 16-prozentige Verbesserung des F1-Scores bei der ICD-10-Diagnosevorhersage erzielte.
9:00 Generalisierungsaufgabe und Label-Kollaps: Ein Test zur Erkennung seltener kardialer Arrests in Notfallberichten zeigte einen partiellen Label-Kollaps, der eine nachgelagerte Voll-Feinabstimmung (Full Fine-Tuning) zur Fokussierung der Aufmerksamkeit erforderte.
10:04 Verlust der Chain-of-Thought-Fähigkeiten: Nach dem Training zeigte sich ein Rückgang der Reasoning-Fähigkeiten des Qwen-Modells, da die ursprünglichen Chain-of-Thought-Spuren im Trainingsdatensatz fehlten und als leere Tags generiert wurden.
11:38 Skalierungspläne und Zukünftige Optimierungen: Geplante nächste Schritte umfassen das Hochskalieren auf 14B- und 70B+-Parameter-Modelle mittels TPUs, verfeinerte Regex-Segmentierung zur Rückgewinnung verlorener Notizen, die Beibehaltung numerischer Metadaten bei der De-Identifikation sowie den Übergang zu Reinforcement Learning.
Diskussions-Highlights
Implizite Diagnostik: Es wurde diskutiert, dass das gezielte Auslassen bestimmter medizinischer Untersuchungen durch Ärzte ein wichtiges Diagnose-Signal darstellt, welches zukünftig im Rahmen des Reinforcement Learnings explizit modelliert werden soll.
Multi-Site-Datenaggregation: Die genutzten Daten stammen aus mehreren Standorten des Cedars-Sinai-Netzwerks (Hauptkrankenhaus, Pasadena, Del Rey Marina) und umfassen die kollaborative Dokumentation verschiedener Ärzte.
Evaluierungs-Skalierung: Aufgrund unzureichender Qualität früherer Modellversionen wurde die qualitative Annotation auf 25 Fälle durch zwei verblindete Notärzte beschränkt; bei skalierten Modellen ist eine umfassendere Validierung geplant.
Glossar
EHR (Electronic Health Record): Elektronische Gesundheitsakte; ein digitales System zur zentralen Speicherung der vollständigen medizinischen Historie, Diagnosen und Behandlungsdaten von Patienten in Kliniken.
MDM (Medical Decision Making): Medizinische Entscheidungsfindung; ein strukturierter Abschnitt in Notfall- oder Arztbriefen, der die Symptompräsentation, Verdachtsdiagnosen und therapeutische Empfehlungen zusammenfasst.
Qwen-34B: Ein Open-Source-Large-Language-Model mit 34 Milliarden Parametern, entwickelt von Alibaba.
Cross-Entropy-Loss: Eine mathematische Verlustfunktion im maschinellen Lernen, die die Diskrepanz zwischen vorhergesagten Wahrscheinlichkeiten und den tatsächlichen Token-Verteilungen misst.
ICD-10: International Classification of Diseases (10. Revision); ein international standardisiertes System zur Verschlüsselung von Diagnosen und medizinischen Symptomen.
Chain-of-Thought (CoT): Eine Prompting- oder Trainingsmethode, die ein Sprachmodell dazu anregt, seine logischen Denkschritte explizit schrittweise vor der finalen Antwort auszugeben.
Katastrophales Vergessen (Catastrophic Forgetting): Ein Phänomen im maschinellen Lernen, bei dem ein neuronales Netz beim Erlernen neuer Fachdomänen (hier Medizin) die Fähigkeiten für zuvor erlernte allgemeine Aufgaben verliert.
De-ID (De-identification): Anonymisierungsprozess von Patientendaten in Krankenhäusern, bei dem sensible persönliche Identifikatoren (PHI) und in manchen Systemen auch klinische Werte entfernt oder maskiert werden.