Dieser Vortrag von David Masher (Cedars-Sinai Medical Center) erläutert die Integration professionellen medizinischen Fachwissens in Open-Source-Large-Language-Modelle (LLMs) durch das Training mit elektronischen Gesundheitsakten (EHR). Um die Leistung bei realen, komplexen klinischen Aufgaben zu verbessern, wurde das Modell Qwen 34B auf MDM-Abschnitten (Medical Decision Making) aus Notaufnahme-Notizen feinabgestimmt. Das Training erfolgte auf 8x A100 80GB GPUs über 172 Stunden. Die Ergebnisse zeigen eine signifikante Verbesserung der qualitativen ärztlichen Bewertung sowie eine Steigerung des F1-Scores bei ICD-10-Diagnosecodes um 16 %. Herausforderungen umfassen katastrophales Vergessen, den Verlust von Chain-of-Thought-Fähigkeiten und Rechenleistungsbeschränkungen, die durch Skalierung auf größere Modelle (14B/70B+) und Reinforcement Learning behoben werden sollen.
Wichtigste Punkte & Zeitstempel
0:00 Projektvorstellung: David Masher vom Cedars-Sinai Medical Center in Los Angeles präsentiert die Einbindung echten klinischen Wissens in Open-Source-LLMs für reale medizinische Anwendungen.
0:30 Limitationen von Benchmarks: Standard-LLMs bestehen medizinische Examina, scheitern jedoch an realen, longitudinalen und unvollständigen klinischen Abläufen, was durch Erweiterungen des Stanford-HELM-Frameworks belegt wird.
2:13 Das EHR-Datenproblem: Während das Internet Leitlinien und Lehrbücher liefert, bleibt die echte klinische Dokumentation in geschlossenen elektronischen Gesundheitsakten (EHR) verschlossen und erfordert den Zugriff im Krankenhaus.
3:38 MDM-Generierung: Extrahieren und Generieren von Medical Decision Making (MDM) Abschnitten aus Notaufnahmedaten ohne Informationsleck der vorläufigen Diagnose mithilfe des Modells Qwen 34B.
5:30 Hardware und Training: Training auf 8x A100 80GB GPUs, Hugging Face TRL (Transformer Reinforcement Learning), Cross-Entropy-Loss, 1 Epoche, 10% externen Daten zur Vermeidung von katastrophalem Vergessen; Gesamtdauer betrug 172 Stunden.
6:20 Qualitative & Quantitative Evaluation: Zwei Notärzte bewerteten das Modell positiv hinsichtlich Genauigkeit und Nützlichkeit; es gab eine 16%ige Steigerung des F1-Scores bei der Vorhersage von ICD-10-Codes.
9:00 Generalisierungsversuche: Bei der Erkennung seltener Ereignisse (In-Hospital-Herzstillstand) traten partieller Label-Kollaps und Überanpassung auf, die ein zusätzliches, vollständiges Fine-Tuning erforderten.
10:04 Verlust des Chain-of-Thought: Das Modell verlor nach dem Fine-Tuning seine inhärenten Reasoning-Fähigkeiten (leere Denk-Tags), da keine expliziten Reasoning-Spaces im Datensatz enthalten waren.
11:38 Skalierungspläne: Zukünftige Optimierungen umfassen das Training größerer Modelle (14 Milliarden bis 70 Milliarden+ Parameter via Google TPUs), präzisere RegEx-Segmentierung und erweiterte De-Identifizierung.
14:08 Q&A-Sitzung: Diskussion über implizites ärztliches Handeln (z.B. weggelassene Diagnosetests als diagnostisches Signal), Multi-Standort-Daten von Cedars-Sinai und zukünftige Reinforcement-Learning-Ansätze.
Glossar
LLM (Large Language Model): Ein auf massiven Textmengen trainiertes KI-Modell zur Sprachverarbeitung und Texterzeugung.
EHR (Electronic Health Record): Elektronische Gesundheitsakte, die die vollständige und vertrauliche Patientenakte eines Krankenhauses digital speichert.
MDM (Medical Decision Making): Ein standardisierter Abschnitt in medizinischen Notizen, der Patientensymptome, wahrscheinlichste Diagnosen und Behandlungspläne zusammenfasst.
Qwen 34B: Ein Open-Source-LLM der Qwen-Familie mit 34 Milliarden Parametern.
GPU (Graphics Processing Unit): Spezialisierte Hardware (hier Nvidia A100), die für das rechenintensive Training von KI-Modellen optimiert ist.
Cross-Entropy-Loss: Eine Standard-Verlustfunktion in der statistischen Modellierung zur Messung der Differenz zwischen vorhergesagten und tatsächlichen Wahrscheinlichkeiten.
F1-Score: Eine statistische Metrik zur Messung der Genauigkeit eines Modells, die Präzision (Genauigkeit) und Recall (Vollständigkeit) kombiniert.
ICD-10: Die zehnte Revision der Internationalen Statistischen Klassifikation der Krankheiten und verwandter Gesundheitsprobleme, genutzt für standardisierte Diagnosecodes.
Chain-of-Thought (CoT): Eine Prompting- oder Trainingsmethode, bei der das Modell seine logischen Zwischenschritte vor dem finalen Ergebnis ausgibt.
RegEx (Regular Expressions): Formale Suchmuster zur automatisierten Textanalyse und -extraktion in Datensätzen.
De-Identifizierung: Das Entfernen personenbezogener und sensibler Daten (PHI) aus medizinischen Datensätzen zum Datenschutz.