Dieses Video demonstriert den vollständigen Workflow zum Feinabstimmen, Evaluieren und Bereitstellen des Open-Source-Transformator-basierten Objekterkennungsmodells RF-DETR (entwickelt von Roboflow). Es vergleicht die Leistung des Modells mit traditionellen CNNs wie YOLO und zeigt, wie ein UAV-Datensatz mit über 8.000 Bildern im COCO-Format über die Roboflow-Plattform geladen wird. Das Tutorial behandelt die praktische Umsetzung in Google Colab auf einer NVIDIA L4 GPU (ca. 20 GB VRAM), das Training der Nano- und Small-Modellvarianten, die Leistungsbewertung mittels mAP (mean Average Precision) sowie die Bereitstellung über PyTorch- und ONNX-Inferenz-Engines.
Wichtigste Punkte & Zeitstempel
0:00 RF-DETR Einführung: Vorstellung von RF-DETR, einem Open-Source-Transformator-basierten Objekterfasser, der YOLO 11 Nano auf dem COCO-Datensatz um 10 mAP-Punkte bei schnellerer Inferenz übertrifft.
1:25 Google Colab Einrichtung: Konfiguration der Umgebung, Einbindung des Roboflow-API-Schlüssels über Colab-Geheimnisse und Überprüfung der GPU-Beschleunigung (Nvidia L4 mit über 20 GB VRAM).
3:13 Abhängigkeiten & Inferenz vor dem Training: Installation von Paketen wie rfdetr, supervision und roboflow, gefolgt von einem Inferenz-Test mit einem vortrainierten Modell bei einer Auflösung von 640x640.
5:16 Datensatz-Vorbereitung: Auswahl eines Datensatzes mit über 8.000 annotierten UAV-Bildern auf Roboflow Universe, Konfigurieren von Auto-Orientierung und Grössenänderung auf 640x640 ohne Datenaugmentation.
8:08 COCO-Format Struktur: Analyse der Struktur der annotations.default.json-Datei mit den Abschnitten images, categories und annotations (Balken-Koordinaten im XYWH-Format).
9:56 Modell-Training: Start des Nano-Modelltrainings über 30 Epochen, Batch-Grösse 32 und Gradienten-Akkumulationsschritt von 1, wobei Schichtnormalisierung (Layer Normalization) Speichervorteile bietet.
13:48 Checkpoint-Verwaltung: Erklärung von Prüfpunktdateien wie checkpoint.pth, periodischen Schnappschüssen, regulären/EMA-Best-Modellen (Exponential Moving Average) und optimierten Bereitstellungsgewichten (checkpoint_best_total.pth).
16:34 Modell-Evaluierung: Bereinigung des VRAM-Speichers, Initialisierung des Nano-Modells, Laden der Testdaten über die supervision-Bibliothek und Berechnung der mAP-Metrik (Mean Average Precision).
19:15 Inferenz und ONNX-Bereitstellung: Ausführen von Inferenzschritten mit dem geladenen Modell sowie Bereitstellung über das Roboflow-Inferenz-Paket mit ONNX als Backend zur Leistungsoptimierung.
22:10 Plattform-Training & Vergleich: Training des kleinen (Small) Modells direkt auf der Roboflow-Plattform, was im Vergleich zum Nano-Modell einen über 2 % höheren mAP-Wert erzielt.
Glossar
Transformer: Eine Deep-Learning-Architektur, die auf Selbstaufmerksamkeitsmechanismen (Self-Attention) basiert und traditionelle Sequenzmodelle oder CNNs in vielen Bereichen ersetzt.
CNN (Convolutional Neural Network): Eine Klasse künstlicher neuronaler Netze, die sich besonders für die Verarbeitung von Rasterdaten wie Bildern eignen (z. B. die YOLO-Familie).
YOLO (You Only Look Once): Eine populäre Familie von Echtzeit-Objekterkennungsmodellen, die auf CNNs basieren.
COCO (Common Objects in Context): Ein gross angelegter Standard-Datensatz für Objekterkennung, Segmentierung und Bildunterschriften, der häufig als Benchmark dient.
VRAM (Video Random Access Memory): Der dedizierte Arbeitsspeicher einer Grafikkarte (GPU), der für das Laden von Modellen und Daten während des Trainings benötigt wird.
mAP (mean Average Precision): Eine Standardmetrik zur Bewertung der Genauigkeit von Objekterkennungsmodellen über verschiedene Klassen und Überlappungsschwellen hinweg.
NMS (Non-Maximum Suppression): Ein Nachbearbeitungsschritt zur Entfernung redundanter, überlappender Bounding Boxes in CNN-basierten Detektoren (bei RF-DETR aufgrund der Architektur oft nicht erforderlich).
PyTorch: Ein weit verbreitetes Open-Source-Framework für maschinelles Lernen auf Basis von Python.
ONNX (Open Neural Network Exchange): Ein offenes Format zum Speichern und Ausführen von KI-Modellen, das für eine plattformübergreifende, beschleunigte Inferenz optimiert ist.
EMA (Exponential Moving Average): Eine Technik zur Glättung von Modellgewichten über die Trainingsschritte hinweg, die oft zu robusteren und generalisierbareren Ergebnissen führt.
Layer Normalization: Eine Normalisierungstechnik in neuronalen Netzen, die im Gegensatz zur Batch-Normalisierung unabhängig von der Batch-Grösse funktioniert und den Speicherbedarf senkt.