In diesem Video wird eine Echtzeit-Gesichtserkennung und -verfolgung ("Edge AI") auf einem RISC-V-Mikrocontroller (WCH32 CH417 / CSY2000 17) demonstriert. Das System verarbeitet Daten vollständig lokal ohne Cloud- oder PC-Anbindung im laufenden Betrieb. Die Hardware-Architektur umfasst einen OV2640-Kamerasensor, ein kapazitives SPI-Touch-Display sowie ein SD-Karten-Modul zur Speicherung des neuronalen Framework-Modells. Der Entwickler erläutert die Herausforderungen bei der Implementierung unter strikten Ressourcenbeschränkungen (64 KB Arbeitsspeicher), Einschränkungen der Signalintegrität durch lange Prototypen-Kabel (Reduzierung des SPI-Takts von 75 MHz auf 37,5 MHz) sowie Instabilitäten der internen 1,8-V-Spannungsdomäne bei der Nutzung von externem PSRAM. Die Software wurde über die Arduino-Studio-Umgebung entwickelt und ist Teil einer quelloffenen RISC-V-Plattform.
Wichtigste Punkte & Zeitstempel
0:00 Echtzeit-Gesichtserkennung auf Edge-Hardware: Demonstration der lokalen Gesichtserkennung und -verfolgung auf einem WCH32 CH417 RISC-V-Mikrocontroller ohne externe Rechenunterstützung im Live-Betrieb.
0:51 Datenerfassung und System-Modus: Nicht angemeldete Personen werden als "unknown" klassifiziert; neue Gesichter können per Touch-Eingabe erfasst und für das Modelltraining auf einen PC übertragen werden.
1:18 Software-Ökosystem und Speicherrestriktionen: Diskussion über den Mangel an standardisierten Bibliotheken (wie ARM CMSIS) für RISC-V-Chips bei der Umsetzung von KI-Algorithmen auf lediglich 64 KB Speicher.
2:00 Hardware-Komponenten: Systemaufbau bestehend aus einem OV2640-Kamerasensor, einem kapazitiven Touch-Display und Ansteuerung sämtlicher Peripheriegeräte über ein SPI-Bussystem.
2:30 SPI-Taktfrequenz und Signalintegrität: Drosselung der SPI-Übertragungsrate auf 37,5 MHz aufgrund von Rauschen und Signallaufzeiten langer Testkabel, wobei das Ziel-PCB auf 75 MHz ausgelegt ist.
2:50 Modellspeicherung und PSRAM-Instabilität: Das Erkennungsmodell wird von einer SD-Karte geladen; auf externen PSRAM wurde verzichtet, da die interne 1,8-V-Spannungsschiene unter Last instabil wird.
3:45 Entwicklungsumgebung und Leistungsvergleich: Die Firmware wurde in Arduino Studio geschrieben; der System-on-Chip (CSY2000 17) wird hinsichtlich Funktionsumfang und Leistung mit der STM32F7-Serie verglichen.
Glossar
WCH32 CH417 / CSY2000 17: Spezifische System-on-Chip (SoC)-Mikrocontroller des Herstellers WCH, die auf der RISC-V-Prozessorarchitektur basieren und für eingebettete Steuerungs- und Verarbeitungsaufgaben eingesetzt werden.
RISC-V: Eine offene, lizenzfreie Befehlssatzarchitektur (ISA) für Prozessoren, die eine anpassbare und effiziente Hardware-Entwicklung ermöglicht.
Edge AI: Die Ausführung von Algorithmen der Künstlichen Intelligenz direkt auf lokalen Endgeräten (Mikrocontrollern) ohne Datenübertragung an externe Server oder Cloud-Dienste.
OV2640: Ein weit verbreiteter, kompakter CMOS-Bildsensor mit einer Auflösung von 2 Megapixeln, der häufig in eingebetteten Kamerasystemen genutzt wird.
SPI (Serial Peripheral Interface): Ein synchrones serielles Datenbussystem, mit dem Mikrocontroller schnell Daten mit Peripheriegeräten wie Displays oder SD-Karten austauschen können.
PSRAM (Pseudo-Static RAM): Ein dynamischer Arbeitsspeicher (DRAM) mit interner Selbst-Auffrischung, der sich nach außen wie ein einfacher statischer RAM (SRAM) verhält und zusätzlichen Speicherplatz auf engem Raum bietet.
1,8-V-Spannungsdomäne: Ein intern abgegrenzter Versorgungsspannungsbereich auf dem Chip für stromsparende oder hochfrequente Bauteile, der empfindlich auf Schwankungen bei hoher Stromaufnahme reagiert.
Arduino Studio: Eine integrierte Entwicklungsumgebung (IDE), die vereinfachte Software-Bibliotheken und Werkzeuge bereitstellt, um Programmcode auf Mikrocontroller zu kompilieren und hochzuladen.