Diese Vorlesung behandelt die mathematische Konvexität von Normen und deren fundamentale Anwendungen in der Optimierung, der Least-Squares-Regression und im maschinellen Lernen. Der Dozent analysiert gängige Vektornormen ($L_1$, $L_2$, $L_\infty$), nicht-konvexe Pseudo-Normen ($L_0$, $L_{2/3}$) und die rechentechnischen Vorteile der quadrierten $L_2$-Norm bei der Gradientenberechnung. Abschließend wird ein strenger mathematischer Beweis erbracht, der zeigt, dass jede gültige Norm über die Dreiecksungleichung eine konvexe Funktion ist, was anschliessend auf unendlich-dimensionale $L_p$-Räume mittels der Minkowski-Ungleichung ausgedehnt wird.
Wichtigste Punkte & Zeitstempel
0:01 Konvexe Funktionen und Normen: Einführung in die Konvexität von Normen und deren zentrale Rolle bei Optimierungsproblemen, Least-Squares-Regression und neuronalen Netzwerken.
0:27 L2-Norm (Euklidische Norm): Misst den euklidischen Abstand sowie die Systemenergie (z. B. kinetische Energie in Strömungssimulationen) als Quadratwurzel der Summequadrate der Komponenten.
3:06 L1- und L-Unendlich-Normen: Die $L_1$-Norm fördert spärliche (sparse) Lösungen und bietet Robustheit gegen Ausreißer; die $L_\infty$-Norm (Maximumsnorm) dient als Worst-Case-Maß für robuste Regelungssysteme.
4:46 Pseudo-Normen (L0 und L2/3): Verletzen die Dreiecksungleichung, sind nicht konvex und werden in Optimierungsverfahren oft in die konvexe $L_1$-Norm relaxiert.
5:58 Quadratische L2-Norm: Eliminiert die rechentechnisch aufwendige Quadratwurzel der Standard-$L_2$-Norm; liefert einen einfachen Gradienten ($2x$) und ermöglicht geschlossene analytische Lösungen in der quadratischen Programmierung.
7:17 Least-Squares-Problem (Kleinste Quadrate): Optimierung des überbestimmten linearen Gleichungssystems $Ax = b$ durch Minimierung der Quadratsumme aller Modellfehler.
8:39 Maschinenlernen und Neuronale Netze: Verwendung der quadrierten $L_2$-Norm als Verlustfunktion; affine Funktionen ($Ax-b$) garantieren Konvexität, während die zugrundeliegenden neuronalen Netzwerke oft nicht-konvex sind.
12:15 Mathematischer Beweis der Konvexität: Ein formaler Beweis zeigt über die Dreiecksungleichung ($|x+y| \le |x| + |y|$) und die Homogenität ($|\alpha x| = \alpha |x|$), dass jede Norm die Konvexitätsbedingung erfüllt.
16:46 Lp-Räume und Minkowski-Ungleichung: Erweiterung der Konvexität auf unendlich-dimensionale Hilbert-Räume, wobei die Minkowski-Ungleichung die Dreiecksungleichung für Funktionenräume validiert.
Glossar
Konvexe Funktion: Eine mathematische Funktion, bei der die Verbindungslinie zwischen zwei beliebigen Punkten auf dem Graphen stets oberhalb oder auf dem Graphen verläuft.
Norm: Eine mathematische Funktion, die einem Vektor eine Länge oder Größe zuordnet und bestimmte Axiome wie Homogenität und die Dreiecksungleichung erfüllt.
L2-Norm (Euklidische Norm): Das Standardmaß für den Abstand zwischen Punkten im euklidischen Raum, berechnet als Quadratwurzel der Summe der quadrierten Vektorkomponenten.
L1-Norm: Die Summe der Beträge der Vektorkomponenten, die in der Optimierung genutzt wird, um spärliche (nur wenige aktive Parameter enthaltende) Lösungen zu erzeugen.
L-Unendlich-Norm (Maximumsnorm): Ein Maß, das den maximalen absoluten Wert der Komponenten eines Vektors ermittelt und für Worst-Case-Analysen in der Regelungstechnik eingesetzt wird.
Pseudo-Norm ($L_0$, $L_{2/3}$): Mathematische Maße, die wie Normen wirken, aber wesentliche Axiome (wie die Dreiecksungleichung) verletzen und nicht konvex sind.
Gradient: Ein Vektor aus den partiellen Ableitungen einer multivariablen Funktion, der in die Richtung des steilsten Anstiegs zeigt.
Least Squares (Kleinste Quadrate): Ein Standard-Regressionsverfahren zur Minimierung der Summe der quadratischen Abweichungen zwischen Messdaten und Modellvorhersagen.
Affine Funktion: Eine lineare Funktion plus eine additive Konstante (Verschiebung), die geometrisch einer Geraden oder Hyperebene entspricht und konvex ist.
Dreiecksungleichung: Ein Axiom für Normen, welches besagt, dass die Länge der Summe zweier Vektoren stets kleiner oder gleich der Summe ihrer Einzellängen ist.
Hilbert-Raum: Ein vollständiger Vektorraum mit einem Skalarprodukt, der in der Analysis und Physik (z. B. Quantenmechanik) zur Beschreibung von Funktionen verwendet wird.
Minkowski-Ungleichung: Ein mathematischer Satz, der die Dreiecksungleichung für $L_p$-Räume (unendlich-dimensionale Funktionenräume) beweist.