Dieser Livestream behandelt einen vollständigen Produktions-Workflow für Gaussian Splatting und Photogrammetrie anhand von in Portugal (Lissabon, Sintra, Porto) erfassten Datensätzen. Der Vortragende demonstriert Aufnahme-Techniken wie den Kreis-Pass, Stereo-Paare und Raster-Läufe ("Strafing Runs") zur Erzielung konstanter Auflösung. Es wird eine Software-Pipeline vorgestellt, die Reality Scan (für Kameraausrichtung, Maßstabsdefinition mittels Kontrollpunkten und Punktwolken-Export), PostShot (für das Splat-Training mit Algorithmen wie Splat 3 und sphärischen Harmonischen) sowie Unreal Engine, Nuke und After Effects für Compositing und Relighting nutzt. Begleitend wird ein neuer, sechsstündiger 3D-Rekonstruktionskurs bei Action VFX beworben.
Wichtigste Punkte & Zeitstempel
0:05:37 Action VFX Kursstart: Ein neuer, sechsstündiger Kurs zu Gaussian Splats und Photogrammetrie startet am 20. Oktober, mit einer Vorbestellungsphase ($50 Rabatt).
0:06:55 Portugal-Datenakquise: Datensätze wurden in Lissabon, Sintra und Porto aufgenommen, primär mit einer 8K-GoPro-Missionskamera statt einer hochauflösenden DSLR.
0:08:18 Software-Pipeline: Die Verarbeitung nutzt Reality Scan (kostenlos von Epic Games) zur Kamera-Ausrichtung und PostShot (mit Gratis- und kostenpflichtigen Versionen) zum Training der Splats.
0:14:33 Splats vs. Photogrammetrie: Photogrammetrie eignet sich für relightable Assets, während Gaussian Splats Umgebungen, Reflexionen und feine Details (Haare, Laub) mit höherer Wiedergabetreue abbilden.
0:18:02 Manuelle Aufnahmeeinstellungen: Für Scans sind manuelle Einstellungen (hohe Belichtungszeit, fester Weißabgleich, hohe f-stop Blende für maximale Schärfe, Autofokus) zwingend erforderlich.
0:21:55 Kreis-Pass-Technik: Die Kamera umkreist das Objekt in 360-Grad-Schleifen auf verschiedenen Höhenebenen (tief, mittel, hoch) plus Detail-Nahaufnahmen, um eine lückenlose Abdeckung zu gewährleisten.
0:31:25 Reality Scan Ausrichtung: Der Import von Bildsequenzen in Reality Scan ermöglicht die automatische Kamera-Ausrichtung, Skalierung über bekannte Maße oder April-Tags sowie den Export von Kameraposen und spärlichen Punktwolken (PLY).
0:47:04 PostShot Integration: Import der aus Reality Scan exportierten Kameraposen und Punktwolken in PostShot, Aktivierung der photometrischen Kompensation und Nutzung des Splat-3-Algorithmus mit sphärischer Harmonik (Grad 3) für Reflexionen.
0:09:59 Mesh-Generierung: Umwandlung von Daten in Polygongerüste (Meshes) erfolgt direkt in Reality Scan (nicht aus Splats), um sie in Unreal Engine zu exportieren.
1:13:37 Stereo-Paar- & Raster-Methoden: Für komplexe Wände oder Umgebungen (wie die Kathedrale von Porto) werden Stereo-Paare (Aufnahmen von links/rechts/oben/unten auf einen Fokuspunkt) und Raster-Läufe (Zickzack-Muster) verwendet.
1:32:00 Speicherbedarf: Umfangreiche Scans (wie Drohnenaufnahmen von Wüstengebäuden) erfordern enorme Speicherkapazitäten (2,5 bis 4 Terabyte an Roh- und Prozessdaten).
1:39:55 Überlappung & Kamerabestand: Mindestens 20 Bilder pro Viertelkreis (50-70% Überlappung) sind für eine erfolgreiche rechnerische Ausrichtung notwendig.
1:51:53 Schattenseiten & Artefakte: Ungenügende Abdeckung, automatischer Weißabgleich und Reflexionen (z. B. Sky-Modell-Kompensation) können Artefakte oder Tiefenversatz erzeugen.
2:20:30 Software-Alternativen & Ausblick: PostShot und Reality Scan dominieren den Workflow, während alternative Tools wie Spirula Studio oder Super Splat (Online-Archiv und Editor) ebenfalls existieren.
Glossar
Gaussian Splatting (3DGS): Eine Rendering-Technik, bei der dreidimensionale Szenen durch Tausende von unscharfen Ellipsoiden (Splats) dargestellt werden, um fotorealistische Ansichten und korrekte Reflexionen in Echtzeit zu ermöglichen.
Photogrammetrie: Ein Mess- und Auswertungsverfahren, bei dem aus mehreren 2D-Fotos dreidimensionale Modelle (Meshes mit Texturen) errechnet werden.
Reality Scan: Eine 3D-Scansoftware von Epic Games zur Erfassung, Ausrichtung und Erstellung von 3D-Modellen aus Foto- oder Video-Daten.
PostShot: Eine spezialisierte Software zum Trainieren und Rendern von Gaussian Splats aus Kamera- und Punktwolken-Daten.
Sphärische Harmonische (Spherical Harmonics): Mathematische Funktionen in Rendering-Engines, die ansichtsabhängige Farbeffekte und Lichtreflexionen (Specularity) auf Gaussian Splats simulieren.
April-Tag: Ein visuelles Markierungssymbol (ähnlich einem QR-Code), das in einer Szene platziert wird, um automatisch den genauen Maßstab und die Skalierung bei der 3D-Rekonstruktion festzulegen.
Stereo-Paar-Methode: Eine Aufnahmetechnik, bei der ein zentraler Punkt aus mehreren, gegenüberliegenden Kamerapositionen (links/rechts, oben/unten) fotografiert wird, um präzise Tiefeninformationen zu sichern.
Raster-Lauf (Strafing Run): Ein systematisches Zickzack-Muster beim Abgehen einer Fläche, um eine gleichmäßige, homogene Auflösung über große Oberflächen zu garantieren.
PLY-Datei (Polygon File Format): Ein Standard-Dateiformat zum Speichern grafischer Objekte, die als 3D-Polygon-Punktwolken beschrieben werden.
Relighting: Die nachträgliche digitale Veränderung oder Neuausrichtung der Lichtquellen in einer 3D-Szene oder auf einem gerenderten Objekt.