Gaussian Splatting mit 360°-Video: Workflow für große Szenen

Wie 360°-Video, Drohne, Maskierung und RealityScan/COLMAP zusammenspielen: ein praxisnaher Workflow für große Gaussian-Splatting-Szenen.
Gaussian Splatting Workshop

Gaussian Splatting mit 360°-Video eröffnet neue Möglichkeiten für große Szenen, setzt aber sorgfältige Planung voraus. Entscheidend ist, dass Aufnahme, Maskierung und räumliche Ausrichtung zusammenpassen. Im Workshop betrachten wir deshalb den vollständigen Weg vom 360°-Capture bis zum fertigen Splat.

Ein dokumentierter Praxisworkflow nutzt zwei Insta360 ONE RS 1-Inch-Kameras, die parallel mit 5888 × 2944 Pixeln bei 30 Bildern pro Sekunde aufnehmen. Diese Konfiguration ist ein Beispiel für große Szenen, keine allgemeine Pflicht. Je nach Umgebung können auch andere 360°-Kameras, klassische Perspektivkameras oder eine Drohne sinnvoll sein.

Gaussian Splatting mit 360°-Video: der Ablauf in fünf Schritten

  1. Capture: Szene und Kamerapfad planen, Bodenbereiche und wichtige Blickrichtungen abdecken.
  2. Vorbereitung: Videodateien konvertieren, scharfe Einzelbilder extrahieren und störende Personen oder Objekte maskieren.
  3. Lokalisierung: Die Bilder räumlich ausrichten und Boden-, 360°- sowie Drohnendaten in ein gemeinsames Koordinatensystem bringen.
  4. Training: Aus den ausgerichteten Aufnahmen einen Gaussian Splat erzeugen.
  5. Ausgabe: Das Ergebnis prüfen und für den vorgesehenen Einsatz exportieren. Für die Bearbeitung vorhandener Splats können Sie Splatmania, den kostenlosen Editor von Design4real, direkt im Browser nutzen – etwa zum Entfernen störender Splats, zum Ausrichten mehrerer Scans und für Kamerafahrten.

1. Capture: den Weg durch die Szene vorher planen

Eine 360°-Kamera erfasst in jeder Aufnahme die Umgebung rundherum. Für ein gutes Ergebnis reicht es trotzdem nicht, einfach einmal durch den Raum zu laufen. Die Route sollte eine möglichst lückenlose Abdeckung erzeugen und ausreichend unterschiedliche Kamerapositionen enthalten. Diese Perspektivänderungen liefern die räumlichen Hinweise, die für eine stabile Rekonstruktion gebraucht werden.

Bei großen Außenbereichen kann eine Drohne zusätzliche Ansichten von oben und aus schrägen Winkeln liefern. Die Bodenaufnahmen und das Drohnenmaterial müssen später jedoch zueinander passen. Deshalb lohnt es sich, schon während der Aufnahme gemeinsame, gut erkennbare Punkte einzuplanen. Wie sich 360°- und 180°-Video grundsätzlich unterscheiden, erklären wir auch im Vergleich von 360-Grad- und 180-Grad-Video.

2. Vorbereitung: aus Video verlässliche Einzelbilder machen

Die Rohvideos werden zunächst in ein geeignetes MP4- oder MOV-Format gebracht. Danach werden Einzelbilder extrahiert. Ein Bild pro Sekunde kann ein sinnvoller Startwert sein; wie dicht die Auswahl sein sollte, hängt aber davon ab, wie schnell sich die Kamera bewegt und wie detailreich die Szene ist. Zu große Abstände lassen Lücken entstehen, während sehr viele fast identische Bilder die Verarbeitung unnötig aufblähen.

Für die Weiterverarbeitung werden die Bilder maskiert. Im gezeigten Ablauf werden dafür KI-Masken verwendet, etwa für Personen und Tiere. Auch Halterungen oder ein Selfie-Stick können als störende Objekte berücksichtigt werden. Wichtig ist, ein Maskenformat zu verwenden, das zur jeweiligen Software-Pipeline passt. Anschließend werden die 360°-Frames in Perspektivbilder aufgeteilt; die Standardwerte der Software können dabei zunächst als Ausgangspunkt dienen.

3. Lokalisierung: 360°, Boden und Drohne zusammenführen

Für die Ausrichtung werden die vorbereiteten Bildsätze in RealityScan importiert. Bei mehreren Datensätzen werden die einzelnen Komponenten anhand gemeinsamer Kontrollpunkte aufeinander abgestimmt. So lassen sich zum Beispiel maskierte Bodenaufnahmen und ein separat erfasster Drohnendatensatz in einem gemeinsamen Modellraum zusammenführen.

Die ausgerichteten Kameras werden anschließend im COLMAP-Format exportiert. Dieses Format kann von verschiedenen Gaussian-Splatting-Werkzeugen als Grundlage für das Training genutzt werden, darunter PostShot und Lichtfeld Studio. Bei zusätzlichen LiDAR-Daten kommen weitere Prüfschritte hinzu: Koordinatensystem, Versatz und Achsrichtung müssen zur Bildausrichtung passen. Eine in einem konkreten L2-Pro-Workflow verwendete Drehung ist deshalb kein universeller Wert, sondern muss für den jeweiligen Datensatz geprüft werden.

4. Training und Kontrolle

Erst wenn Kameras und Datensätze konsistent ausgerichtet sind, lohnt es sich, den Splat zu trainieren. Ein visuell überzeugendes Ergebnis hängt nicht allein von der Rechenleistung oder einem bestimmten Programm ab. Wenn die Ausrichtung nicht stimmt, entstehen beim Betrachten aus anderen Blickwinkeln sichtbare Verschiebungen und Artefakte. Weitere typische Fehlerquellen und Gegenmaßnahmen haben wir im Beitrag zu den Herausforderungen bei Gaussian Splatting gesammelt.

Nach dem Training wird die Szene aus unterschiedlichen Blickrichtungen geprüft: Gibt es Lücken zwischen Boden- und Drohnenmaterial? Sind bewegte Personen oder die Kamerahalterung übrig geblieben? Wirkt die Geometrie an reflektierenden oder wenig strukturierten Flächen stabil? Erst danach sollte die Szene für Web, Echtzeit-Anwendungen oder XR exportiert werden.

Was der Workshop-Workflow deutlich macht

Der 360°-Ansatz kann die Aufnahme großer Szenen vereinfachen, weil eine einzige Kamerabewegung in alle Richtungen aufzeichnet. Die Qualität entsteht aber durch die ganze Prozesskette: eine geplante Route, ausreichend überlappende Perspektiven, sorgfältige Masken und eine saubere Ausrichtung der Teil-Datensätze. Wer diese Schritte versteht, kann den Ablauf an andere Kameras und Szenentypen anpassen.

Der beschriebene Fünf-Schritte-Ablauf basiert auf der 360°-Pipeline, die Daniel Dinnes im Workshop vorgestellt hat. Die Abschnitte zu RealityScan und COLMAP fassen ergänzende Workflow-Notizen zur Ausrichtung der Datensätze zusammen.

Wenn du zuerst die Grundlagen kennenlernen möchtest, findest du im Artikel Was ist Gaussian Splatting? einen Einstieg. Mehr zu unseren Scanverfahren gibt es außerdem auf der Seite 3D-Scans.

Häufige Fragen zum 360°-Workflow für Gaussian Splatting

Erzeugt 360°-Video automatisch einen guten Gaussian Splat?

Nein. 360°-Video deckt zwar einen großen Blickwinkel ab, ersetzt aber weder einen sinnvoll geplanten Kamerapfad noch die Ausrichtung der Bilder. Maskierung und ausreichende Perspektivänderung bleiben wichtig.

Wie oft sollte ich Einzelbilder aus dem Video extrahieren?

Ein Bild pro Sekunde ist ein möglicher Startwert aus dem gezeigten Workflow. Bei schneller Kamerabewegung oder vielen Details kann eine dichtere Auswahl nötig sein. Entscheidend ist, dass die Einzelbilder scharf sind und genug gemeinsame Bildbereiche enthalten.

Kann ich Bodenaufnahmen und Drohnenbilder kombinieren?

Ja. Die Datensätze müssen über gemeinsame Kontrollpunkte beziehungsweise eine passende Georeferenzierung räumlich aufeinander ausgerichtet werden. Im beschriebenen RealityScan-Ablauf werden die Komponenten zusammengeführt und anschließend als COLMAP-Daten exportiert.

Warum sind Masken bei 360°-Aufnahmen hilfreich?

Masken können Personen, Tiere, Halterungen oder andere bewegte beziehungsweise störende Elemente von der Rekonstruktion ausschließen. Das reduziert Geisterbilder und erleichtert die Verarbeitung.

Muss ich für jeden LiDAR-Datensatz dieselbe Rotation verwenden?

Nein. Achsen, Koordinatensystem und Versatz hängen vom Scanner und vom Datensatz ab. Eine Rotation aus einem einzelnen Workflow darf nicht ungeprüft als allgemeine Voreinstellung übernommen werden.

clarence dadson

Sie überlegen, was mit 3D-Scanning möglich ist?

Photogrammetrie, Gaussian Splatting, klassische 3D-Modelle — wir prüfen mit Ihnen, welches Verfahren zu Ihrem Objekt und Ihrem Budget passt.

Clarence Dadson · CEO Design4real

+49 179 3927971
·
info@design4real.de
·
Lindwurmstr. 95a, München