4D Gaussian Splatting gehört aktuell zu den spannendsten Themen rund um volumetrische Medien. Die Idee ist unmittelbar faszinierend: Nicht nur einen Raum oder ein Objekt als fotorealistischen Gaussian Splat erfassen, sondern auch Bewegung – Menschen, Performances, Sport, Kleidung oder ganze dynamische Szenen.
Und genau hier entsteht derzeit ein interessantes Missverständnis: Wer aktuelle Demos sieht, bekommt schnell den Eindruck, die Technologie müsse eigentlich schon produktionsreif sein. Schließlich sehen manche Beispiele spektakulär aus, lassen sich frei betrachten und laufen in Echtzeit.
Doch zwischen einer überzeugenden 20- oder 30-Sekunden-Demo und einem mehrere Minuten langen, zuverlässig streambaren Medienformat liegt noch ein erheblicher technischer Abstand. Der Engpass ist inzwischen weniger die Bildqualität als vielmehr Datenmenge, Kompression, Streaming, Capture-Aufwand und Standardisierung.
In diesem Artikel schauen wir uns an, was 4DGS eigentlich ist, welche Systeme heute bereits funktionieren und warum die Technologie gleichzeitig schon beeindruckend weit und noch erstaunlich unreif ist.
Was ist 4D Gaussian Splatting?
Beim klassischen 3D Gaussian Splatting wird eine statische Szene durch sehr viele kleine dreidimensionale Gaussians beschrieben. Diese enthalten unter anderem Informationen über Position, Größe, Orientierung, Farbe und Transparenz.
Bei 4DGS kommt die Zeit als zusätzliche Dimension hinzu.
Ein Mensch hebt den Arm. Kleidung verformt sich. Haare bewegen sich. Körperteile verdecken sich gegenseitig und werden später wieder sichtbar. Ein 4DGS-System muss deshalb nicht nur beschreiben, wo sich etwas befindet, sondern auch, wie sich diese räumliche Repräsentation über die Zeit verändert.
Wichtig ist dabei: 4D Gaussian Splatting ist derzeit kein einheitliches Dateiformat. Unter dem Begriff werden verschiedene Forschungsansätze zusammengefasst. Manche arbeiten mit einer statischen Ausgangsszene und einem zeitabhängigen Deformationsmodell, andere mit Gaussian-Trajektorien, Keyframes oder direkt mit vierdimensionalen Primitives.
4DGS ist deshalb heute eher eine Technologiefamilie als ein etablierter Medienstandard.
Warum ist 4DGS so interessant?
4DGS könnte langfristig eine Lücke zwischen klassischem Video und echtem 3D schließen.
Bei einem normalen Video bleibt die Perspektive der ursprünglichen Kamera erhalten. Bei einer volumetrisch erfassten 4D-Szene kann sich der Betrachter dagegen innerhalb gewisser Grenzen frei um das Geschehen bewegen.
Das eröffnet interessante Anwendungen in:
- Film und VFX
- Sport und Performance Capture
- Tanz und Theater
- virtuellen Konzerten
- XR und Spatial Computing
- Training und Simulation
- Free-Viewpoint-Video
- Games und Virtual Production
Gerade für XR ist die Vorstellung spannend: Ein real aufgezeichneter Mensch steht nicht als flaches Video vor uns, sondern tatsächlich räumlich in der Szene.
Der hartnäckige Mythos: „Das muss doch eigentlich schon funktionieren“
Rund um 4D Gaussian Splatting gibt es derzeit eine auffällige Wahrnehmungslücke. Viele aktuelle Demos sehen so überzeugend aus, dass schnell die Frage entsteht:
„Wenn das schon so aussieht – warum können wir nicht einfach mehrere Minuten davon produzieren und wie ein Video streamen?“
Genau hier liegt eines der wichtigsten Missverständnisse.
Echtzeit-Rendering ist nicht dasselbe wie Echtzeit-Streaming
Dass ein bereits geladener 4DGS-Datensatz mit hoher Framerate auf einer leistungsfähigen GPU dargestellt werden kann, sagt noch nichts darüber aus, wie groß dieser Datensatz ist, wie lange der Download dauert oder wie viel Speicher und Bandbreite er benötigt.
Bei Video haben wir uns daran gewöhnt, dass mehrere Minuten hochauflösendes Material praktisch sofort starten. Dahinter stehen allerdings Jahrzehnte an Entwicklung von Codecs, Hardware-Decodern, Keyframes, adaptiven Bitraten und Streaming-Infrastruktur.
Bei 4DGS entsteht diese Infrastruktur gerade erst.
Eine aktuelle Forschungsarbeit zu PD-4DGS beschreibt viele bestehende 4DGS-Repräsentationen noch als monolithische Bitstreams, die zunächst vollständig oder weitgehend übertragen werden müssen. Das dort vorgestellte progressive Verfahren reduziert die First-Frame-Latenz in einem 2-Mbit/s-Test von zuvor 73 bis 930 Sekunden auf rund 1,7 Sekunden.
Allein die Tatsache, dass solche grundlegenden Streaming-Probleme 2026 noch Gegenstand aktueller Forschung sind, zeigt sehr gut, wo die Technologie derzeit steht.
Warum sind so viele 4DGS-Demos kurz?
Nicht jede kurze Demo ist deshalb kurz, weil technisch keine längere Sequenz möglich wäre. Trotzdem ist auffällig, dass viele öffentlich gezeigte 4DGS-Beispiele kompakte Sequenzen von wenigen Sekunden bis einigen zehn Sekunden sind.
Das ist nachvollziehbar, denn mit jeder zusätzlichen Sekunde steigen – je nach Verfahren – unter anderem:
- Capture-Datenmenge
- Rekonstruktionsaufwand
- Processing-Zeit
- Speicherbedarf
- Downloadmenge
- Decoding-Aufwand
- GPU- und RAM-Anforderungen
Eine beeindruckende 20-Sekunden-Demo ist deshalb technologisch etwas völlig anderes als ein fünfminütiger volumetrischer Film, der auf einem normalen Endgerät über eine typische Internetverbindung sofort startet.
Die Demo ist also noch nicht automatisch die Produktion.
Die große Herausforderung: Datenmenge und zeitliche Redundanz
Bei einem statischen Gaussian Splat muss ein Zustand einer Szene gespeichert werden. Bei einer dynamischen Szene müssen zusätzlich die Veränderungen über die Zeit beschrieben werden.
Der einfachste, aber ineffizienteste Ansatz wäre, für jeden Frame einen vollständigen neuen Gaussian Splat zu speichern. Moderne Verfahren versuchen deshalb, Redundanzen auszunutzen: Sie speichern beispielsweise einen Grundzustand und beschreiben anschließend nur noch, wie sich Gaussians bewegen oder verändern.
Das erinnert konzeptionell an moderne Videokompression. Der Unterschied ist jedoch: Für Video existieren etablierte Standards wie H.264, H.265 oder AV1. Für 4DGS gibt es noch keinen vergleichbaren, allgemein akzeptierten Codec.
Kompression existiert bereits – aber noch kein gemeinsamer Standard
Es wäre inzwischen falsch zu sagen, es gebe für 4DGS keine Kompression. Im Gegenteil: Kompression ist eines der aktivsten Forschungsfelder in diesem Bereich.
Aktuelle Ansätze reduzieren Daten unter anderem durch:
- Pruning redundanter Gaussians
- Quantisierung von Parametern
- zeitliche Vorhersage
- Keyframes und Deltas
- vereinfachte Trajektorien
- Entropiecodierung
Beispielsweise beschreibt P-4DGS einen prädiktiven Ansatz, der räumliche und zeitliche Redundanz ähnlich wie ein Videocodec ausnutzt und in den veröffentlichten Tests sehr hohe Kompressionsraten erreicht.
Solche Forschungsergebnisse sind vielversprechend, lassen sich aber nicht einfach untereinander vergleichen. Datensätze, Qualitätsziele und Ausgangsmodelle unterscheiden sich erheblich.
Die eigentliche Frage lautet inzwischen deshalb nicht mehr: Kann man 4DGS komprimieren? Sondern: Welcher Ansatz wird interoperabel, streambar und langfristig zum Standard?
Gracia AI: Eine kommerzielle End-to-End-Pipeline
Gracia AI gehört derzeit zu den sichtbarsten Unternehmen, die 4D Gaussian Splatting bereits als vollständige Produktionspipeline anbieten.
Der Workflow umfasst Capture über Partnerstudios, Processing, Cleanup, Kompression und Distribution. Gracia spricht aktuell von einer 45-fachen Near-Lossless-Kompression und bietet Ausgaben für Streaming/Web, VFX sowie XR-Headsets an.
Interessant ist insbesondere, dass Gracia 4DGS inzwischen direkt über WebXR streamt und SDKs für unterschiedliche Zielplattformen bereitstellt.
Allerdings handelt es sich um ein proprietäres System. Das eigene .mint-Format und die interne Kompressionspipeline sind kein offener Industriestandard, den beliebige andere Tools einfach implementieren könnten.
Gracia zeigt damit sehr überzeugend, dass das Problem grundsätzlich lösbar ist – aber eben noch nicht über eine allgemein etablierte Pipeline.
4DV.ai: 4D Video als komplettes Mediensystem
Auch das chinesische Unternehmen 4DV.ai arbeitet an einer vollständigen Creation- und Distribution-Pipeline für 4D-Video auf Basis von Gaussian Splatting.
4DV.ai positioniert 4D-Video explizit als neues visuelles Medium für Film, Musik, Sport, Fashion und Werbung. Das Unternehmen erhielt 2025 bei SIGGRAPH Real-Time Live! den Best-in-Show-Award für einen kompletten 4D-Video-Workflow.
Bemerkenswert ist auch, dass 4DV.ai gemeinsam mit Forschungspartnern einen eigenen Volumetric Video Compression Challenge durchgeführt hat. Bewertet wurden dort unter anderem Modellgröße, Decode-Zeit und Rendering-Performance.
Das zeigt sehr deutlich: Selbst bei Unternehmen, die bereits weit fortgeschrittene 4DGS-Demos zeigen, gehört effiziente Kompression weiterhin zu den zentralen Entwicklungsfeldern.
PlayCanvas: 4DGS kommt in eine echte Web-Engine
Besonders interessant ist die Integration von Gracia-4DGS in die Open-Source-Web-Engine PlayCanvas.
Dadurch lässt sich dynamischer 4DGS-Content nicht nur abspielen, sondern innerhalb einer echten 3D-Szene verwenden. Die Integration unterstützt unter anderem:
- Real-Time Relighting
- Shadow Casting
- Post-Processing
- gemischte Szenen aus 4DGS, statischen 3DGS-Splats und klassischen Meshes
Das ist besonders spannend, weil PlayCanvas bei statischem Gaussian Splatting bereits eine ungewöhnlich tiefe native Integration besitzt. Für 3DGS stehen dort inzwischen WebGPU-Rendering, Streaming, LOD und komprimierte Formate zur Verfügung.
4DGS ist dort noch kein universeller Standard – aber die Integration zeigt sehr konkret, wie dynamische Splats künftig Teil normaler Echtzeit- und Web-Pipelines werden könnten.
Selbst ausprobieren: Aktuelle 4DGS-Demos und Projekte
Wer sich selbst ein Bild vom aktuellen Stand machen möchte, sollte die Technologie unbedingt direkt ausprobieren. Gerade Ladezeit, Qualität und Interaktivität lassen sich so deutlich besser einschätzen als über Demo-Videos.
- PlayCanvas + Gracia Live Demo: demo.gracia.ai/playcanvas.html
4DGS im Browser mit Relighting, Schatten und Integration in eine PlayCanvas-Szene. - Gracia AI: gracia.ai
Kommerzielle 4DGS-Pipeline für Web, XR und VFX mit mehreren interaktiven Beispielen. - 4DV.ai: 4dv.ai
Beispiele für 4D-Video, Capture und Distribution aus China. - Offenes .4dgs-Format: GitHub: avala-ai/4dgs
Ein interessanter Versuch, ein streambares und seekbares offenes Containerformat für 4DGS zu definieren. - Unity 4DGS Playground: ITHACA 4DGS Unity
Experimentelle Unity-Integration für temporale Gaussian Splats.
Gerade diese Beispiele zeigen den aktuellen Zustand sehr gut: Die visuellen Ergebnisse sind beeindruckend, aber je nach Demo werden Ladezeiten, Hardware-Anforderungen und proprietäre Abhängigkeiten schnell sichtbar.
Auch der Capture-Prozess bleibt anspruchsvoll
Bei statischem Gaussian Splatting bewegt sich idealerweise nichts. Bei 4DGS ist Bewegung dagegen der eigentliche Inhalt.
Dadurch entstehen zusätzliche Herausforderungen:
- Synchronisation mehrerer Kameras
- Verdeckungen zwischen Körperteilen
- schnelle Bewegungen
- Haare und Kleidung
- Hände und Finger
- wechselnde Reflexionen
- Beleuchtungskonsistenz
Hochwertige Systeme setzen deshalb häufig auf vollständig synchronisierte Multi-Kamera-Rigs. Gracia nennt für Full-360-Capture beispielsweise Setups mit rund 60 Kameras und Hardware-Synchronisation beziehungsweise Genlock.
Portable Rigs reduzieren den Aufwand und machen On-Location-Capture möglich, liefern aber naturgemäß weniger kontrollierte Bedingungen als ein fest installiertes Studio.
Der wahrscheinlichste kurzfristige Einsatz: Hybridwelten
Für viele Produktionen ist es vermutlich gar nicht notwendig, eine komplette Szene als 4DGS aufzubauen.
Ein sehr sinnvoller Ansatz ist:
Static 3DGS Environment + 4DGS Character
Der Raum wird einmal hochwertig als statischer Gaussian Splat erfasst. Nur die tatsächlich bewegte Person wird als 4DGS aufgenommen.
Alternativ lassen sich Gaussian-Splat-Umgebungen mit klassischen 3D-Charakteren, Videoelementen oder einzelnen volumetrischen Performances kombinieren.
Gerade in XR und Virtual Production dürfte diese Hybridisierung kurzfristig deutlich praktikabler sein als vollständig dynamische 4DGS-Welten.
Wo stehen wir 2026?
| Bereich | Stand 2026 |
|---|---|
| Visuelle Qualität | Bereits sehr überzeugend |
| Echtzeit-Rendering | Grundsätzlich möglich |
| Capture | Funktioniert, aber oft hardwareintensiv |
| Kompression | Aktive Forschung und erste kommerzielle Lösungen |
| Streaming | Erste funktionierende Systeme, aber noch kein allgemeiner Standard |
| Web | Gracia/PlayCanvas zeigen erste überzeugende Integrationen |
| Unity | Über experimentelle Plugins möglich |
| 4DGS-Dateiformat | Erste offene Ansätze, noch nicht etabliert |
| Interoperabilität | Eine der größten offenen Baustellen |
Fazit: Die Bilder sind schon da – jetzt fehlt die Infrastruktur
4D Gaussian Splatting gehört aktuell zu den spannendsten Entwicklungen im Bereich volumetrischer Medien.
Die visuelle Seite der Technologie ist bereits erstaunlich weit. Forschungssysteme und kommerzielle Anbieter zeigen bewegte Menschen, Performance Capture und frei betrachtbare dynamische Szenen.
Aber genau die heutigen Demos zeigen auch sehr gut die Grenzen: Der Schritt von einer kurzen, spektakulären Sequenz zu einem mehrere Minuten langen, zuverlässig streambaren und plattformübergreifend abspielbaren Medium ist noch groß.
Unternehmen wie Gracia AI und 4DV.ai lösen bereits Teile dieser Pipeline. PlayCanvas zeigt, wie sich 4DGS in eine moderne Web-Engine integrieren lässt. Gleichzeitig entstehen erste offene Formatansätze und Forschungsprojekte für progressive Übertragung und Kompression.
Was weiterhin fehlt, ist ein gemeinsames Ökosystem aus Codec, Containerformat, Streaming, LOD, Editing und Runtime-Support.
Der Durchbruch von 4DGS wird deshalb wahrscheinlich nicht durch noch bessere Bilder kommen – sondern durch den Codec und die Infrastruktur, die diese Bilder wirklich praktikabel machen.
Wer sich zunächst mit klassischem Gaussian Splatting beschäftigen möchte, findet bei uns außerdem den Gaussian-Splatting-Einsteiger-Guide, unseren Überblick zu Tools für Gaussian Splatting sowie unseren Artikel über Gaussian Splatting im Browser.
FAQ zu 4D Gaussian Splatting
4D Gaussian Splatting erweitert statisches 3D Gaussian Splatting um die Zeitdimension. Dadurch lassen sich bewegte Menschen, Objekte oder ganze dynamische Szenen volumetrisch erfassen und aus unterschiedlichen Blickwinkeln betrachten.
Für spezialisierte Produktionen ja, als allgemein standardisiertes Medienformat noch nicht. Unternehmen wie Gracia AI bieten bereits kommerzielle Pipelines an. Kompression, Streaming, Dateiformate und plattformübergreifende Wiedergabe sind jedoch weiterhin stark fragmentiert.
Zusätzlich zur räumlichen Information muss 4DGS auch Veränderungen über die Zeit speichern. Bewegung, Verformung, Sichtbarkeit und Erscheinung erhöhen die Datenmenge deutlich gegenüber einem statischen Gaussian Splat.
Ja. Sowohl Forschung als auch kommerzielle Anbieter nutzen unterschiedliche Kompressionsverfahren. Es gibt jedoch noch keinen allgemein akzeptierten Codec, der mit H.264, H.265 oder AV1 bei klassischem Video vergleichbar wäre.
Ja. Gracia AI bietet Web-Streaming an, und eine Integration mit PlayCanvas demonstriert 4DGS direkt in einer Web-Engine inklusive Relighting, Schatten und Post-Processing.
Nicht nativ als Standardfunktion der Engine. Es gibt jedoch experimentelle und Community-basierte Plugins, mit denen sich dynamische Gaussian Splats in Unity darstellen und abspielen lassen.
Hochwertige Produktionen verwenden häufig synchronisierte Multi-Kamera-Systeme. Je nach Qualitätsanspruch reichen die Setups von portablen Kamera-Rigs bis zu vollständigen 360°-Studios mit mehreren Dutzend Kameras.
Nicht mehr unbedingt die reine Renderqualität, sondern die gesamte Medienpipeline: effiziente Kompression, progressive Übertragung, Streaming, Editierung, standardisierte Dateiformate und zuverlässige Wiedergabe auf unterschiedlichen Endgeräten.
