Die neueste Grafikforschung von Nvidia nimmt Bilder fast sofort von 2D auf 3D auf
Instant NeRF könnte verwendet werden, um Avatare oder Szenen für virtuelle Welten zu erstellen, Videokonferenzteilnehmer und ihre Umgebungen in 3D zu erfassen oder Szenen für digitale 3D-Karten zu rekonstruieren.
Das Metaverse nimmt gerade Gestalt an, und Nvidia hat alles daran gesetzt, eine Reihe robuster Tools einzuführen, um es aufzubauen. Aber selbst für einen Grafikpionier wie Nvidia ist das Rendern von 3D-Welten eine komplizierte technische Herausforderung.
Auf seiner Frühjahrs-Graphics Technology Conference (GTC) in dieser Woche demonstrierte Nvidia einen neuen Ansatz für inverses Rendering - den Prozess der Rekonstruktion von 3D-Szenen aus einer Handvoll 2D-Bildern. Beim inversen Rendering wird KI verwendet, um sich dem Verhalten von Licht in der realen Welt anzunähern. Mit dem vom Nvidia-Forschungsteam entwickelten Ansatz läuft der gesamte Prozess fast sofort ab.
Die Methode, so Nvidia, könne auf eine Vielzahl von Anwendungsfällen angewendet werden. Es könnte verwendet werden, um Avatare oder Szenen für virtuelle Welten zu erstellen, Videokonferenzteilnehmer und ihre Umgebungen in 3D zu erfassen oder Szenen für digitale 3D-Karten zu rekonstruieren.
Die Verwendung herkömmlicher Methoden zum Erstellen einer 3D-Szene kann je nach Komplexität und Auflösung der Visualisierung Stunden oder länger dauern. Eine beliebte neue Technologie namens Neural Radiance Fields (NeRF) nutzt KI, um den Prozess zu beschleunigen. NeRFs verwenden neuronale Netze, um realistische 3D-Szenen basierend auf einer Eingabesammlung von 2D-Bildern darzustellen und zu rendern. Ein NeRF trainiert effektiv ein kleines neuronales Netzwerk, um die Lücken zu füllen, indem es die Farbe des Lichts vorhersagt, das von jedem Punkt im 3D-Raum aus in eine beliebige Richtung strahlt.
Frühe NeRF-Modelle haben in wenigen Minuten qualitativ hochwertige Renderings erstellt, aber das Training hat Stunden gedauert. Nvidia Research hat das so genannte Instant NeRF entwickelt, das schnelles Training neuronaler Netze mit schnellem Rendering kombiniert. Laut Nvidia ist es die bisher schnellste NeRF-Technik, die in einigen Fällen mehr als 1.000-fache Beschleunigungen erreicht.
Um Instant NeRF zu entwickeln, hat Nvidia eine neue Eingabecodierungsmethode entwickelt, die als Multi-Resolution-Hash-Grid-Codierung bezeichnet wird. Es ist für den effizienten Betrieb auf Nvidia-GPUs optimiert.
"Instant NeRF könnte für 3D genauso wichtig sein wie Digitalkameras, und die JPEG-Komprimierung war es für die 2D-Fotografie - sie erhöht die Geschwindigkeit, Einfachheit und Reichweite der 3D-Erfassung und -Freigabe erheblich", sagte David Luebke, VP für Grafikforschung bei Nvidia, in einer Erklärung.