„Vibe Coding XR“: Gemini generiert VR-Apps in unter einer Minute

Summary

Googles interne Forschungseinheit hat einen KI-Workflow vorgestellt, der beim Prototyping immersiver Anwendungen helfen soll. Nutzer beschreiben per Textprompt oder natürlicher Sprache, was sie erstellen möchten, und Gemini generiert daraus in unter einer Minute funktionsfähige, physikbasierte WebXR-Anwendungen für Android XR. Mit einem entsprechenden Headset erfolgen Eingabe, Generierung und anschließendes Testen und Iterieren vollständig im Browser. Weiterlesen nach der Anzeige Der Workflow setzt auf das KI-Werkzeug Gemini Canvas und das von Google Research eigens entwickelte Open-Source-Framework XR Blocks (Github). Während Gemini laut Google die Rolle eines XR-Designers übernimmt und bewährte Vorgehensweisen für XR-Entwicklung befolgt, stellt XR Blocks die Bausteine und Infrastruktur bereit, die aus generiertem Code lauffähige XR-Anwendungen machen. Der Workflow soll Entwicklern und Laien damit ermöglichen, neue Benutzeroberflächen, 3D-Interaktionen und räumliche Visualisierungen schnell und unkompliziert auszuprobieren. Gute Idee für eine (noch) kleine Plattform Google Research illustriert den Ansatz anhand mehrerer Beispiele: Ein per Prompt erzeugter Mathe-Tutor visualisiert Eulers Polyedersatz anhand dreidimensionaler Körper, ein Physik-Labor ermöglicht das Ausbalancieren von Gewichten auf einer Waage, und ein Chemie-Szenario simuliert verschiedene Verbrennungsprozesse. Die Beispiele kombinieren räumliche Interaktion, physikalisches Verhalten und visuelle Darstellung und zeigen, welche Arten von XR-Prototypen sich mit dem Workflow umsetzen lassen. Empfohlener redaktioneller Inhalt Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen. YouTube-Video immer laden YouTube-Video jetzt laden Video mit Beispiel-Apps. Einen großen Haken hat die Sache jedoch: Der Workflow ist offenbar auf das Betriebssystem Android XR und damit kompatible Headsets beschränkt. Derzeit gibt es nur ein Gerät dieser Art: das bisher einzig in den USA un...