Minecraft nie gespielt, Diamanten gefarmt:
Experten sind baff von Agent

Ein KI-Agent, der in Minecraft Diamanten findet - ohne je gespielt zu haben. DeepMind zeigt mit Dreamer 4, dass künstliche Intelligenz inzwischen lernen kann, allein durch eine Art "Vorstellungskraft" - ein Schritt hin zu selbsttrainierenden Agenten.

Dreamer stellt sich Minecraft einfach vor - in Echtzeit

Das neue Modell, vorgestellt in einem Paper auf arXiv und auf der Dreamer 4-Seite von Danijar Hafner, ist der erste KI-Agent, der Diamanten in Minecraft gewinnt, ohne auch nur ein einziges Mal in der echten Spielwelt zu üben. Damit löst DeepMind ein altes Dilemma der KI-Forschung: Wie kann ein System komplexe Handlungen lernen, wenn Ausprobieren riskant, teuer oder schlicht unmöglich ist?

Bisherige Agenten mussten Millionen Versuche in der realen oder simulierten Umgebung durchlaufen. Doch Dreamer 4 nutzt ein anderes Prinzip - das der World Models. Statt ständig zu handeln, lernt es eine Art innere Physik-Engine, die aus Videos abschätzt, wie die Welt funktioniert. Diese virtuelle Umgebung dient dann als Trainingsraum, in dem der Agent Strategien "im Kopf" ausprobiert.


DeepMind beschreibt Dreamer 4 als eine Art Vorstellungsmaschine: Sie sieht Videos, erkennt Muster und probiert in ihrer eigenen Simulation aus, welche Aktionen zu Erfolg führen würden. So entsteht ein Lernprozess, der komplett ohne Interaktion mit der echten Spielwelt auskommt - ein entscheidender Fortschritt, etwa für Robotik, wo reale Fehlversuche bei Bewegungstraining schnell gefährlich wären.

Dabei waren die Forscher überrascht, wie gut dieser Ansatz funktioniert: "Das System zeigt bemerkenswerte Effizienz: Der Agent brauchte nur einen Bruchteil der Daten früherer Systeme und übertraf sie dennoch deutlich", so das Forscherteam von DeepMind. Während OpenAIs VPT-Modell rund 270.000 Stunden Videomaterial brauchte, kam Dreamer 4 mit rund 2500 Stunden aus - ein Faktor 100 weniger. Erst wenn das Training abgeschlossen ist, wird der Agent im echten Minecraft getestet. Das Ergebnis: Er findet tatsächlich Diamanten, obwohl er vorher nie wirklich gespielt hat. Benchmark mag Dreamer 4

Viel effizienter als die Konkurrenz

Bemerkenswert ist auch, wie effizient das System mit Daten umgeht: Schon 100 Stunden mit bekannten Aktionen reichten, um 85 Prozent der maximalen Genauigkeit zu erreichen. Den Rest zog das Modell aus unbeschrifteten Videos - ein Hinweis darauf, dass KIs künftig auch aus gewöhnlichen Webclips physikalisches Verständnis gewinnen könnten.

Technisch besteht Dreamer 4 aus zwei zentralen Bausteinen. Der erste, ein sogenannter Tokenizer, zerlegt Videobilder in eine vereinfachte, aber aussagekräftige Darstellung - ähnlich wie ein Gehirn, das nicht jedes Pixel speichert, sondern nur das, was für das Verständnis der Szene wichtig ist. Der zweite Baustein, das Dynamics Model, nutzt diese Darstellung, um vorherzusagen, wie sich die Welt im nächsten Moment verändern würde: Wenn ein Block abgebaut, ein Werkzeug geschwungen oder eine Figur gesteuert wird.

Auf YouTube ansehen
So kann Dreamer 4 nicht nur erkennen, was gerade im Spiel geschieht, sondern auch wie sich die Szene im nächsten Moment weiterentwickeln wird - etwa wenn ein Spieler eine Spitzhacke schwingt oder einen Block platziert. Diese inneren Simulationen laufen in Echtzeit (20 fps), also mit fast der gleichen Geschwindigkeit wie das eigentliche Spiel, und das auf nur einer Grafikkarte.

Tricks funktionieren

Der entscheidende Trick dahinter heißt Shortcut Forcing. Statt wie herkömmliche Modelle jedes Einzelbild Schritt für Schritt zu berechnen, lernt Dreamer 4, ganze Bildfolgen in einem Zug vorauszudenken. Dadurch wird das Training um ein Vielfaches schneller - und die Simulation bleibt trotzdem stabil. In Kombination mit einem speziell abgestimmten Transformer-Netzwerk, das Zeit- und Raumbeziehungen getrennt verarbeitet, kann das System auch komplexe Abläufe wie Bauen, Kämpfen oder Crafting glaubwürdig nachstellen.

Dreamer 4 umfasst etwa zwei Milliarden Rechenparameter - eine Größenordnung, die es erlaubt, Zusammenhänge über längere Zeitspannen zu behalten. Statt einzelne Momente isoliert zu betrachten, sieht das Modell fast zehn Sekunden Videokontext auf einmal. Dadurch wirken Bewegungen konsistenter, Objekte bleiben an Ort und Stelle, und die virtuelle Welt verliert selbst bei langen Handlungsfolgen nicht ihre innere Logik.

Für DeepMind ist das Projekt mehr als ein technisches Experiment. Es zeigt, dass KI nicht zwangsläufig auf permanente Interaktion angewiesen ist, um zu lernen. Statt Versuch und Irrtum im echten Raum entsteht Wissen durch Vorstellung - eine Art internes Planspiel der Maschine.


Siehe auch: