Gaming: KI verpasst ASCII-Spiel während des Spielens eine echte Grafik

Ein Entwickler zeigt, wie KI simple ASCII-Grafiken in Echtzeit in gerenderte Spiellandschaften verwandelt. Trotz beeindruckender Ergebnisse kämpft die Technologie noch mit hoher Latenz und grafischer Inkonsistenz.

KI erobert die Spieleentwicklung

KI in der Spieleentwicklung ist längst kein Zukunftstraum mehr. Künstliche Intelligenz hilft Gamern auf der Xbox und dem PC nicht nur mit Tipps, sondern generiert sogar ganze Spiele. Mit Microsoft Muse geht das mittlerweile sogar in Echtzeit.

Software-Ingenieur Jeff Schomay hat nun eine besonders spektakuläre Anwendung präsentiert, die ebenfalls in Echtzeit arbeitet. So verwandelt er die ASCII-Grafik seines Games "Thunder Lizard" mithilfe künstlicher Intelligenz direkt während des Spielens in eine ansehnliche Optik. Aus Ziffern, Symbolen und Sonderzeichen werden Darstellungen gerendert. Das Experiment zeigt allerdings nicht nur das Potenzial, sondern auch die aktuellen Grenzen der Technologie auf.

Wie Schomay in seinem Blog detailliert beschreibt, nutzte er für das Projekt Fal.ai, einen Anbieter, der sich auf schnelle Inferenz-Fähigkeiten für generative Medien spezialisiert hat. Die Herausforderung bestand darin, die textbasierten Grafiken Bild für Bild durch KI-generierte Darstellungen zu ersetzen und dabei eine ausreichende Framerate zu erreichen.

Vom Text zur realistischen Landschaft

Thunder Lizard ist ein klassisches ASCII-RPG, bei dem Spieler als Dinosaurier durch eine prähistorische Landschaft navigieren. Das Spielprinzip ist simpel. Der Spieler muss kleinere Dinosaurier fressen, um zu wachsen, und sollte größere meiden, um nicht selbst gefressen zu werden.

Auf YouTube ansehen
Die technischen Hürden waren beträchtlich. Bei einer angestrebten Framerate von 30 Bildern pro Sekunde bleiben nur 33 Millisekunden für den kompletten Prozess. So muss die Verbindung zum KI-Anbieter aufgebaut und das ursprüngliche Bild übertragen, das neue generiert und das Ergebnis angezeigt werden. Diese Zeitspanne ist deutlich kürzer als die typischen Generierungszeiten aktueller KI-Modelle, die oft mehrere Sekunden benötigen. Schomay experimentierte mit verschiedenen Ansätzen für Layout-Konsistenz und Image-to-Image-Modelle. Letztendlich nutzte er ein Stable Diffusion 1.5-Modell.

Kompromisse für die Spielbarkeit

Schomay erreichte schließlich eine Framerate von zehn Bildern pro Sekunde bei einer Latenz von etwa einer Sekunde. Diese Verzögerung zwischen Spielereingabe und visueller Rückmeldung war deutlich spürbar, machte das Spiel aber noch spielbar. Die Kosten hielten sich bei wenigen Cent pro Minute in Grenzen.

Die größte technische Herausforderung bestand darin, die konsistente Darstellung der Spielwelt zu gewährleisten. Inkonsistenzen führten dazu, dass Bäume plötzlich zu Felsen wurden oder Gras seine Position änderte. Zudem gelang es nicht, die Dinosaurier als erkennbare Sprites zu rendern. Sie verschwanden oft in der generierten Landschaft.

Für bessere visuelle Qualität experimentierte Schomay auch mit LoRA-Training (Low-Rank Adaptation), einer Technik zur Feinabstimmung von KI-Modellen. Dies lieferte zwar deutlich bessere Ergebnisse, führte aber mit vier Sekunden Latenz zu einem unspielbaren Erlebnis.

Auf YouTube ansehen

Grenzen und Zukunftsperspektiven

Das Projekt demonstriert sowohl die aktuellen Möglichkeiten als auch die verbleibenden Hürden der Technologie. Techniken wie "Out-painting" könnten zukünftig für flüssigere Übergänge zwischen den Frames sorgen, sind aber bisher nicht bei der erforderlichen Geschwindigkeit verfügbar. Mittelfristig dürften diese Probleme jedoch gelöst werden.

Schomays Experiment eröffnet Entwicklern interessante Möglichkeiten. Sie könnten schnell verschiedene visuelle Stile für Low-Resolution-Prototypen testen oder bestehende Inhalte ohne grundlegende Änderungen der Spielmechanik visuell aufwerten. Das könnte besonders für Indie-Entwickler mit begrenzten Ressourcen relevant werden.

Was denkt ihr über KI-generierte Echtzeit-Grafiken im Gaming? Seht ihr darin eine Bereicherung für die Spieleentwicklung oder befürchtet ihr negative Auswirkungen auf die Kreativität?


Siehe auch: