KI-Reasoning: Informatiker legen sich mit 50 Dollar mit den Großen an

Informatiker haben für ziemlich wenig Geld und Rechenaufwand ein KI-Reasoning-Modell namens "s1" entwickelt, das es mit aktu­el­len Spit­zen­pro­duk­ten wie OpenAIs o1 und DeepSeeks R1 aufnehmen können soll.

Destillation von Antworten

Das Modell s1 wurde von Forschern der Stanford University und der University of Washington entworfen. Es wurde für weniger als 50 Dollar an Cloud-Compute-Credits trainiert. Dies zeigt, dass es nicht zwingend nötig ist, gewaltige Rechenleistungen in die KI-Weiterentwicklung zu investieren. Dies würde es letztlich auch Startups mit geringeren Mitteln möglich machen, gegen die Branchengrößen mit ihren Milliarden-Budgets konkurrieren zu können.

Die Entwickler starteten den Angaben zufolge mit einem handelsüblichen Basis-Modell und verfeinerten dessen "Denk"-Fähigkeiten durch einen Prozess namens Destillation, wie aus dem Forschungspaper der Informatiker hervorgeht. Dabei werden die Antwortprozesse eines fortschrittlichen KI-Modells - in diesem Fall von Googles Gemini 2.0 Flash Thinking Experimental - extrahiert.

Die Methode basiert auf dem Supervised Fine-Tuning (SFT) und erforderte lediglich einen Datensatz von etwa 1000 sorgfältig kuratierten Fragen, den dazugehörigen Antworten sowie den gedanklichen Abläufen hinter den Antworten des Google-Modells.


Das Team, das hinter s1 steht, stellte den Quellcode samt Trainingsdaten auf GitHub zur Verfügung, was der Community nicht nur Einblick in den Trainingsprozess gibt, sondern auch zu weiteren Innovationen anregen soll. Die direkte Trainingsphase dauerte laut dem Paper weniger als 30 Minuten - ausgeführt auf 16 Nvidia-H100-GPUs -. Der für das benötigte Rechenkapital angegebene Mietpreis liegt laut einem der beteiligten Forscher, Niklas Muennighoff von Stanford, heute bei rund 20 Dollar.

Keine Erfolgsgarantie

Ein Aspekt des Projekts ist ein kleiner, aber effektiver Trick: Indem man dem Modell während des Denkprozesses das Wort "wait" (warten) mitgibt, kann es seine Denkzeit verlängern, was zu präziseren Antworten führt. Dieses Feature ermöglicht es dem Modell, seine Antworten noch einmal zu überprüfen und so die Genauigkeit zu erhöhen.

Die Ergebnisse des s1-Projekts werfen zugleich Fragen zur zunehmenden Kommodifizierung von KI-Modellen auf. Während große Technologiekonzerne wie Meta, Google und Microsoft für 2025 Investitionen in Milliardenhöhe in ihre KI-Infrastruktur planen, zeigt dieses Projekt, dass auch kleinere Teams mit bescheidenen Mitteln bemerkenswerte Fortschritte erzielen können.

Dennoch wird eingeräumt, dass derartige Destillationsverfahren zwar kostengünstig bestehende Fähigkeiten reproduzieren, aber nicht zwangsläufig zu revolutionär besseren Modellen führen.

Download Chatbox - Desktop-Client für KI-Chatbots Download GPT4All - KI-Sprachmodelle offline nutzen
Siehe auch: