DeepSeek verrät, wie lächerlich wenig das Training seiner KI kostet

Das chinesische KI-Unternehmen DeepSeek sorgt erneut für Aufsehen: Das Training seines R1-Modells kostete nur 294.000 Dollar - ein Bruchteil der Ausgaben amerikanischer Konkurrenten. Die Zahlen wurden im Rahmen einer Studie veröffentlicht.

Transparenz bei Trainingskosten

Das chinesische KI-Unternehmen DeepSeek hat erstmals die Trainingskosten seines R1-Modells preisgegeben, nämlich gerade einmal 294.000 Dollar (etwa 249.000 Euro). Diese Zahl wurde in einem wissenschaftlichen Artikel im renommierten Journal Nature veröffentlicht.

Das aus Hangzhou stammende Unternehmen trainierte sein auf logisches Denken spezialisiertes Modell mit 512 Nvidia H800-Chips. Diese Hardware wurde speziell für den chinesischen Markt entwickelt, nachdem die USA den Export der leistungsstärkeren H100- und A100-Prozessoren nach China verboten hatten. Das Training dauerte laut DeepSeek insgesamt 80 Stunden.

Wie Reuters berichtet, zogen sich das Unternehmen und Gründer Liang Wenfeng nach der Veröffentlichung kostengünstiger KI-Tools im Januar größtenteils aus der Öffentlichkeit zurück. Damals hatte DeepSeeks Ankündigung die globalen Märkte destabilisiert und zu einem Ausverkauf von Tech-Aktien geführt, da Investoren befürchteten, die neuen Modelle könnten etablierte Giganten wie Nvidia und OpenAI untergraben.

Drastischer Kostenunterschied

Die Summe steht natürlich in starkem, ja regelrecht krassem Kontrast zu den Ausgaben amerikanischer Unternehmen: OpenAI-Chef Sam Altman erklärte 2023, dass das Training von Grundlagenmodellen bei seinem Unternehmen "deutlich mehr" als 100 Millionen Dollar koste, ohne jedoch detaillierte Zahlen zu nennen. DeepSeek investierte zusätzlich rund sechs Millionen Dollar (etwa fünf Millionen Euro) in die Entwicklung des Basismodells, auf dem R1 aufbaut - selbst mit diesem Betrag bleiben die Gesamtkosten weit unter denen der Konkurrenz.


DeepSeeks entscheidender Durchbruch war die Verwendung eines reinen Reinforcement-Learning-Ansatzes, bei dem das Modell für korrekte Problemlösungen belohnt wurde und schrittweise eigene Lösungsstrategien entwickelte. Diese Trial-and-Error-Methode ermöglichte es R1, seine Arbeitsweise zu überprüfen, ohne menschliche Taktiken zu kopieren.

In ergänzenden Dokumenten räumte DeepSeek allerdings auch erstmals ein, A100-Chips zu besitzen und diese in den Vorbereitungsphasen der Entwicklung genutzt zu haben. US-Quellen hatten zuvor mitgeteilt, DeepSeek besitze illegal große Mengen der exportbeschränkten H100-Chips, was das Unternehmen bestreitet.

Wissenschaftliche Anerkennung

R1 erregte nicht nur wegen seiner niedrigen Trainingskosten Aufmerksamkeit, sondern möglicherweise auch als erstes großes Modell, das einer formalen wissenschaftlichen Begutachtung unterzogen wurde. "Das ist ein sehr willkommener Präzedenzfall", erklärte Lewis Tunstall, ein Machine-Learning-Ingenieur bei Hugging Face, der das Nature-Paper begutachtete.

Die Veröffentlichung der detaillierten Trainingskosten in einem peer-reviewten Journal setzt übrigens auch neue Standards für Transparenz in der KI-Industrie, wo Unternehmen traditionell extrem zurückhaltend mit solchen Informationen umgehen.

Was haltet ihr von DeepSeeks kostengünstiger KI-Entwicklung? Teilt eure Einschätzungen zu den Auswirkungen auf den globalen KI-Markt in den Kommentaren!


Siehe auch: