DeepSeek muss neue KI verschieben, weil Huawei-Chips zu schlecht sind

DeepSeek verzögert die Veröffentlichung seines R2-KI-Modells nach Problemen mit Huawei-Chips. Chinas Drängen auf heimische Al­ter­na­ti­ven zu Nvidia scheiterte bisher an technischen Hürden bei der Stabilität und Software-Unterstützung.

Huawei-Chips sorgen für Verzögerung bei DeepSeek

Das chinesische KI-Unternehmen DeepSeek, das Anfang des Jahres regelrechte Panik im Silicon Valley auslöste, hat die Veröffentlichung seines R2-Modells verschoben. Der Grund ist, dass das Training mit Huawei-Chips fehlgeschlagen ist. Die chinesischen Behörden hatten DeepSeek nach dem erfolgreichen R1-Modell dazu ermutigt, für das Nachfolgemodell auf Huaweis Ascend-Prozessoren statt auf Nvidia-Systeme zu setzen, doch das ging gründlich schief und beweist auch, warum Nvidia so erfolgreich ist.

Das chinesische Start-up stieß während des R2-Trainingsprozesses auf anhaltende technische Probleme mit den Ascend-Chips. Brancheninsider berichten von Stabilitätsproblemen, langsamerer Chip-zu-Chip-Konnektivität und minderwertiger Software im Vergleich zu Nvidias Produkten. Huawei entsandte sogar ein Ingenieursteam in DeepSeeks Büros, um beim Einsatz der KI-Chips für die R2-Entwicklung zu helfen.

Technische Probleme bei chinesischen Chips

Trotz der Anwesenheit des Teams vor Ort konnte DeepSeek keinen erfolgreichen Trainingslauf auf dem Ascend-Chip durchführen. Ein zentrales Problem liegt im Fehlen einer Alternative zu Nvidias CUDA-Technologie-Stack, wie die Financial Times berichtet. CUDA ist Nvidias proprietäre Programmierplattform, die seit 2007 entwickelt wird und mittlerweile als Industriestandard für parallele Berechnungen gilt. Die Plattform ermöglicht es Entwicklern, die Rechenleistung von Grafikkarten für allgemeine Berechnungen zu nutzen - ein entscheidender Vorteil beim Training großer KI-Modelle.

Huaweis CANN-Software-Toolkit weist Beschränkungen auf, die das Training komplexer KI-Modelle erschweren. CANN steht für "Compute Architecture for Neural Networks" und wurde als Huaweis Antwort auf CUDA entwickelt. Allerdings fehlt dem System die jahrelange Optimierung und das umfangreiche Ökosystem, das Nvidia aufgebaut hat. Als Kompromiss verwendet DeepSeek nun Nvidia-Chips für das Training und Huaweis Hardware für die Inferenz - also die Ausführung bereits trainierter Modelle.

Chinas Abhängigkeit von Nvidia

DeepSeek trainierte sein erfolgreiches R1-Modell auf einem Cluster von 50.000 Hopper-GPUs - bestehend aus 30.000 HGX H20-Einheiten, 10.000 H800s und 10.000 H100s. Das R1-Modell hatte durch sein reines Reinforcement-Learning-Training ohne überwachte Feinabstimmung für Aufsehen gesorgt und erreichte Leistungen vergleichbar mit OpenAIs o1-Modell. Die H20-Chips sind speziell für den chinesischen Markt entwickelte Versionen von Nvidias H100-Prozessoren, die aufgrund von US-Exportbeschränkungen eine reduzierte Leistung aufweisen.

Peking hat chinesische Tech-Unternehmen aufgefordert, ihre Bestellungen von Nvidias H20-Chips zu rechtfertigen, um Alternativen von Huawei und Cambricon zu fördern. Cambricon ist ein 2016 gegründeter chinesischer Chiphersteller, der sich auf KI-Prozessoren spezialisiert hat. Die chinesische Staatsführung soll heimische KI-Unternehmen überdies angewiesen haben, Nvidias Chips nicht zu verwenden, da diese Mechanismen wie Standortverfolgung enthalten könnten.

Ausblick auf R2-Veröffentlichung

Chinesische Medienberichte deuten darauf hin, dass das R2-Modell möglicherweise in den kommenden Wochen veröffentlicht wird. Gründer Liang Wenfeng soll intern seine Unzufriedenheit mit dem R2-Fortschritt geäußert und darauf gedrängt haben, mehr Zeit für die Entwicklung eines fortgeschrittenen Modells zu investieren. Die Verzögerung wurde auch durch länger als erwartete Datenbeschriftung für das aktualisierte Modell verursacht.

Die Schwierigkeiten zeigen, dass Chinas heimische Alternativen noch weit davon entfernt sind, Nvidia zu ersetzen, was bedeutet, dass lokale KI-Unternehmen vorerst auf Chips des US-Konzerns angewiesen bleiben. Experten erwarten jedoch, dass sich Huawei langfristig anpassen bzw. aufholen wird.

Was haltet ihr von Chinas Bemühungen um technologische Unabhängigkeit? Teilt eure Einschätzung zu den Herausforderungen beim Chip-Design in den Kommentaren!


Siehe auch: