DeepSeek: Erstes Open-Source-Modell kann auch GPT-4 schlagen

Das chinesische KI-Start-up DeepSeek wartet aktuell mit einem beachtlichen Erfolg auf: Ihm ist es gelungen, mit einem Open Source-Sprachmodell die großen kommerziellen Konkurrenten in ihre Schranken zu verweisen.

Nicht nur Rechenkraft

Die KI-Entwicklung ist zu einem wesentlichen Teil eine Ressourcenfrage. Denn je mehr Rechenleistung man bereitstellen kann, umso leistungsfähiger wird das Ergebnis. Trotzdem lässt sich auch mit anderen Faktoren noch einiges erreichen - und hier dürfte DeepSeek zuletzt fleißig gearbeitet haben.

Denn die Firma konnte gerade ihre Programmier-KI DeepSeek Coder V2 vorstellen, die auf dem DeepSeek-V2-Sprachmodell basiert. Auch wenn keine detaillierten Informationen über die Entwicklung dieses Modells vorliegen, kann man doch davon ausgehen, dass dem Startup kaum die Möglichkeiten zur Verfügung stehen, mit denen OpenAI/Microsoft, Meta oder Google arbeiten können, wenn sie auf ihre zahlreichen großen Datenzentren zurückgreifen.


Der ursprüngliche DeepSeek Coder mit seinen bis zu 33 Milliarden Parametern schnitt bereits recht ordentlich ab, wenn es um Aufgaben wie die Code-Vervollständigung und andere Programmieraufgaben ging. Das Tool unterstützte allerdings "nur" 86 verschiedene Programmiersprachen und arbeitete mit einem Kontextfenster von 16 KB.

Mehr Breite

Die Version 2 wurde hingegen deutlich erweitert, wie das US-Magazin VentureBeat berichtet: Sie soll nun 338 Programmiersprachen unterstützen. Außerdem erweitert sie das Kontextfenster auf 128 KB, sodass komplexere und umfangreichere Codierungsaufgaben bewältigt werden können. Bei den Tests mit MBPP+, HumanEval und Aider, die zur Bewertung der Fähigkeiten von LLMs bei der Codegenerierung, -bearbeitung und -problemlösung entwickelt wurden, erzielte DeepSeek Coder V2 76,2, 90,2 bzw. 73,7 Punkte.

Damit schlug die Programmier-KI verschiedene andere Modelle wie GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro, Codestral und Llama-3 70B. Ähnliche Ergebnisse zeigten sich nicht nur bei der Code-Erstellung, sondern auch bei Tests bezüglich der mathematischen Fähigkeiten. Das einzige Modell, das DeepSeek in mehreren Benchmarks übertreffen konnte, war GPT-4o, das in HumanEval, LiveCode Bench, MATH und GSM8K geringfügig bessere Ergebnisse erzielte.

Die Entwickler führen den großen Fortschritt darauf zurück, dass sie das Basis-V2-Modell auf einem zusätzlichen Datensatz von 6 Billionen Token vortrainiert haben, der hauptsächlich aus Code- und mathematikbezogenen Daten von GitHub und CommonCrawl besteht. Aber auch bei Aufgaben abseits der Programmierung zeigte DeepSeek zuletzt massive Fortschritte. Das deutet darauf hin, dass es Open Source-Modellen durchaus möglich ist, mit den großen kommerziellen Entwicklungen mitzuhalten.


Siehe auch: