Zuck hat den Größeren: KI-Crunching auf riesigem Nvidia-Cluster

Während Elon Musk groß mit dem Bau eines neuen Supercomputers aus hunderttausend Nvidia-H100-Modulen hausieren ging, hat man bei Meta längst damit begonnen, auf einem ebenso großen System zu arbeiten. Das geht aus Aussagen des Firmengründers Mark Zuckerberg hervor.

Massenhaft H100

Während einer Telefonkonferenz informierte dieser die Meta-Aktionäre unter anderem auch über die Fortschritte bei der KI-Entwicklung. Demnach arbeite der Konzern bereits an der nächsten Generation seines KI-Modells, Llama 4. Die Trainings-Berechnungen würden dabei auf einem großen Cluster-System ausgeführt, in dem 100.000 H100-Module kombiniert sind - eine Infrastruktur, die laut Zuckerberg größer sei als alles, was bisher in der Branche praktisch eingesetzt wurde.

Die ersten Versionen des neuen Modells sollen bereits Anfang nächsten Jahres verfügbar sein, berichtet Wired. Meta wolle sich im Wettlauf um immer leistungsfähigere KI-Modelle weiter an die Spitze setzen. Bisher führt hier OpenAI, doch das Startup mit seinem Microsoft-Hintergrund wird von der Konkurrenz immer stärker unter Druck gesetzt.


Laut Zuckerberg werden die kleineren Llama 4-Modelle wohl zuerst veröffentlicht, bevor umfangreichere Versionen folgen. Durch die beträchtliche Anzahl an GPUs werde eine hohe Rechenleistung und ein Datenvolumen erreicht, das für die Entwicklung der nächsten KI-Generation notwendig ist. Schätzungen zufolge könnte die für Llama 4 eingesetzte Rechenleistung allein 150 Megawatt Energie beanspruchen. Zum Vergleich: Das größte US-amerikanische Supercomputing-Zentrum, El Capitan, benötigt nur 30 Megawatt.

Open-Source-Ansatz

Der offene Entwicklungsansatz Metas unterscheidet sich grundlegend von anderen Tech-Giganten wie OpenAI und Google. Während Modelle wie GPT von OpenAI nur über eine kostenpflichtige API zugänglich sind, bietet Meta Llama als sogenanntes Open-Source-Modell an. Das ermöglicht Entwicklern und Startups, die Modelle herunterzuladen und frei zu verwenden, was Meta in Entwicklerkreisen besonders populär macht. Trotz Open Source-Label schränkt Meta jedoch die kommerzielle Nutzung von Llama ein und gibt keine genauen Details zur Modellentwicklung preis.

Die Investitionen in das Llama-Projekt treiben die Kosten bei Meta erheblich in die Höhe: Allein dieses Jahr werden rund 40 Milliarden Dollar für Infrastruktur, insbesondere für Rechenzentren, aufgewendet. Trotz dieser enormen Ausgaben bleibt Meta profitabel, da die Werbeeinnahmen über Instagram und Facebook weiterhin stark steigen.

Siehe auch: