Neues Verfahren soll Stromverbrauch von KIs um bis zu 95% senken

Zwei Informatiker haben eine Idee veröffentlicht, wie sich der Stromverbrauch von KI-Systemen senken ließe. Dabei geht es nicht einfach nur um etwas mehr Effizienz, sondern um bis zu 95 Prozent der heute eingesetzten Energie.

Einfach nur addieren

Entworfen wurde die Neuerung durch Hongyin Luo und Wei Sun, die beim Unternehmen BitEnergy AI arbeiten. Sie setzen dabei sehr tief in den mathematischen Verfahren an, mit denen die KI-Modelle bisher rechnen. Im Kern geht es hier um eine Umstellung der Gleitkomma-Operationen durch einfachere Integer-Additionen.

Das Paper, in dem die beiden Forscher ihr Konzept umreißen, trägt entsprechend den optimistischen Titel "Addition is All You Need for Energy-efficient Language Models" (Addition ist alles, was man für energieeffiziente Sprachmodelle braucht). Dieses ist als Preprint veröffentlicht worden, eine tiefergehende fachliche Prüfung steht entsprechend noch aus.


Die darin formulierte Erkenntnis ist allerdings bemerkenswert: Mit dem Verfahren, das als Linear-Complexity Multiplication (L-Mul) bezeichnet wird, sollen eben die energieintensiven Gleitkommamultiplikationen durch einfachere Ganzzahlarithmetik ersetzt und damit der Energiebedarf um bis zu 95 Prozent reduziert werden können. Dies gilt zumindest für die elementaren Berechnungen in dem Bereich. Bei den Matrixmultiplikationen, die ebenfalls ein wichtiger Bestandteil der KI-Algorithmen sind, sollen bis zu 80 Prozent Einsparungen möglich sein.

Hintergrund dessen sind die grundlegenden Prozesse, die in einem Schaltkreis bei der Verarbeitung der Rechenoperationen ablaufen. Gleitkommazahlen erlauben deutlich höhere Genauigkeiten, allerdings benötigen sie eben auch viel Energie, da im Prozessor komplexere Operationen nötig sind - denn diese Zahlentypen stellen aus Sicht eines Computers eine höhere Abstraktion als Ganzzahlen dar.

Geringer Leistungsabfall

Die beiden Informatiker verweisen darauf, dass ihr Verfahren nicht - wie es zu erwarten wäre - dazu führt, dass die Genauigkeit der KI-Berechnungen mit dem Energiebedarf abfällt. In ersten Tests zeigte sich, dass der Leistungsrückgang nur minimal war - durchschnittlich 0,07 Prozent - was im Vergleich zu den potenziellen Energieeinsparungen vernachlässigbar wäre.

Ein Problem bleibt jedoch: Die derzeitige Hardware ist nicht optimiert, um das volle Potenzial von L-Mul auszuschöpfen. Die Informatiker planen jedoch, spezielle Hardware zu entwickeln, die diese Technik nativ unterstützt. Dies könnte zu einer neuen Generation von KI-Modellen führen, die schneller, genauer und gleichzeitig extrem energieeffizient sind. Angesichts dessen, dass der Strombedarf von KI-Anwendungen bereits jetzt kaum noch zu verantworten ist, wäre dies ein bedeutender Schritt in Richtung einer nachhaltigen KI-Zukunft. Wie gut der Forschungsansatz in der Praxis funktioniert, bleibt natürlich abzuwarten.


Siehe auch: