Phi-3: KI-Modell von Microsoft läuft lokal und kann GPT-3.5 schlagen

Microsoft zeigt, dass KI-Modelle auch in leichter Form funktionieren. Das Unternehmen hat mit Phi-3-mini ein System vorgestellt, das problemlos auf lokalen Geräten laufen kann und nicht einmal zwingend eine Internetverbindung benötigt.

Wenige, aber gute Parameter

Beim Ressourcen-Bedarf von KI-Modellen hängt vieles von der Menge der Parameter ab, mit denen diese arbeiten. Gemeinhin lässt sich sagen, dass mehr Parameter auch zu komplexeren Fähigkeiten führen. Der Bedarf an Rechenleistung steigt allerdings ebenfalls rasant an. Die großen Sprachmodelle kommen aktuell auf mehrere hundert Milliarden und manchmal sogar mehr als eine Billion Parameter.

Im Gegensatz dazu hat Microsoft mit Phi-3-mini ein kleines Modell entwickelt, das nur 3,8 Milliarden Parameter enthält und auf 3,3 Billionen Token trainiert wurde. Das macht es ideal für die Ausführung auf Consumer-GPUs oder KI-Beschleunigungshardware, wie sie in Smartphones und Notebooks zu finden ist.


Trotz des geringen Ressourcen-Bedarfs soll Phi-3-mini durchaus in der Lage sein, mit einigen größeren Modellen mitzuhalten. Wie das Unternehmen mitteilte, werden in den kommenden Wochen auch etwas größere Versionen zur Verfügung gestellt: Phi-3-small (7 Milliarden Parameter) and Phi-3-medium (14 Milliarden Parameter). Auch diese sollen noch auf überschaubarer Hardware laufen und zumindest mit der Medium-Version will man das deutlich größere KI-Modell GPT-3.5 übertreffen, das hinter der kostenlos nutzbaren Version von ChatGPT steht.

Auf Raspberry Pi nutzbar

"Die meisten Modelle, die auf einem lokalen Gerät laufen, benötigen immer noch viel Hardware", erklärte der KI-Forscher Simon Willison gegenüber dem US-Magazin Ars Technica. "Phi-3-mini läuft bequem mit weniger als 8 GB RAM und kann Token mit einer angemessenen Geschwindigkeit auch auf einer normalen CPU ausgeben. Es ist MIT-lizenziert und sollte auch auf einem 55 Dollar teuren Raspberry Pi funktionieren - und die Qualität der Ergebnisse, die ich bisher gesehen habe, sind vergleichbar mit viermal größeren Modellen."

Dass man auf eine Leistung kommt, die dem GPT-3.5 mit seinen 175 Milliarden Parametern ebenbürtig ist, führen die Microsoft-Entwickler auf ihre Trainingsdaten zurück. "Die Innovation liegt ausschließlich in unserem Datensatz für das Training, einer vergrößerten Version des für phi-2 verwendeten Datensatzes, der aus stark gefilterten Webdaten und synthetischen Daten besteht", teilte Microsoft mit.


Siehe auch: