Apertus: Schweiz hat ein komplett offenes, großes KI-Modell entwickelt

Leistungsfähige KI-Sprachmodelle gibt es im Grunde nur im kom­mer­ziel­len Rahmen - Open-Source-Alternativen können mit diesen lediglich ansatzweise mithalten. Das soll sich nun aber ändern - mit dem in der Schweiz entwickelten Apertus.

Nicht kommerziell und leistungsfähig

Ein Konsortium aus den Universitäten ETH Zürich und EPFL sowie dem Swiss National Supercomputing Centre (CSCS) hat mit Apertus ein neues Sprachmodell präsentiert, das auf vollständige Offenheit, Datenschutz und Mehrsprachigkeit setzt. Entwickelt wurde das Projekt im Rahmen der "Swiss AI Initiative", es wurde ausschließlich mit öffentlichen Mitteln finanziert. Trainiert wurde es auf dem Supercomputer Alps in Lugano, mit mehr als zehn Millionen GPU-Stunden.

Das Besondere an Apertus: Es zählt zu den bisher größten und zugleich offensten Sprachmodellen. Während viele Konkurrenzsysteme nur über geschlossene Schnittstellen nutzbar sind, veröffentlicht das Schweizer Team nicht nur den Quellcode, sondern auch die Trainingsdaten, Zwischenschritte und Dokumentationen. Damit ist der gesamte Entwicklungsprozess transparent und für Forschung wie Aufsichtsgremien nachvollziehbar.


Ein weiterer Schwerpunkt liegt auf sprachlicher Vielfalt. Das Modell wurde mit 15 Billionen Token aus über 1000 Sprachen trainiert. Rund 40 Prozent der Daten stammen nicht aus dem Englischen, sondern auch aus kleineren Sprachräumen - darunter Schweizerdeutsch und Rätoromanisch. Damit soll ein Gegenpol zu stark anglofonen Modellen geschaffen werden, die viele Sprachen bislang kaum berücksichtigen.

Hoher Datenschutz-Standard

Auch beim Thema Datenschutz will Apertus Maßstäbe setzen. Verwendet wurden ausschließlich frei verfügbare Daten, aus denen persönliche Informationen herausgefiltert wurden. Zudem wurden Mechanismen integriert, mit denen Urheber nachträglich widersprechen können, falls ihre Inhalte nicht genutzt werden sollen. Damit erfüllt das Projekt nicht nur die strengen Schweizer Datenschutzgesetze, sondern orientiert sich auch am geplanten EU AI Act.

"Apertus ist für das Gemeinwohl gedacht - vergleichbar mit öffentlicher Infrastruktur wie Strom oder Verkehr", erklärte Projektleiter Imanol Schlag von der ETH Zürich. Die ersten Anwendungen sind bereits angelaufen: Swisscom bietet das Modell über seine Plattform "Sovereign Swiss AI" für Unternehmen und Entwickler an. International ist Apertus unter anderem über die Open-Source-Plattform Hugging Face zugänglich.

Neben der 70-Milliarden-Parameter-Version existiert auch ein kleineres Modell mit acht Milliarden Parametern, das sich für Schulen, Forschungseinrichtungen oder kleinere Firmen eignet. Langfristig planen die Entwickler spezialisierte Varianten für Bereiche wie Medizin, Klimaforschung oder Rechtswissenschaften.


Siehe auch: