KI verliert Verstand, wenn man sie mit den eigenen Daten trainiert

Das menschengemachte Trainingsmaterial für KIs wird knapp. Doch warum die Systeme nicht mit ihrem eigenen Output füttern? Forscher haben jetzt genau diesen Ansatz untersucht und müssen feststellen: Dann dreht die künstliche Intelligenz schnell einfach durch.

Selbstverzehrende Schleife macht KI "MAD"

Es ist ein Problem, über das aktuelle viele Experten und Unternehmen nachdenken. KIs, so wie sie aktuell funktionieren, brauchen für ihr Training hochwertiges Material. Laut Forschern ist aber absehbar, dass dieses in den nächsten Jahren erschöpft sein wird. Wie die Wissenschaftler der Universitäten Rice und Stanford in ihrer Studie erläutern, ist ein Ausweg, der in der Branche diskutiert wurde, am Ende wohl nur eine Sackgasse. Wenn man generative KI-Modelle - ob Sprachmodelle oder Bildgeneratoren - mit KI-erzeugtem Material trainiert, werden die Ergebnisse immer schlechter.


"Die enormen Fortschritte bei generativen KI-Algorithmen für Bilder, Texte und andere Datentypen haben dazu geführt, dass die Versuchung groß ist, synthetische Daten zu verwenden, um Modelle der nächsten Generation zu trainieren", schreiben die Forscher laut Futurism. In ihrer Studie führen solche Versuche aber nur zu einer "selbst verzehrenden Schleife". Die wichtigste Schlussfolgerung: Ohne reale Daten seien zukünftige generative Modelle "dazu verdammt", dass sich ihre Qualität progressiv verringert.

Wie die Forscher erläutern, ist ein Grund für dieses selbstzerstörerische Verhalten die Tendenz der aktuellen KI-Systeme, abgelegene, weniger repräsentierte Informationen am Rande der Trainingsdaten des Modells immer weniger zu gewichten. Diese Annäherung der Daten verstärkt sich so drastisch, dass das System sprichwörtlich in sich zusammenfällt. Die Forscher geben diesem Prozess den Namen "MAD" kurz für Model Autophagy Disorder.

Dabei gibt es große Chancen, dass diese "Krankheit" schon jetzt unbemerkt die nächsten Generationen der Modelle angesteckt hat. Trainings-Daten werden in den allermeisten Fällen im Internet erfasst. Deshalb werden kommende generative KIs auch unweigerlich mit immer mehr Daten trainiert, die von den Vorgänger-Systemen erzeugt wurden.


Siehe auch: