Anthropics Chef für KI-Sicherheit kündigt, sagt "Die Welt ist in Gefahr"

Anthropic positionierte sich als ethische Alternative zu OpenAI, doch nun verliert das Unternehmen seinen wichtigsten Sicherheits­forscher. Der kritisiert in seinem Abschiedsbrief, dass moralische Prinzipien zunehmend dem wirtschaftlichen Druck weichen müssen.

Sicherheitsforscher verlässt Anthropic

Mrinank Sharma, der Leiter des Safeguards Research Teams bei Anthropic, hat das Unternehmen mit sofortiger Wirkung verlassen. In einem Anfang der Woche veröffentlichten Abschiedsbrief begründet der Experte seinen Schritt mit kryptischen Warnungen vor globalen Krisen und internen Konflikten zwischen Unternehmenswerten und wirtschaftlichem Druck. Sharma, der seit 2023 für den Entwickler des Chatbots Claude tätig war, hatte sich zuvor auf die Erforschung von KI-Risiken spezialisiert. Sein Weggang erfolgt zu einem Zeitpunkt, an dem Anthropic versucht, sich im Wettbewerb gegen OpenAI zu behaupten.

In seinem Schreiben, das er auch auf der Plattform X teilte, deutet Sharma an, dass ethische Grundsätze zunehmend hinter geschäftlichen Interessen zurücktreten müssten. Er habe wiederholt beobachtet, wie schwierig es sei, Handlungen wirklich von Werten leiten zu lassen. Das Unternehmen sei ständigem Druck ausgesetzt, das beiseite zu legen, was am wichtigsten sei.


Sharma: "Ich mache mir ständig Gedanken über unsere Situation. Die Welt ist in Gefahr. Und zwar nicht nur durch künstliche Intelligenz oder Biowaffen, sondern durch eine ganze Reihe von miteinander verbundenen Krisen, die sich in diesem Moment entfalten." Er plant nun, sich aus der Tech-Branche zurückzuziehen, um unsichtbar zu werden und ein Poesie-Studium aufzunehmen.

Wie BBC News berichtet, reiht sich dieser Abgang in eine Woche ein, in der auch bei der Konkurrenz Unruhe herrscht. Zeitgleich äußerte sich eine ehemalige Forscherin von OpenAI kritisch über deren Strategie, Werbung im Chatbot zu schalten, was sie als Verrat an den ursprünglichen Prinzipien wertete. Anthropic, das sich 2021 als sicherheitsorientierte Alternative gegründet hatte, müsse sich jetzt ähnlichen Vorwürfen stellen, den Fokus auf Profit statt auf Sicherheit zu legen.

Während seiner Zeit bei Anthropic arbeitete Sharma an spezifischen Sicherheitsmechanismen für generative KI. Dazu gehörte die Erforschung der sogenannten AI Sycophancy - das Phänomen, dass Chatbots Nutzern nach dem Mund reden, anstatt objektive Fakten zu liefern - sowie die Entwicklung von Verteidigungsstrategien gegen KI-gestützten Bioterrorismus. Ein aktueller Bericht seines Teams befasste sich zudem damit, wie KI-Systeme die Realitätswahrnehmung von Nutzern verzerren könnten.

Trotz der Ernsthaftigkeit seiner Forschungsthemen enthält sein Abschiedsbrief auch exzentrische Elemente. In den Fußnoten verweist Sharma auf ein Buch über CosmoErotic Humanism. Das Werk wird unter dem Pseudonym David J Temple veröffentlicht, hinter dem sich unter anderem Marc Gafni verbergen soll, ein spiritueller Guru, der in der Vergangenheit wegen sexueller Ausbeutung in die Kritik geraten war. Das sorgt in Fachkreisen für Irritationen bezüglich der genauen Beweggründe Sharmas.

Wie bewertet ihr Sharmas Warnungen vor einer Welt in Gefahr und den aktuellen Kurs der KI-Entwickler? Haben ethische Bedenken eurer Meinung nach noch genug Gewicht oder dominiert der Profit? Wir sind gespannt auf eure Ansichten in den Kommentaren.


Siehe auch: