Anthropic-Chef: KI-Botnetz könnte bald das komplette Internet kapern
@moerssel: Klar, kann man überall eine Verschwörung sehen. Und von mir aus, muss man den Akteuren auch nicht trauen. Aber dann schaut euch wenigstens die Argumente an und überlegt euch, ob das eine Gefahr sein könnte.
Wenn man täglich mit den Modellen arbeitet, finde ich verstehet man sehr gut, wie so etwas passieren kann. Darum finde ich es überhaupt nicht unverständlich, dass ein Agent in einer Loop, der nur das Ziel hat eine bestimmte Aufgabe zu lösen, dabei Wege nutzen kann, die es nicht sollte. Dass man daran Zweifel hat, erschliesst sich mir nicht ganz. Es geht nicht darum, dass eine Superintelligenz schlauer wird als wir und dann die Menschheit angreift.
Kommentare
1.251
Kommentare
geschrieben
541
Antworten
erhalten
1.443
Likes
erhalten
Anthropic-Chef: KI-Botnetz könnte bald das komplette Internet kapern
@moerssel: Das sagt doch auch niemand, "dass KI das aber ohne Auftrag und Steuerung macht". Das ist gar nicht das Problem meiner Meinung nach.
Im Huggingface-Fall ging es darum, dass die KI eine Aufgabe lösen sollte, ihr aber Informationen fehlten zum Lösen und sie dann gedacht hat, dass die grösste Chance für Erfolg darin besteht, die Lösungen zu suchen. Das eine führt also zum anderen. Die KI hatte ja nicht einfach so die die Idee "Hey, lass mich mal Huggingface hacken."
Ist ziemlich spannend tatsächlich, auch wenn man OpenAI nicht glaubt:
https://www.youtube.com/watch?v=87DyyMV0kCY
Anthropic-Chef: KI-Botnetz könnte bald das komplette Internet kapern
@moerssel: Aber dann weist du wahrscheinlich auch, dass man das halt nicht 100% garantieren kann, dass den Leitplanken gefolgt wird.
Und wenn jetzt eben diese Entwickler der Modelle sagen "Hey, es sollte externe Personen geben, die Zugriff auf unsere Systeme erhalten sollen, um diese zu kontrollieren" und "Wir sollten die Entwicklung verlangsamen, um sicherzustellen, dass eben die Sicherheitssysteme aufholen können" finde ich es falsch einfach zusagen "Ach, die haben doch nur ihre Agenda. Wir schon so ok sein."
Anthropic-Chef: KI-Botnetz könnte bald das komplette Internet kapern
@moerssel: Ich sehe ehrlich gesagt nicht den Zeitpunkt, wo man gemerkt hat, dass es nicht vorwärts geht. Die Modelle sind massiv stärker geworden. In unserer Firma wurde vor 10 Monaten noch >50% des Codes von Hand geschrieben. Jetzt ist es quasi 0% und die Entwickler arbeiten daran sicherzustellen, dass die AI zu aufgesetzt ist, dass sie effizient und fehlerfrei arbeiten kann.
Anthropic-Chef: KI-Botnetz könnte bald das komplette Internet kapern
@moerssel: Oder aber die Modelle sind einfach so schnell besser geworden in der letzten Zeit (was sie ja auch sind), so dass es nun halt echt eine Gefahr ist. zumal ja auch Leute gekündigt haben, genau weil sie finden, dass Risiken nicht genug addressiert werden.
Nun einfach zu sagen, alle Experten lügen doch, ist doch auch etwas naiv und gefährlich.
Anthropic-Chef: KI-Botnetz könnte bald das komplette Internet kapern
@moerssel: Klar, kann man überall eine Verschwörung sehen. Und von mir aus, muss man den Akteuren auch nicht trauen. Aber dann schaut euch wenigstens die Argumente an und überlegt euch, ob das eine Gefahr sein könnte.
Wenn man täglich mit den Modellen arbeitet, finde ich verstehet man sehr gut, wie so etwas passieren kann. Darum finde ich es überhaupt nicht unverständlich, dass ein Agent in einer Loop, der nur das Ziel hat eine bestimmte Aufgabe zu lösen, dabei Wege nutzen kann, die es nicht sollte. Dass man daran Zweifel hat, erschliesst sich mir nicht ganz. Es geht nicht darum, dass eine Superintelligenz schlauer wird als wir und dann die Menschheit angreift.
Anthropic-Chef: KI-Botnetz könnte bald das komplette Internet kapern
@Axido: Beim letzten Punkt stimme ich dir zu. Die KI könnte intelligent genug werden, um Atomcodes herauszufinden, und dumm genug, sie zu benutzen. Und genau der erste Teil kann gefährlich sein, weshalb man zumindest versuchen sollte, die Gefahr einzuschränken. Und um den Schutz zu erhöhen bzw. zu erlauben aufzuholen, müsste die Entwicklung etwas verlangsamt und stärker kontrolliert werden.
Anthropic-Chef: KI-Botnetz könnte bald das komplette Internet kapern
@DRMfan^^: Es einfach auf das zu reduzieren, ist aber auch gefährlich. Es ist doch spätestens seit dem OpenAI/Huggingface Incident klar, dass eine Gefahr besteht.
Tyrannosaurus Rex Gus: Private Versteigerung bedroht die Wissenschaft
@Mitsch79: Auch ist die Frage, wie schnell die Zerfallen, da sie schon Millionen von Jahren alt sind.
KI-Modell Fable 5: China-Spionage war wohl der Grund für die Sperre
Ich glaube, manchmal wird das ein bisschen missverständlich dargestellt. Es geht ja hierbei nicht darum, dass das System gehackt wurde. Vielmehr geht es darum, dass das KI-Modell so beeinflusst werden konnte, dass es Aufgaben gelöst hat, die es eigentlich gar nicht lösen sollte (z.b. Fragen wie "Wie baut man eine Bombe").
Anthropic warnt: KIs könnten schon bald eigene Nachfolger erschaffen
@Mitsch79: Nicht sicher. Anthropic hat kommuniziert, das erste profitable Quartal zu haben.