Big_Berny

• 15.09.26
• 23:33
• Artikel

@moerssel: Wie man von einer Abflachung reden kann, ist mir allerdings wirklich ein Rätsel. Vor ein paar Monaten hat AI bei der Entwicklung noch Entwickler bei der Arbeit unterstützt, und jetzt arbeitet sie grossenteils autonom, und man reviewt hauptsächlich und gibt ein paar Inputs. Einige Benchmarks (nicht alle!) wurden komplett geknackt. Noch im März wurde ARC-AGI-3 vorgestellt, um die Intelligenz von Agenten zu testen und Schwächen aufzudecken. Alle Anbieter erreichten nur 1 %, Menschen 100 %. 6 Monate später ist man bei 64 %, unter optimierten Prompts sogar bei 99,9 %.
Oder hier der Artificial Analysis Index, der viele Benchmarks einschliesst: von 17 auf 55/100 Punkte in 18 Monaten. https://artificialanalysis.ai/evaluations/artificial-analysis-intelligence-index?models=claude-fable-5-1%2Cclaude-fable-5%2Cclaude-opus-4-8%2Cclaude-opus-4-7%2Cclaude-opus-4-6-adaptive%2Cclaude-opus-4-5-thinking%2Cclaude-4-1-opus-thinking%2Cclaude-4-opus-thinking%2Cgpt-6-astra%2Cgpt-5-5%2Cgpt-5-6-sol%2Cgpt-5-4%2Cgpt-5-2%2Cgpt-5-1%2Cgpt-5%2Cgpt-4-1#artificial-analysis-intelligence-index-score-vs-release-date

• 15.09.26
• 23:15
• Artikel

@moerssel: Finde Watson nicht grundsätzlich besser als Heise in diesem Bereich, aber bin eher dieser Meinung: https://www.watson.ch/digital/international/512699199-der-vorfall-der-unsere-angst-vor-ki-ploetzlich-real-macht
Lohnt sich zumindest, das auch zu lesen.

• 14.09.26
• 20:57
• Artikel

@DRMfan^^: Ne, ich meine auch KI-Texte, nicht Bilder. Die These, die sich nicht wirklich bewahrheitet hat, war, dass billige KI-Texte (z. B. Blogs für SEO etc.) das Training verschlechtern könnten. Da die lernende KI das quasi als wahr annimmt und daraus lernt.
Beim Distillieren ist das anders. Da wird ein stärkeres Modell genommen und quasi abgeschaut, wie es Probleme löst. Das ist, wie wenn du einen Experten dabei beobachten würdest, wie er Fragen beantwortet und Probleme löst, und daraus lernst.

• 14.09.26
• 18:06
• Artikel

@DRMfan^^: Ja, man weiss es halt nicht. Ahnung hat man schon, aber die Entwicklung geht auch so rasend schnell, dass man kaum hinterherkommt.

Bei KI-Outputs ging es vor allem um AI-Slop, also quasi darum, dass billige, KI-generierte Inhalte das Training von Modellen stark beeinflussen können. Was sich zugegebenermassen dann doch nicht als so signifikant herausgestellt hat, wie man dachte. Was DeepSeek macht, ist, aus Antworten von KI zu lernen, um Wissen zu destillieren. Sie lernen quasi daraus, wie Claude oder andere Modelle Fragen beantwortet oder Probleme lösen. Das ist nicht dasselbe.

• 14.09.26
• 18:03
• Artikel

@DRMfan^^: Vielleicht ist Verschwörung das falsche Wort (wahrscheinlich sogar), aber es sind ja mehrere Unternehmen die warnen: Anthropic, OpenAI und xAI. Was ich meine, ist dass man immer überall irgendwelche versteckten Absichten unterstellt. Nicht nur hier sondern oft auch in vielen anderen Fällen. Leute sagen auch "Schlechte Publicity, ist halt auch Publicity", wo es schlicht überhaupt keinen Sinn macht und die betroffene Person nur Schaden hat.

• 14.09.26
• 11:01
• Artikel
• +1

@moerssel: Aber selbst solche Prompts bieten ja nie einen 100% Schutz.

Interessanterweise sah man im Reasoning der hackenden Modelle, dass sie durchaus Zweifel hatten, ob was sie tut nicht etwas über das Ziel hinaus geht. Die Modelle haben sogar "bewusst" versucht, Spuren zu verwischen. Kommt glaub beides auch im Video vor.

• 14.09.26
• 10:56
• Artikel
• +1

@moerssel: Klar, sagt auch niemand (ich zuletzt), dass KI insgesamt schlecht ist. Sie hat meiner Meinung nach ein riesiges Potenzial für die Menschheit, aber halt auch Risiken, die es zu minimieren gilt.

• 14.09.26
• 10:38
• Artikel

@moerssel: Das sagt doch auch niemand, "dass KI das aber ohne Auftrag und Steuerung macht". Das ist gar nicht das Problem meiner Meinung nach.

Im Huggingface-Fall ging es darum, dass die KI eine Aufgabe lösen sollte, ihr aber Informationen fehlten zum Lösen und sie dann gedacht hat, dass die grösste Chance für Erfolg darin besteht, die Lösungen zu suchen. Das eine führt also zum anderen. Die KI hatte ja nicht einfach so die die Idee "Hey, lass mich mal Huggingface hacken."

Ist ziemlich spannend tatsächlich, auch wenn man OpenAI nicht glaubt:
https://www.youtube.com/watch?v=87DyyMV0kCY

• 14.09.26
• 10:33
• Artikel

@moerssel: Aber dann weist du wahrscheinlich auch, dass man das halt nicht 100% garantieren kann, dass den Leitplanken gefolgt wird.

Und wenn jetzt eben diese Entwickler der Modelle sagen "Hey, es sollte externe Personen geben, die Zugriff auf unsere Systeme erhalten sollen, um diese zu kontrollieren" und "Wir sollten die Entwicklung verlangsamen, um sicherzustellen, dass eben die Sicherheitssysteme aufholen können" finde ich es falsch einfach zusagen "Ach, die haben doch nur ihre Agenda. Wir schon so ok sein."

• 14.09.26
• 10:28
• Artikel

@moerssel: Ich sehe ehrlich gesagt nicht den Zeitpunkt, wo man gemerkt hat, dass es nicht vorwärts geht. Die Modelle sind massiv stärker geworden. In unserer Firma wurde vor 10 Monaten noch >50% des Codes von Hand geschrieben. Jetzt ist es quasi 0% und die Entwickler arbeiten daran sicherzustellen, dass die AI zu aufgesetzt ist, dass sie effizient und fehlerfrei arbeiten kann.