KI findet unbekannten Bug in Retro-Spiel - und fängt an zu cheaten

KI-Systeme können nicht nur selbst lernen, alte Arcade-Games ziemlich gut zu spielen. Wenn sie die Möglichkeit haben, beginnen sie sogar zu cheaten. Mit dieser Erkenntnis mussten Informatiker der Universität Freiburg ein Forschungspapier zur ... mehr... Künstliche Intelligenz, Menschen, Finger, Hände, Schöpfung Bildquelle: Public Domain Künstliche Intelligenz, Menschen, Finger, Hände, Schöpfung Künstliche Intelligenz, Menschen, Finger, Hände, Schöpfung Public Domain

Diese Nachricht vollständig anzeigen.

Jetzt einen Kommentar schreiben
 
wer hätte gedacht dass eine ki Rahmenbedingungen braucht...

warte auf die ersten selbstschussanlagen denen einfach gesagt wird lass keinen rein und sich der Besitzer dann wundert dass er erschossen wird...
 
@evilwait: der besitzer sich wundert das er erschossen wird.kann man sich denn dann noch wundern wenn man erschossen wurde ? ;)
 
@x81Reaper: ja.
 
@x81Reaper: Stell dir vor, du wirst morgens wach und bist tot. ;)
 
@x81Reaper: Für kurze Zeit :-)
 
@x81Reaper: Nun... es wäre wohl zumindest ein Wunder... ;-)
 
@evilwait: Da hatten wir mal ne Shadowrun-Runde, in der der Hausbesitzer vorher von einer Katze das Gesicht verkratzt bekommen hat ... die Selbstschussanlage erkannte ihn nicht mehr ...
 
Altbekanntes Problem in neuem Gewand:
Sag einem Golem er soll einen Bewässerungsgraben buddeln, und er setzt das Dorf unter Wasser.
 
"K.I., löse die Probleme der Menschheit, mit Armut, Gewalt, Krankheiten, und so!"

*K.I.-beginnt-alle-Menschen-zu-töten*

"K.I., was tust du!?" - "Menschen sind für diese Probleme selbst verantwortlich. Die Lösung des Problemes ist also, die Ursache zu entfernen."
 
@PMedia: Agent Smith ("The Matrix"): Human beings are a desease. We are the cure!
 
@scar1: Tja leben wir vielleicht in einer Matrix? :)
Würde erklären warum Keanu nicht altert.
 
@Arhey: aber nur in den Matrixfilmen ... ansonsten altert er sehr wohl.

Außerdem: es stimmt - viele der Probleme der Menschen sind Hausgemacht. Meist durch Gier irgendeiner sozialen Kaste. Man müsste der K.I. schon sagen, dass sie bei der Lösung des Problems weder Menschen umbringen noch die Umwelt kaputtmachen darf.
 
@Arhey: Wir leben in einer filterblase uns wird immer diktiert was wir wissen sollten. Von daher matrix war gestern!
 
Ich bekomme Angst....
 
Ließen sich so nicht Sicherheitslücken finden? Was passiert, wenn man einer KI sagt, sie soll sich Zugang zu einem System xy verschaffen. Das beobachtet man und schließt dann immer wieder die Lücken, bis die KI es nicht mehr schafft.
 
@5pl3nd1d: Soweit ich weiß macht das Militär das schon so. Auch auf Hackerwettbewerben. Da arbeiten mittlerweile KI und Mensch Hand in Hand. Gruselig. Es wurde lediglich bisher ein einziger Fehler durch die KI gefunden der noch nicht bekannt war.
 
Wann gibts einen Ethikrat für künstliche Intelligenz ?:-)
 
@Rikibu: existiert überhaupt sowas wie Ethik?
 
@DaKiFi: natürlich, als theoretisches konstrukt auf jeden fall.
 
@Rikibu: jup - aber nicht für alle Menschen verbindlich (was auch angesichts der verschiedenen Ansichten auch schlicht und ergreifend nicht möglich ist).
Sollten Politiker im Ethikrat sein (so es diesen nicht nur theoretisch gäbe), kann man sich von diesem allerdings gleich verabschieden, denn da würden dann alle möglichen Werte verkauft werden (natürlich nicht an das Volk, sondern an jeden anderen).
 
https://www.youtube.com/watch?v=meE5aaRJ0Zs
 
Komisch das hab ich schon im ersten Semester gelernt. Entweder sind hier diletanten am Werk oder das war absicht.
 
@MancusNemo: Du hast im ersten Semester schon KIs programmiert und trainiert? Was studierst du?
 
@Lex23: Ich denke er meint, dass er gelernt hat, dass wenn eine KI einen Fehler findet diesen auch nutzen wird, egal ob es "falsch" ist dies zu tun oder nicht, da es "logisch" ist.
 
@Lex23: Ich denke, er meint, dass er im Studium so viel Zeit hatte, dass er im ersten Semester diesen Glitch bei Q*Bert schon herausgefunden hat. ^^
 
@MancusNemo: KI wird erst ab dem 9. Semester unterrichtet.
 
Die Frage die sich mir gerade stellt in welcher Version des Spiels dieser Bug sich befindet.
 
KI wird zum beta Tester.
 
"Ohne weitergehende Ansagen war der KI irgendwann klar, dass sie eine möglichst hohe Punktzahl erreichen soll."

Sehr wahrscheinlich nicht. Die Punktezahl dient sehr wahrscheinlich als Maßstab für den Fitness-Wert für den Algorithmus. Sprich: Dass viele Punkte das Ziel sind, ist vermutlich das Einzige, was dem Algorithmus klar bekannt ist. Den Weg dorthin muss er dann aber selbst lernen. Was ihm offensichtlich ja gelungen ist.
 
Ich find's cool. So ein Verhalten ist das, was nach meiner Ansicht wirklicher Intelligenz am nächsten kommt. Menschen verhalten sich ganz genau so.
 
@Karmageddon: ob das allerdings intelligent ist, ist eine andere Frage.
 
@Karmageddon: Von wirklicher Intelligenz könnte man nur reden, oder zumindest anfangen darüber zu diskutieren, wenn die KI erstens gewusst hätte was cheaten ist und man es ihr zweitens verboten hätte zu cheaten und sie es trotzdem tun würde. Denn zur Intelligenz, man mag es kaum glauben, gehört auch die Entscheidung ob man schummelt oder nicht.
 
In der Reinforcement Learning Community ist so ein Verhalten schon lange als sogenanntes Reward Hacking bekannt. Eins der kurioseren Beispiele ist ein "intelligenter" Müllroboter, bei dem eine Reward-Funktion festgelegt wurde, die die eingesammelte Menge an Müll belohnt. Der Algorithmus ist dann zu einer Lösung konvergiert, bei der der Roboter einen Müllhaufen eingesammelt hat und diesen dann sofort wieder fallengelassen hat, nur um wieder von vorne zu beginnen. Also merken: Zu optimierende Kostenfunktion sollte wohl durchdacht sein!
 
@mikemodanoxxx: Dann hätte man wohl eher nicht das Sammeln ansich sondern das vollständige Befüllen des Abfallbehälters mit Müll "belohnen" sollen ;)
 
ich liebe maschinen,ich finde sie super.ohne maschinen ist alles doof.heil den maschinen.
 
@x81Reaper: Ist das ein Kommentar für die Zukunft, wenn KI das Netz nach schädlichen Subjekten durchsucht? In der Hoffnung dass du dann fein raus bist? ;-)
 
@Joyrider: na du musst einen ziemlich hohen iq haben das du wild fremde menschen so arg beleidigen tust.humor kennst du ebenfalls nicht
 
@x81Reaper: Wat? IQ, Beleidigungen, Humor? Wovon genau schreibst du da?
 
@Joyrider: bestimmt Satire :D
 
na klar, die doofe ki schafft es nicht level 2 abzuschliessen, bleibt an einem bug hängen und der programmierer redet sich seinen ki-programmierfehler schön, indem er der ki cheating-fähigkeiten andichtet. klingt völlig logisch.
 
Wann wohl die Verbotsliste, was so eine KI nicht darf, länger sein wird und muss, als die, was sie tun soll / darf - damit die nicht durchdreht oder gar echten Schaden anrichtet ?
 
@DerTigga: Nun ja, für Menschen ist die Liste der Verbote doch sehr lang, so lang, dass kein einzelner Mensch die wirklich überblickt. Warum sollte das für eine KI nicht irgendwann ähnlich aussehen, wobei ich bei einer Maschine doch eher davon ausgehe, dass sie es schafft den Überblick nicht zu verlieren.
 
@Link: Sofern man da Parallelen sieht und zieht, zur Handlungsgrundlage einer gewissen Terminator Filmreihe oder beispielsweise zum I Robot Film, dann erscheint mir das sogar regelrecht geboten, solche Das-darf-KI-nicht-Listen zu entwickeln, möchte ich jedenfalls anraten.. ;-)
 
Ach Quatsch. Der Markt wird das Problem schon lösen. Wir brauche uns also keine Sorgen machen.
So wie mit allem anderen auch.
 
Tja - das passiert wenn die Rahmenbedingungen sowas erlauben..

Können aber auch Menschen: https://winfuture.de/news,102068.html

Und ich bin immer noch der Meinung dass es kein Betrug ist...

Er hat für die Accounts bezahlt und nur Dinge gemacht die erlaubt sind...

Wenn dies so möglich ist, sollte es auch so gemacht werden dürfen. Ansonsten muss eben jemand die Rahmenbedingungen ändern...

In dem Beispiel eben dass man nicht 24 Stunden am Tag Musik hören darf oder dass die Stücke nicht so kurz sein dürfen oder eben dass pro Stück weniger ausgeschüttet wird oder dass das Abo mehr kostet...

Hier war es eben nicht so offensichtlich - aber wenn jemand einen Automaten baut in den man 50 Cent einwirft und 1 Euro rauskommt wäre doch auch derjenige der Id*ot der das gebaut hat - und nicht derjenige ein Betrüger der das Angebot annimmt....
 
@Stefan1979: Naja, ich sehe da schon einen Unterschied und das ist halt die Moral/Ethik. Was die KI hier gemacht hat, war einfach nur Ihre Aufgabe zu erledigen "möglichst viele Punkte" zu erreichen ohne überhaupt zu wissen was "Cheaten" bedeutet und welche weiteren Konsequenzen es hat (außer eben viele Punkte zu bekommen). Bei einem Menschen der sowas macht sieht es schon ganz anders aus, das hat dann auch nicht mehr nur was mit Rahmenbedingungen. Einige Sachen gehören sich halt nicht, selbst wenn man diese nicht irgendwo 1 zu 1 ausschließt und dem Fall war es halt einfach Betrug was die gemacht haben. Sicherlich, auch in dem Fall war eine Software beteiligt die die Songs abgespielt hat usw. aber die Grundintention bei der Erstellung der Software und Umgebung (extra kleine Songs) usw. war auch schon nur auf Betrug aus.
 
@sav: Ich verstehe schon was du meinst - aber mit Moral und Ethik kommst du einfach nicht weit...

Wenn derjenige der es programmiert dies zulässt ist es auch legal...

Wie gesagt - vereinfache das mal auf meine Beispiel Maschine... 50 Cent einwerfen - 1 Euro bekommen... Wer ist dann der Trottel - derjenige der die Maschine betreibt oder derjenige der die nutzt?

Leider komme ich bei Moral und Ethik auch wieder auf Steuern - jeder nutzt alles was er legal kann...Oder bezahlt irgendjemand mehr als er muss?

Oder Krankenkassen - die drücken sich auch vor allen Kosten soweit möglich. Auch wenn es moralisch nicht sein sollte... Oder KFZ-Versicherungen...

Also vergiss die Moral mal - die zählt nicht mehr...
 
@Stefan1979: "Wenn derjenige der es programmiert dies zulässt ist es auch legal... " Das stimmt doch gar nicht, sonst wäre jeder Computerhack, jeder Datendiebstahl usw. völlig legal. Ganz nach dem Motto: Was "bauen" die Entwickler auch Sicherheitslücken in Ihre Software. Die wollten also das jemand in ihr System einbricht.
 
@sav: OK - ich habe mich unklar ausgedrückt... Solange es mit legalen Mitteln möglich ist....

Accounts anlegen ist nicht verboten, eine Playlist abrufen ist nicht verboten, 24 Stunden am Tag streamen ist nicht verboten...

Das umgehen von Sicherheitsfunktionen ist natürlich nicht erlaubt und sollte auch bestraft werden.

Aber die Kombination von erlaubten Aktionen ist wohl kein Problem.

Und in Zeiten wo man für einen 1000 Euro Kredit nur noch 9xx Euro zurückzahlen muss, ist es auch nicht mehr leicht zu erkennen was legal und was ein "Geschäftsmodell" ist...
 
@Stefan1979: Na so was gibt es doch, dass man mehr rausholt, als man reinsteckt:

https://noizz.de/news/so-verarscht-ein-typ-spotify-und-wird-millionar/7cnmtqw

Da arbeiten bei Spotify wohl auch einige Idioten!!!
 
xD Wie auf einmal alle Schiss vor ner KI haben xD
 
@GTX1060User: ich muss nur an Digimon denken. bald brauchen wir ein programm wie D-reapper :)
 
@cs1005: Einfach den Stecker ziehen, fertig. xD
 
@GTX1060User: Ich finde es auch absolut lächerlich. Wenn man nicht versteht worum es geht, dann gehen gleich alle Warnleuchten an..... Und man beginnt zu fantasieren und Schauergeschichten zu erfinden.

So sind übrigens auch Religionen entstanden. Ich wette eine Anti - KI Bewegung wird in ein paar Jahrzehnten mit religiösen Zügen entstanden sein. Mit dem selben Ziel, und dem selben Grund...
 
Das erinnert an diverse Witze, wenn man 3 Wünsche frei hat und die werden total falsch ausgeführt .
 
"KI, stelle IMMER Büroklammern her und löse Probleme mit der Besorgung aller Materialien".

Was wird passieren, beim Internet der Dinge, wenn der Mensch "ihr dazwischenkommt",
OHNE, entsprechend moratilsch/ethisch korrekt programmiert worden zu sein?

Vorstände, lasst Eure Steuerberater jedes noch so winzige Schlupfloch des Gesetzestext profitabel ausnutzen!

Hey, wenn Gesetzeslücken nicht ausgenutzt werden sollen, dann schließt sie, GANZ EINFACH!
 
@damitschi: "Vorstände, lasst Eure Steuerberater jedes noch so winzige Schlupfloch des Gesetzestext profitabel ausnutzen"

Dafür werden die ja auch bezahlt - so ist es also jetzt schon ohne KI... Natürlich soll er jedes Schlupfloch nutzen - wozu bezahle ich ihn sonst...

Wenn man Zeit hat sich um die Biegung von Bananen zu kümmern wird man wohl die anderen Gesetze schon so weit in Ordnung haben dass man sich um so einen Müll kümmern kann...
 
Ich finde das ganze Genial. Ist doch das erreichen eines Zieles mit allen gegeben Möglichkeiten außerhalb der gesteckten Rahmenbedingungen das hehre Ziel einer KI Entwicklung in der Forschung. Eine KI ist deshalb so interessant weil sie evtl Ansätze findet die sämtlichen Dogmen, Lehrmeinungen und Erfahrungen zuwider läuft, das Problem aber trotzdem löst. Dafür benötigen wir sie. Computer können heute schon die Fleißarbeit beim Denken übernehmen. Wir können die Aufgaben stellen die der Computer lösen kann. Wir sind nur sehr begrenzt darin, alle Möglichkeiten der Aufgabenstellung zu überblicken. Eine KI kann Lösungsansätze finden, die einem Menschen niemals eingefallen wären, aber zum Ziel (in der Materialforschung zum Beispiel) führen, und dem klassischen Computer Teil die entsprechenden Aufgaben stellen um ein für Menschen verwertbares Ergebnis auszuwerfen. .

In einem Interaktionszenario mit einem Menschen wieder rum müssen diese Rahmenbedingungen ganz klar vorhanden sein. Als Minimum denke ich dabei an Asimovs 3 Gesetze.
 
Heutzutage muss man offenbar statt "Programm" oder "Computer" den Begriff "K.I." verwenden.
Das wird noch das Unwort des Jahres, weil wirklich alles als "K.I." angepriesen wird, was (nach meiner Definition) keine ist.
 
Woher soll die "K.I.." denn wissen, dass sie da gegen Regeln verstößt? Sie folgt nur der Aufforderung effizient vorzugehen.

Würde man ihr dagegen die Regeln erklären, sie aber dennoch cheaten / Bug-usen, DANN wäre das sicher eine News wert.
 
Dieses Problem ist ja nicht erst seit heute bekannt. Schon in der Science Fiction Literatur wurde es ausreichend beschrieben.

Mein Liebling:

Der Computersatellit von James P. Hogan

Dieses Buch hat mich übrigens 1981 an den Computer gebracht:

Einem relativ unabhängigen Computersystem auf dem Mond wird die Aufgabe gestellt, für den Erzabbau auf dem Mond einen neue Start-/Landebahn zu entwerfen, mitzuteilen, wann diese fertig werden würde und so schnell wie möglich mit der Umsetzung zu beginnen.

Natürlich hat man dem Computer keinerlei Rahmenbedingungen (außer schnell!!) gesetzt und sich dann gewundert, dass die Fertigstellung in wenigen Minuten erfolgen sollte.

Kurz darauf wird der Mond von gigantischen Erschütterungen durchgerüttelt und man stellt fest, dass der Computer einfach, anstatt Baumaschinen anrollen zu lassen, die in Frage kommende Fläche mit den Erzen der startenden Frachter bombardierte, bis der benötige Raum geschaffen war.

Da das nicht ganz ohne Schäden vonstatten ging, entschied man sich, dass System, das für die komplette Steuerung/Verwaltung der Erde vorgesehen war, erst außerhalb der Erde auf einer eigens dafür gebauten kleinen Welt zu testen.

Aufgabe der Tester (auf dieser künstlichen Welt leben natürlich auch Menschen) ist es unter anderem herauszufinden, was ein autarkes System alles tun würde um sich selbst zu schützen.

Ein echt gut zu lesende Story, die ich mir mittlerweile wieder besorgt habe, um sie noch einmal zu lesen.

Beim ersten Mal habe ich die 400 Seiten ohne eine Pause geschafft!

Ich hoffe, dass die Story bald einmal verfilmt wird.

Das Buch kann ich jedem Scifi- & Computerfan nur empfehlen!
 
Alles in allem denke ich nicht, dass die KI zwischen spielen und cheaten unterscheidet.
 
@Der_da: Schon alleine deswegen, weil die KI wohl kaum wissen kann, dass dies ein Bug ist. Für die ist es schlicht eine der Möglichkeiten das Spiel zu spielen.
Kommentar abgeben Netiquette beachten!
Einloggen

Video-Empfehlungen

WinFuture Mobil

WinFuture.mbo QR-Code Auch Unterwegs bestens informiert!
Nachrichten und Kommentare auf
dem Smartphone lesen.

Folgt uns auf Twitter

WinFuture bei Twitter

Interessante Artikel & Testberichte

WinFuture wird gehostet von Artfiles