Iran-Krieg: Vertrauen in Palantir-KI führte zu 123 toten Kindern

Das US-Militär soll bei der Auswahl eines Ziels im Iran zu stark auf die Empfehlungen eines KI-Systems vertraut haben. Die Folge: Marschflugkörper trafen eine Schule und töteten 150 Menschen, darunter 123 Kinder.

Schlechte Daten, keine Prüfung

Wie eine Bloomberg-Recherche unter Berufung auf mit einer internen Untersuchung des Pentagon vertraute Personen berichtet, spielte das von Palantir entwickelte Maven-Smart-System eine wichtige Rolle in der Angelegenheit. Maven soll große Mengen an Geheimdienstinformationen zusammenführen und militärische Entscheidungen beschleunigen.

Nach Angaben der von Bloomberg befragten Personen gingen einige Mitarbeiter offenbar davon aus, dass das System veraltete Angaben oder Widersprüche in den zugrunde liegenden Daten erkennen würde. Dafür war die Software allerdings nicht ausgelegt. Stattdessen verarbeitete Maven die vorhandenen Informationen und stufte den Standort als mögliches Ziel für den ersten Angriffstag ein.


Die zugrunde liegenden Daten waren jedoch fehlerhaft. Die US-Datenbanken führten das Gelände in der iranischen Stadt Minab seit Jahren als Einrichtung der iranischen Revolutionsgarden. Tatsächlich befand sich dort aber bereits seit mehreren Jahren eine Schule. Kommerzielle Satellitenbilder zeigten unter anderem farbige Außenwände, einen Fußballplatz und Bereiche für den Schulbetrieb.

Hinweise eines Analysten auf die Veränderungen am Gelände waren laut Bloomberg zudem nicht in das zentrale System für die militärische Zielplanung übernommen worden. Letztlich kam das KI-System daher zu einer falschen Schlussfolgerung, die von den zuständigen Personen beim US-Militär auch nicht noch einmal überprüft wurde.

Eine Überlastung durch die hohe Zahl geplanter Angriffe soll die Situation zusätzlich verschärft haben, hieß es. Innerhalb der ersten 24 Stunden wurden nach Angaben der Recherche mehr als tausend Ziele angegriffen. Dadurch blieb offenbar wenig Zeit für zusätzliche Überprüfungen.

Prüfteam auf eine Person verkleinert

Auch die für die Vermeidung ziviler Opfer zuständigen Teams des US-Verteidigungsministeriums waren erheblich verkleinert worden. Beim zuständigen Kommando schrumpfte die entsprechende Einheit demnach von zehn auf nur noch eine Person. Eine zusätzliche Prüfung des Schulgeländes erfolgte daher vor dem Angriff nicht.

Palantir weist eine Verantwortung für die fehlerhaften Informationen zurück. Das Unternehmen erklärte, Maven sei weder für die Qualität der zugrunde liegenden Daten noch für das Erkennen von Fehlern in Geheimdienstinformationen verantwortlich. Nach dem Angriff wurden laut Bloomberg allerdings Funktionen ergänzt, die Informationen erneut überprüfen und mögliche Widersprüche oder Ausschlussgründe für ein Ziel hervorheben sollen. Dies wäre zumindest ein stillschweigendes Eingeständnis, dass das System nicht so gut konzipiert war, wie es möglich wäre.

Der Fall verdeutlicht ein grundsätzliches Problem beim Einsatz von KI in sicherheitskritischen Bereichen: Wenn automatisierte Empfehlungen als verlässlicher angesehen werden als die zugrunde liegenden Daten, können Fehler nicht nur fortbestehen, sondern schneller in operative Entscheidungen einfließen - mit teils verheerenden Folgen.


Siehe auch: