Job-Killer KI? - Dafür scheitert sie noch zu oft an einfachsten Aufgaben

Die neuesten KI-Modelle wirken manchmal so beeindruckend, dass so manche verschiedene Jobs in den Firmenverwaltungen in Gefahr sehen. In der Praxis zeigt sich allerdings, dass die Systeme viel zu oft an einfachen Aufgaben scheitern, um eine Gefahr darzustellen.

GPT-4-Turbo scheitert oft

Das zeigen beispielsweise auch neue Untersuchungen durch das Startup Patronus AI. Selbst die beste getestete Modellkonfiguration, OpenAIs GPT-4-Turbo, schaffte es viel zu oft nicht, Fragen zum Inhalt von SEC-Berichten korrekt zu beantworten. Dabei sind diese gesetzlich vorgeschriebenen Mitteilungen an die US-Börsenaufsicht in aller Regel besonders gut und formal strukturiert.

GPT-4-Turbo schaffte in dem Test nur 79 Prozent der Fragen zu einem SEC-Bericht richtig zu beantworten. Andere KI-Systeme schnitten noch deutlich schlechter ab. Oftmals verweigerten die sogenannten großen Sprachmodelle die Antwort oder "halluzinierten" Zahlen und Fakten, die nicht in den SEC-Filings enthalten waren.


"Diese Art von Leistungsrate ist einfach absolut inakzeptabel", sagte Patronus AI-Mitbegründer Anand Kannappan gegenüber dem US-Sender CNBC. "Sie muss viel, viel höher sein, damit das wirklich automatisiert und produktionsreif funktioniert."

Kontrolle ist besser

Die Ergebnisse verdeutlichen einige der Herausforderungen, mit denen KI-Modelle konfrontiert sind, wenn große Unternehmen, insbesondere in regulierten Branchen wie dem Finanzsektor, versuchen, Spitzentechnologie in ihre Abläufe einzubinden - sei es für den Kundenservice oder die Forschung.

Die Fähigkeit, wichtige Zahlen schnell zu extrahieren und Analysen von Finanzberichten durchzuführen, wurde immerhin als eine der vielversprechendsten Anwendungen für Chatbots angesehen, seit ChatGPT Ende letzten Jahres veröffentlicht wurde.

SEC-Filings sind voll von wichtigen Daten, und wenn ein Bot sie genau zusammenfassen oder schnell Fragen zu ihrem Inhalt beantworten könnte, würde er dem Nutzer in der wettbewerbsintensiven Finanzbranche einen Vorsprung verschaffen. Allerdings tut man weiterhin gut daran, den Algorithmen nicht zu vertrauen und ihre Ergebnisse noch einmal von geschulten Mitarbeitern prüfen zu lassen.


Siehe auch: