MindLLM kann Gehirnaktivität direkt in Text übersetzen

Ein neues KI-System namens MindLLM kann Gehirnaktivität direkt in Text übersetzen. Das Modell verarbeitet Signale und wandelt sie in natürliche Sprache um. Dabei übertrifft es bisherige Ansätze deutlich und funktioniert ohne individuelle Anpassung.

Durchbruch: KI übersetzt Gehirnaktivität in Textform

MindLLM wurde von Experten der Yale University, des Dartmouth College und der University of Cambridge entwickelt. Es kombiniert zwei Hauptkomponenten: einen fMRI-Encoder und ein großes Sprachmodell (LLM). Der Encoder verarbeitet die dreidimensionalen Bildpunkte (Voxel) der Gehirnscans.

Da jedes Gehirn einzigartig ist, muss das System flexibel mit unterschiedlichen Voxel-Anordnungen umgehen können. Ein spezieller Aufmerksamkeitsmechanismus hilft dabei, die wichtigen funktionellen Informationen aus den Scans zu erhalten.

Eine Besonderheit von MindLLM ist das sogenannte Brain Instruction Tuning (BIT). Hierbei wird das System mit großen Mengen an fMRI-Daten und zugehörigen Textbeschreibungen trainiert. Dies verbessert seine Fähigkeit, die Bedeutung der Gehirnaktivitätsmuster zu verstehen. Zur Bewertung des Systems nutzten die Entwickler den Natural Scenes Dataset (NSD) mit fMRI-Aufnahmen von acht Personen, die Bilder betrachteten.


Die auf dem Preprint-Server arXiv veröffentlichte Studie zeigt, dass MindLLM bestehende Modelle in mehreren Bereichen übertrifft: Es ist 12,0 Prozent besser bei der Lösung verschiedener Aufgaben und 16,4 Prozent genauer bei der Anwendung auf neue, unbekannte Personen. Das System kann verschiedene Aufgaben bewältigen, wie das Beschreiben von Bildern, das Beantworten von Fragen und das Nachvollziehen komplexer Denkprozesse.

Zukunft

MindLLM nutzt etablierte neurowissenschaftliche Karten des Gehirns, wie den Glasser- und Rolls-Atlas. Diese helfen dem System, die Position und Aktivität der Voxel besser zu interpretieren. Aktuell verarbeitet MindLLM nur Momentaufnahmen der Gehirnaktivität. Zukünftige Versionen könnten auch die zeitliche Entwicklung von Gedanken analysieren. Mögliche Anwendungen reichen von verbesserten Gehirn-Computer-Schnittstellen bis zu neuen Erkenntnissen in der Hirnforschung.

Download PyGPT - Desktop-KI-Assistent für Windows
Siehe auch: