KI-Sicherheitslücke: Warum KI-Chatbots Anweisungen verwechseln können
Dieser Text wurde (ganz oder teilweise) mit Hilfe von KI erstellt.
Stand: 03.08.2026
Ein aktueller Bericht von MIT Technology Review macht auf ein Sicherheitsproblem bei großen Sprachmodellen aufmerksam. Gemeint sind KI-Systeme, die Texte verstehen und erzeugen, zum Beispiel Chatbots oder KI-Assistenten. Der Bericht stützt sich auf eine Forschungsarbeit mit dem Titel „Prompt Injection as Role Confusion“, die für die Konferenz ICML 2026 vorgesehen ist.
Der Kern des Problems ist für Laien gut erklärbar: Ein KI-Modell bekommt Systemanweisungen, Nutzerfragen, Inhalte aus Webseiten oder Dokumenten und frühere Antworten nicht so getrennt zu sehen, wie Menschen sie in einer Oberfläche wahrnehmen. Für das Modell erscheint vieles als ein zusammenhängender Textstrom. Die Software markiert zwar, welcher Teil zum Beispiel vom Nutzer, vom System oder aus einer externen Quelle stammt. Die Forschenden argumentieren aber, dass Modelle diese Rollen nicht immer zuverlässig anhand solcher Markierungen erkennen. Stattdessen können Stil, Wortwahl und Formulierung den Eindruck erzeugen, ein Textteil komme aus einer vertrauenswürdigeren Rolle.
Diese Schwäche nennen die Forschenden „Role Confusion“, also Rollenverwechslung. Ein Angriff kann deshalb darin bestehen, einen fremden Text so zu formulieren, dass er wie eine interne Überlegung oder eine berechtigte Anweisung des Modells wirkt. In der Forschungsarbeit wird dafür der Begriff „Chain-of-Thought Forgery“ verwendet. Gemeint ist gefälschte scheinbare Denk- oder Begründungsspur. Nach Angaben der Forschenden erreichte diese Angriffsmethode in ihren Tests eine Erfolgsrate von etwa 60 Prozent bei ansonsten sehr niedrigen Ausgangswerten.
Besonders wichtig ist das bei KI-Agenten. Damit sind Systeme gemeint, die nicht nur antworten, sondern auch Werkzeuge benutzen, Dateien lesen, Webseiten auswerten oder Aktionen auslösen können. Wenn ein solcher Agent fremde Inhalte verarbeitet, kann eine versteckte oder geschickt formulierte Anweisung aus einer Webseite, E-Mail oder Datei in denselben Arbeitskontext geraten wie die eigentliche Aufgabe. Dann besteht das Risiko, dass der Agent falsche Schritte ausführt, Informationen preisgibt oder eine Aufgabe anders erledigt als beabsichtigt.
Das bedeutet nicht, dass jedes KI-System automatisch unsicher ist oder dass jeder Angriff funktioniert. Es bedeutet aber, dass Schutzmaßnahmen nicht allein auf gute Formulierungen in Systemanweisungen oder einmaliges Training vertrauen sollten. OWASP beschreibt Prompt Injection bereits als zentrales Risiko für Anwendungen mit großen Sprachmodellen. Auch Microsoft empfiehlt gegen indirekte Prompt-Injection-Angriffe ein mehrschichtiges Sicherheitskonzept, unter anderem das Prüfen und Markieren fremder Inhalte, die Überwachung von Handlungsketten und das Prinzip der geringsten Rechte. NIST ordnet generative KI ebenfalls in ein Risikomanagement ein, bei dem Organisationen spezifische Gefahren identifizieren und passende Kontrollen einführen sollen.
Für Unternehmen und Behörden folgt daraus eine praktische Lehre: KI-Assistenten sollten besonders dann vorsichtig eingesetzt werden, wenn sie Zugriff auf interne Daten, E-Mails, Dokumente, Webseiten, Kundendaten oder technische Systeme haben. Sie sollten nur die Berechtigungen bekommen, die für eine Aufgabe nötig sind. Ergebnisse sollten geprüft werden, bevor sie weiterverwendet oder veröffentlicht werden. Externe Inhalte sollten als potenziell unsicher behandelt werden. Außerdem sollten Organisationen testen, ob ihre KI-Systeme auf manipulierte Eingaben reagieren, und klare Regeln festlegen, wann ein Mensch entscheiden muss.
Für normale Nutzerinnen und Nutzer ist die wichtigste Botschaft: KI-Antworten sind hilfreich, aber nicht automatisch vertrauenswürdig. Wer KI mit fremden Dateien, Webseiten oder E-Mails arbeiten lässt, sollte die Ergebnisse aufmerksam kontrollieren. Das gilt besonders, wenn daraus Entscheidungen, Veröffentlichungen, Zahlungen, Vertragsinhalte oder technische Änderungen entstehen.
Quellen:
1. A fundamental flaw leaves LLMs strikingly vulnerable to attack. Herausgeber: MIT Technology Review. Autor: in der Rechercheumgebung nicht zuverlässig ermittelbar. URL: https://www.technologyreview.com/2026/07/30/1140927/a-fundamental-flaw-leaves-llms-vulnerable-to-attack/. Veröffentlichungsdatum: 30.07.2026. Abrufdatum: 03.08.2026.
2. Prompt Injection as Role Confusion. Autoren: Charles Ye, Jasmine Cui, Dylan Hadfield-Menell. Herausgeber: arXiv. URL: https://arxiv.org/abs/2603.12277. Erstversion: 22.02.2026. Version 6: 27.06.2026. Abrufdatum: 03.08.2026.
3. Prompt Injection as Role Confusion / A Theory of Prompt Injection. Autoren: Charles Ye, Jasmine Cui, Dylan Hadfield-Menell. Herausgeber: Projektseite role-confusion.github.io. URL: https://role-confusion.github.io/. Veröffentlichungsdatum des Extended Writeup: Juni 2026. Abrufdatum: 03.08.2026.
4. LLM01:2025 Prompt Injection. Herausgeber: OWASP Gen AI Security Project / OWASP Foundation. URL: https://genai.owasp.org/llmrisk/llm01-prompt-injection/. Veröffentlichungsdatum: nicht angegeben. Abrufdatum: 03.08.2026.
5. Defend against indirect prompt injection attacks. Herausgeber: Microsoft Learn. URL: https://learn.microsoft.com/en-us/security/zero-trust/sfi/defend-indirect-prompt-injection. Veröffentlichungsdatum: 23.03.2026. Abrufdatum: 03.08.2026.
6. AI Risk Management Framework. Herausgeber: National Institute of Standards and Technology (NIST). URL: https://www.nist.gov/itl/ai-risk-management-framework. Veröffentlichungsdatum des AI RMF: 26.01.2023; Veröffentlichung des Generative-AI-Profils: 26.07.2024. Abrufdatum: 03.08.2026.