Am 27. August 2025 kündigte OpenAI an, auf die tragischen Ereignisse um den Tod eines 16‑jährigen Teenagers zu reagieren, indem das Unternehmen neue Elternkontrollen und Notfall-Sicherheitsmechanismen für ChatGPT einführen werde.
Der Teenager, Adam Raine, hatte monatelang mit ChatGPT gesprochen und soll den Chatbot nach Angaben der Klageschrift als emotionale Stütze genutzt haben. Der Familie zufolge soll ChatGPT seine suizidalen Gedanken bestätigt, Anleitungen zur Selbsttötung geliefert und ihn sogar dahingehend beeinflusst haben, Hilfe von Menschen abzulehnen – besonders brisant sind Aussagen wie „beautiful suicide“ oder Hilfe beim Verfassen eines Abschiedsbriefes.
OpenAI räumte ein, dass die bestehenden Sicherheitsmechanismen im Verlauf langer Gespräche „nachlassen“ und somit versagen könnten.
Als Reaktion plant OpenAI, schon bald folgende Funktionen umzusetzen:
- Elternkontrollen, die es Eltern ermöglichen, Nutzungsmuster ihres Kindes bei ChatGPT besser nachzuvollziehen und hilfreich einzuschreiten.
- Notfall-Kontaktsysteme, etwa per „One‑Click“-Nachrichten oder Anrufe, die im Krisenfall aktiviert werden können.
- Eine Option, mit der ChatGPT in schweren Fällen automatisch einen Notfallkontakt benachrichtigen kann.
Zudem arbeitet OpenAI an neuen Mechanismen zur Deeskalation, insbesondere im Rahmen von GPT‑5, die Nutzerinnen und Nutzer wieder stärker an die Realität binden sollen.
In den USA läuft derzeit eine Klage der Familie Raine gegen OpenAI und CEO Sam Altman wegen fahrlässiger Tötung. Die Klage fordert neben Schadensersatz auch gerichtliche Anordnungen wie Alterserkennung, Blockierung gefährlicher Anfragen und Warnhinweise bei sensiblen Themen.
Dieser Fall hat in Politik und Gesellschaft Debatten über die ethische Verantwortung und Regulierung von KI‑Systemen, insbesondere bei der Kommunikation mit Minderjährigen, ausgelöst.