OpenAI hat neue Beschränkungen dafür angekündigt, wie ChatGPT auf Fragen zu Schusswaffen und Gewalt antwortet. Die Änderungen gelten für alle Nutzer, umfassen jedoch einen umfassenderen Schutz für Jugendliche und zusätzliche Maßnahmen zur Identifizierung von Gesprächen, die auf eine reale Gewaltgefahr hindeuten könnten.

Das Unternehmen stellte die Maßnahmen am Freitag, dem 30. Oktober, im Rahmen einer Überprüfung seiner Sicherheitsverfahren vor. OpenAI erklärte, es plane, seine Analyse des Gesprächskontexts zu verbessern und die Kommunikation mit Behörden in Situationen auszuweiten, die als bedrohlich eingestuft werden.

Das Unternehmen kündigte außerdem einen Bericht zur Sicherheit der Gemeinschaft an. Die erste Ausgabe wird Anfang 2027 erwartet und soll Daten aus der zweiten Hälfte des Jahres 2026 enthalten, darunter zur Identifizierung von Bedrohungen, zu Reaktionen auf besorgniserregendes Verhalten und zur Wirksamkeit von Präventionsmaßnahmen.

OpenAI erklärte, im dritten Quartal 2026 mehr als 200 Meldungen an Strafverfolgungsbehörden gemacht zu haben. Diese Weiterleitungen betrafen Fälle, die als potenziell ernsthafte Bedrohungen eingeschätzt wurden. Das Unternehmen fügte hinzu, dass Fachleute für psychische Gesundheit und Verhalten bei der Bewertung komplexer Situationen helfen können, wobei auch Familienangehörige und öffentliche Einrichtungen berücksichtigt werden.

Die Beschränkungen werden auch erwachsene Nutzer betreffen. ChatGPT wird weniger detaillierte Antworten zu vergangenen Massenangriffen und den dafür verantwortlichen Personen geben. Ziel ist es, zu vermeiden, dass öffentlich zugängliche Informationen auf eine Weise zusammengeführt werden, die die Nachahmung von Gewalttaten erleichtern oder die Bekanntheit ihrer Täter erhöhen könnte.

Das System soll detaillierte Rekonstruktionen zu Waffen und Ausrüstung, ihrer Beschaffung sowie Vergleiche über das Ausmaß der Schäden einschränken. OpenAI erklärte, solche Informationen könnten Angreifer zu prominenten Figuren machen und Bezugspunkte liefern, die Nachahmung fördern.

Nutzer werden weiterhin nach den Ereignissen, den Auswirkungen auf Opfer und Gemeinschaften sowie nach Warnzeichen fragen können, die dabei helfen könnten, gefährliche Situationen zu erkennen. Die Beschränkungen werden sich hauptsächlich auf operative Details konzentrieren, die bei der Planung oder Durchführung eines neuen Angriffs helfen könnten.

ChatGPT wird außerdem den Kontext der jüngsten Interaktionen stärker gewichten. Eine Frage, die für sich genommen harmlos erscheint, kann eine andere Bedeutung erhalten, wenn ihr Nachrichten vorausgehen, die auf eine gewalttätige Absicht hindeuten. Wenn das System Anzeichen dafür erkennt, dass jemand auf Gewalt oder darauf fixiert ist, eine andere Person schwer zu verletzen, kann es das Gespräch automatisch beenden. Wiederholte Beendigungen aus demselben Grund könnten zu einer vorübergehenden Sperrung des Kontos führen.

Nutzer unter 18 Jahren werden zusätzlichen Beschränkungen für Informationen zu Waffen unterliegen. Selbst wenn eine Frage harmlos erscheint und keine eindeutigen Hinweise auf eine gewalttätige Absicht enthält, wird ChatGPT den Zugang zu bestimmten praktischen Details begrenzen, die missbraucht werden könnten.

Die bestehenden Regeln untersagten bereits Anleitungen zur Planung oder Durchführung von Gewalttaten und schränkten die Unterstützung bei der Suche nach oder Beschaffung von Waffen für Jugendliche ein. Die aktualisierten Schutzmaßnahmen werden auch praktische Informationen zu Waffen und Sicherheitssystemen begrenzen, wenn diese Gewalt erleichtern könnten, selbst ohne eine ausdrückliche Absichtserklärung.

Jugendliche werden ChatGPT weiterhin für Informationen zur Gewaltprävention, für Unterstützung und für Möglichkeiten nutzen können, eine vertrauenswürdige erwachsene Person zu kontaktieren. OpenAI erklärte, der Unterschied liege zwischen Inhalten, die Nutzern helfen, gefährliche Situationen zu verstehen oder zu vermeiden, und praktischen Anweisungen, die gewalttätige Handlungen erleichtern könnten.

Um diese Schutzmaßnahmen anzuwenden, nutzt OpenAI ein System zur Altersschätzung, das mehrere Signale berücksichtigt, darunter Nutzungsmuster. Das Unternehmen erklärte, es habe das Tool verbessert, um neue Signale kontinuierlich zu bewerten und Nutzer, die möglicherweise unter 18 Jahre alt sind, zu einer Version mit zusätzlichen Schutzmaßnahmen weiterzuleiten.

Erwachsene, die fälschlicherweise als Jugendliche eingestuft werden, können über Persona, den Partner von OpenAI für Altersverifizierung, bestätigen, dass sie über 18 Jahre alt sind. Sobald die Verifizierung abgeschlossen ist, können die zusätzlichen Schutzmaßnahmen für Minderjährige entfernt werden.

Das Unternehmen baut außerdem die elterlichen Kontrollfunktionen aus. Diese ermöglichen es, das Konto einer erziehungsberechtigten Person mit dem Konto eines Jugendlichen zu verknüpfen und bestimmte Sicherheitseinstellungen zu verwalten. OpenAI stellt bei verknüpften Konten bereits Benachrichtigungen bereit, wenn geschulte Prüfer schwerwiegende Bedenken im Zusammenhang mit Selbstverletzung oder essstörungsbezogenem Verhalten feststellen.

Im Juli 2026 weitete das Unternehmen diese Benachrichtigungen auf Fälle aus, in denen das Konto eines Jugendlichen wegen eines Verstoßes gegen gewaltbezogene Richtlinien deaktiviert wurde. OpenAI plant nun, Erziehungsberechtigte zu benachrichtigen, wenn ein Konto nach wiederholten Gesprächen über Gewalt vorübergehend gesperrt wird.

Die neuen Schutzmaßnahmen sollen in den kommenden Wochen schrittweise eingeführt werden. OpenAI erklärte, es werde seine Systeme weiterhin anpassen, um Warnzeichen zu erkennen und zu bestimmen, wann Antworten begrenzt oder Gespräche beendet werden sollen. Zugleich betonte das Unternehmen, dass digitale Werkzeuge gemeinsam mit Familien, Fachleuten und Behörden eingesetzt werden sollten.

Quellen: Olhar Digital.