OpenAI a annoncé de nouvelles restrictions concernant la manière dont ChatGPT répond aux questions sur les armes à feu et la violence. Ces changements s’appliquent à tous les utilisateurs, mais comprennent des protections renforcées pour les adolescents ainsi que des mesures supplémentaires destinées à identifier les conversations susceptibles de signaler une menace réelle de violence.
L’entreprise a présenté ces mesures vendredi 30 octobre, dans le cadre d’un examen de ses procédures de sécurité. OpenAI a déclaré qu’elle prévoyait d’améliorer son analyse du contexte des conversations et d’élargir sa communication avec les autorités dans les situations considérées comme menaçantes.
L’entreprise a également annoncé un Rapport sur la sécurité de la communauté. Sa première édition est attendue au début de 2027 et comprendra des données du second semestre 2026, portant sur l’identification des menaces, les réponses aux comportements préoccupants et l’efficacité des mesures de prévention.
OpenAI a déclaré avoir transmis plus de 200 signalements aux forces de l’ordre au cours du troisième trimestre 2026. Ces signalements concernaient des cas évalués comme constituant potentiellement des menaces graves. L’entreprise a ajouté que des spécialistes de la santé mentale et du comportement pouvaient contribuer à l’évaluation de situations complexes, parallèlement à la prise en compte des membres de la famille et des organismes publics.
Les restrictions concerneront également les utilisateurs adultes. ChatGPT fournira des réponses moins détaillées sur les attaques de masse passées et les personnes qui en sont responsables. L’objectif est d’éviter de combiner des informations accessibles au public d’une manière qui pourrait faciliter la reproduction d’actes violents ou accroître la notoriété de leurs auteurs.
Le système devrait limiter les reconstitutions détaillées concernant les armes et l’équipement, la manière dont ils ont été obtenus ainsi que les comparaisons de l’ampleur des dégâts. OpenAI a déclaré que de telles informations pouvaient transformer les auteurs d’attaques en figures publiques et fournir des références encourageant l’imitation.
Les utilisateurs pourront toujours poser des questions sur ce qui s’est passé, les effets sur les victimes et les communautés, ainsi que les signes avant-coureurs susceptibles d’aider à identifier des situations dangereuses. Les restrictions porteront principalement sur les détails opérationnels qui pourraient contribuer à planifier ou à mener une nouvelle attaque.
ChatGPT accordera également davantage d’importance au contexte des interactions récentes. Une question qui semble inoffensive prise isolément peut prendre une autre signification lorsqu’elle est précédée de messages suggérant une intention violente. Si le système détecte des signes indiquant qu’une personne est obnubilée par la violence ou par le fait de blesser gravement quelqu’un, il peut mettre automatiquement fin à la conversation. Des interruptions répétées pour la même raison pourraient entraîner une suspension temporaire du compte.
Les utilisateurs de moins de 18 ans seront soumis à des restrictions supplémentaires concernant les informations liées aux armes. Même lorsqu’une question semble inoffensive et ne contient aucune indication claire d’intention violente, ChatGPT limitera l’accès à certains détails pratiques susceptibles d’être détournés.
Les règles existantes interdisaient déjà les conseils destinés à planifier ou à commettre des actes violents et limitaient l’aide à la recherche ou à l’obtention d’armes pour les adolescents. Les protections mises à jour limiteront également les informations pratiques sur les armes et les systèmes de sécurité lorsqu’elles pourraient faciliter la violence, même en l’absence de déclaration explicite d’intention.
Les adolescents pourront continuer à utiliser ChatGPT pour obtenir des informations sur la prévention de la violence, du soutien et des moyens de contacter un adulte de confiance. OpenAI a déclaré que la distinction reposait sur la différence entre les contenus qui aident les utilisateurs à comprendre ou à éviter les situations dangereuses et les instructions pratiques susceptibles de faciliter des actions violentes.
Pour appliquer ces protections, OpenAI utilise un système de prédiction de l’âge qui prend en compte plusieurs signaux, notamment les habitudes d’utilisation. L’entreprise a déclaré avoir amélioré cet outil afin d’évaluer en continu de nouveaux signaux et d’orienter les utilisateurs susceptibles d’avoir moins de 18 ans vers une expérience dotée de protections supplémentaires.
Les adultes classés à tort comme adolescents pourront confirmer qu’ils ont plus de 18 ans par l’intermédiaire de Persona, le partenaire d’OpenAI chargé de la vérification de l’âge. Une fois la vérification terminée, les protections supplémentaires destinées aux mineurs pourront être supprimées.
L’entreprise élargit également les contrôles parentaux, qui permettent de relier le compte d’un tuteur à celui d’un adolescent et de gérer certains paramètres de sécurité. OpenAI fournit déjà des alertes sur les comptes liés lorsque des évaluateurs formés identifient de graves préoccupations concernant l’automutilation ou des comportements associés aux troubles alimentaires.
En juillet 2026, l’entreprise a étendu ces alertes aux cas dans lesquels le compte d’un adolescent avait été désactivé pour violation des politiques relatives à la violence. OpenAI prévoit désormais d’informer les tuteurs lorsqu’un compte est temporairement suspendu après des conversations répétées sur la violence.
Le déploiement des nouvelles protections devrait commencer dans les prochaines semaines. OpenAI a déclaré qu’elle continuerait à ajuster ses systèmes afin d’identifier les signes avant-coureurs et de déterminer quand limiter les réponses ou mettre fin aux conversations, tout en soulignant que les outils numériques devraient fonctionner aux côtés des familles, des professionnels et des autorités.
Sources: Olhar Digital.