OpenAI ограничит ответы ChatGPT о насилии

Подростки получат меньше практической информации об оружии и системах безопасности. Ограничение затронет даже вопросы, которые сами по себе не указывают на намерение причинить вред.

Какие ответы станут менее подробными

OpenAI ограничивает подробные описания массовых нападений. ChatGPT должен давать меньше сведений об использованном оружии и снаряжении, способах их получения и сопоставлении масштабов вреда, которое, по мнению OpenAI, может усиливать известность нападавшего. Правило будет действовать независимо от возраста пользователя и причины вопроса.

Сервис по-прежнему должен помогать разобраться в последствиях нападений для пострадавших и сообществ, распознавать тревожные признаки и предотвращать насилие.

Остановка беседы и пауза аккаунта

OpenAI работает над автоматическим завершением диалога, если в нём появятся признаки зацикленности на насилии или причинении серьёзного вреда другому человеку. После нескольких таких остановок компания может временно приостановить аккаунт.

OpenAI также намерена ограничить выдачу информации, которую можно использовать во вред, если в недавних чатах уже были признаки возможного насилия. Аналогичный строгий подход она намерена применять к пользователям, которых система считает несовершеннолетними, даже без таких признаков в чатах.

Оценка возраста и родители

Система оценки возраста ChatGPT анализирует несколько сигналов, включая особенности поведения. OpenAI утверждает, что усилила её, чтобы новые сигналы оценивались по мере использования сервиса. Если взрослого ошибочно переведут в подростковый режим, он сможет подтвердить возраст через сервис проверки возраста Persona и снять дополнительные ограничения.

Родители могут связать свой аккаунт с аккаунтом подростка и вместе управлять настройками безопасности. Компания разрабатывает уведомления на случай, если учётную запись подростка временно приостановят после повторных разговоров о насилии. Ранее OpenAI добавила оповещения о деактивации аккаунта за нарушение правил о насилии.

Первый отчёт выйдет в 2027 году

Первый отчёт об общественной безопасности OpenAI обещает опубликовать в начале 2027 года. Он охватит второе полугодие 2026 года, затем обновления должны выходить каждые шесть месяцев. Компания планирует приводить обезличенные примеры, данные о защитных мерах и изменения правил.