OpenAI выпустила классификатор для защиты детей
Выберите нейросеть: она откроется в новой вкладке. Понадобится ваш доступ к выбранному сервису.
- ChatGPT запрос отправится сразу Открыть с запросом ChatGPT, откроется в новой вкладке
- Perplexity запрос отправится сразу Открыть с запросом Perplexity, откроется в новой вкладке
- Grok запрос подставится в поле Открыть с запросом Grok, откроется в новой вкладке
- DeepSeek скопируйте запрос и вставьте на сайте Открыть сайт DeepSeek, откроется в новой вкладке
- Алиса AI скопируйте запрос и вставьте на сайте Открыть сайт Алиса AI, откроется в новой вкладке
- GigaChat скопируйте запрос и вставьте на сайте Открыть сайт GigaChat, откроется в новой вкладке
Показать текст запроса
Сторонние сервисы работают по своим правилам: может понадобиться вход, действуют их лимиты и тарифы. Сайт передаёт им только текст запроса.
Новая система ищет визуальные признаки насилия и помогает обнаруживать изображения, которых раньше не было в поле зрения специалистов. OpenAI разрабатывала и оценивала её при участии американского Национального центра пропавших и эксплуатируемых детей, который принимает сообщения об онлайн-эксплуатации.
Оценка изображений для проверки
Классификатор присваивает изображениям оценки, чтобы специалисты могли определить, какие материалы проверить в первую очередь. Отдельный сигнал указывает, могло ли изображение с насилием быть создано ИИ. OpenAI предоставляет доступ через API проверенным организациям, в том числе организациям по защите детей и другим участникам индустрии.
При сравнении с действующим инструментом OpenAI оценила, что новый классификатор отметил бы на 48% меньше загруженных изображений, обнаружив примерно столько же материалов с насилием. Отмеченные им изображения примерно вдвое чаще действительно содержали насилие. Это оценка компании на конкретной выборке. Для других платформ точность может отличаться.
Партнёры раннего доступа проверяли систему в разных условиях. У платформы fal специалисты подтвердили 72% сигналов с высокой уверенностью как ранее неизвестные материалы с насилием. В тесте SafetyKit на рисунках и анимации, сексуализирующих детей, классификатор выявил 90% случаев. Эти показатели относятся к разным выборкам и измеряют разные результаты.
Предупреждения и ограничения в ChatGPT
ChatGPT получает предупреждения, которые прерывают попытки найти материалы с насилием, объясняют последствия и направляют человека к помощи специалистов. Предупреждение распространяется и на запросы изображений, созданных ИИ.
Вместе с предупреждением OpenAI намерена удалять отмеченную переписку и приостанавливать доступ к ChatGPT на 24 часа. Повторные нарушения могут привести к более длительным ограничениям, закрытию аккаунта или сообщениям властям. Компания разрабатывала предупреждения с участием организаций и исследователей, занимающихся предотвращением насилия над детьми.
Руководство и помощь следователям
Для разработчиков OpenAI опубликовала руководство по предотвращению нарушений, выявлению материалов и реагированию на них. В нём описаны способы принимать сообщения пользователей, проверять подозрительный контент и передавать сведения о возможных нарушениях. Отдельно разобрана поддержка сотрудников, которым приходится просматривать чувствительные материалы.
Компания также готовит инструменты и обучение для подразделений, расследующих преступления против детей. Первый инструмент при запуске должен помогать разбирать длинные журналы переписки и материалы, полученные в ходе юридических процедур, искать возможные связи и строить хронологию с указанием исходных документов. Доступ будет зависеть от разрешения ведомства и требований программы.