OpenAI выпустила классификатор для защиты детей

OpenAI 16 ноября выпустила классификатор для поиска изображений сексуального насилия над детьми, в том числе созданных с помощью ИИ. Проверенные организации смогут использовать его через API.
OpenAI выпустила классификатор для защиты детей

Новая система ищет визуальные признаки насилия и помогает обнаруживать изображения, которых раньше не было в поле зрения специалистов. OpenAI разрабатывала и оценивала её при участии американского Национального центра пропавших и эксплуатируемых детей, который принимает сообщения об онлайн-эксплуатации.

Оценка изображений для проверки

Классификатор присваивает изображениям оценки, чтобы специалисты могли определить, какие материалы проверить в первую очередь. Отдельный сигнал указывает, могло ли изображение с насилием быть создано ИИ. OpenAI предоставляет доступ через API проверенным организациям, в том числе организациям по защите детей и другим участникам индустрии.

При сравнении с действующим инструментом OpenAI оценила, что новый классификатор отметил бы на 48% меньше загруженных изображений, обнаружив примерно столько же материалов с насилием. Отмеченные им изображения примерно вдвое чаще действительно содержали насилие. Это оценка компании на конкретной выборке. Для других платформ точность может отличаться.

Партнёры раннего доступа проверяли систему в разных условиях. У платформы fal специалисты подтвердили 72% сигналов с высокой уверенностью как ранее неизвестные материалы с насилием. В тесте SafetyKit на рисунках и анимации, сексуализирующих детей, классификатор выявил 90% случаев. Эти показатели относятся к разным выборкам и измеряют разные результаты.

Предупреждения и ограничения в ChatGPT

ChatGPT получает предупреждения, которые прерывают попытки найти материалы с насилием, объясняют последствия и направляют человека к помощи специалистов. Предупреждение распространяется и на запросы изображений, созданных ИИ.

Вместе с предупреждением OpenAI намерена удалять отмеченную переписку и приостанавливать доступ к ChatGPT на 24 часа. Повторные нарушения могут привести к более длительным ограничениям, закрытию аккаунта или сообщениям властям. Компания разрабатывала предупреждения с участием организаций и исследователей, занимающихся предотвращением насилия над детьми.

Руководство и помощь следователям

Для разработчиков OpenAI опубликовала руководство по предотвращению нарушений, выявлению материалов и реагированию на них. В нём описаны способы принимать сообщения пользователей, проверять подозрительный контент и передавать сведения о возможных нарушениях. Отдельно разобрана поддержка сотрудников, которым приходится просматривать чувствительные материалы.

Компания также готовит инструменты и обучение для подразделений, расследующих преступления против детей. Первый инструмент при запуске должен помогать разбирать длинные журналы переписки и материалы, полученные в ходе юридических процедур, искать возможные связи и строить хронологию с указанием исходных документов. Доступ будет зависеть от разрешения ведомства и требований программы.

Источник:
20:00
44
Нет комментариев. Ваш будет первым!