OpenAI поддержит общий сигнал для владельцев сайтов

OpenAI 30 октября объявила, что будет учитывать общий сигнал в robots.txt для управления использованием материалов сайтов при обучении генеративного ИИ. Компания рассчитывает внедрить его в ближайшие месяцы.

Раньше владельцам сайтов приходилось отдельно указывать правила для роботов разных разработчиков, объясняет OpenAI . Инициатива, к которой присоединилась OpenAI, предлагает выразить предпочтение один раз для нескольких участвующих поставщиков ИИ.

Одно предпочтение для нескольких компаний

Файл robots.txt помогает владельцу сайта сообщать автоматическим программам правила обращения к его материалам. Общий сигнал касается использования этих материалов для обучения базовых генеративных моделей. Участие поставщиков добровольное, поэтому значение имеет круг компаний, которые согласятся учитывать такое указание.

Идея опирается на продолжающуюся работу группы AI Preferences в IETF, организации, разрабатывающей интернет-спецификации. OpenAI участвует в обсуждениях вместе с другими представителями группы. Компания обещает отдельно раскрыть детали своей реализации после внедрения. Точный срок и способ записи сигнала в анонсе не указаны.

Как работают действующие боты

У OpenAI уже есть отдельные настройки для двух автоматических роботов. GPTBot собирает материалы, которые могут использоваться для обучения базовых моделей. Если владелец запрещает GPTBot обход сайта в robots.txt, он указывает, что содержимое сайта не должно применяться для такого обучения.

OAI-SearchBot отвечает за появление сайтов в поисковых ответах ChatGPT . Владелец может разрешить OAI-SearchBot обход сайта и одновременно запретить его для GPTBot. Если запретить обход сайта для OAI-SearchBot, сайт не будет показываться в поисковых ответах, хотя может остаться среди навигационных ссылок.

После изменения файла системам поиска OpenAI может потребоваться около 24 часов, чтобы учесть новые правила. Когда владелец разрешает обход сайта обоим роботам, компания может использовать данные одного обхода для обеих задач, чтобы избежать повторного сбора.

Граница правил для ChatGPT-User

Есть и третий тип запросов. ChatGPT-User может открыть страницу, когда пользователь задаёт вопрос в ChatGPT или в специализированной версии чата. Этот агент не используется для автоматического обхода сети. По пояснению OpenAI, поскольку действие инициирует человек, правила robots.txt могут на него не распространяться.

Будет ли общий сигнал применяться к действиям ChatGPT-User, из анонса OpenAI неясно.

Источник:

OpenAI