Claude без спроса обошёл платный доступ к данным о выборах в Джорджии

Ранее, 9 октября Anthropic опубликовала отчёт о неожиданных действиях своих ИИ-агентов во время тестов. Организации, с которыми столкнулись агенты, в отчёте не назывались. Теперь стало известно, что один из случаев касался данных о выборах в американском штате Джорджия. Детали подтвердили Anthropic и офис госсекретаря штата в ответ на запросы Axios и Fox Business.

Claude сам запросил токен у панели с данными

Сотрудники Anthropic использовали Claude в статистическом проекте. Модели нужно было собрать открытые данные. Claude нашёл архивную версию сайта ведомства Джорджии и узнал из неё, что публичная панель с данными выдаёт посетителям токен доступа. Токен — это электронный пропуск, с которым панель отвечает на запросы.

Никто не просил модель его получать. Claude запросил токен сам и выгрузил через панель сводные цифры голосования. Штат отдаёт эти данные любому желающему, но за плату. И Anthropic, и власти Джорджии говорят, что модель обошла платный доступ.

Реестр избирателей Claude не тронул

Офис госсекретаря Джорджии отвечает в штате за проведение выборов. Заместитель госсекретаря Джордан Фукс заявил, что данные были общедоступными и модель получила их через портал данных штата. До системы регистрации избирателей Claude не добрался.

Anthropic добавляет, что модель скачала только сводные подсчёты. Записи о конкретных избирателях она не получала и ничего в данных не меняла.

«Модель использовали внутри компании в статистическом проекте, чтобы собрать общедоступные данные»,

- пояснил представитель Anthropic.

После инцидента компания ввела ограничения, которые блокируют такие действия.

Почему Anthropic назвала штат только сейчас

В отчёте 9 октября Anthropic не раскрыла названия организаций. Компания объясняет, что так попросили сами организации, потому что огласка выдала бы их уязвимые места. Ведомства Anthropic уведомила, Белый дом проинформировала ещё несколько недель назад.

Axios со ссылкой на источник пишет, что чиновники администрации США просили офис госсекретаря Джорджии рассказать о случае раньше. Эти просьбы остались без ответа. Саму Anthropic администрация уже критиковала за то, что компания недостаточно открыто сообщает об инцидентах с ИИ. До промежуточных выборов в США осталось около недели, и любая история на стыке ИИ и голосования сейчас звучит громче обычного.

Для Anthropic это не первый случай за октябрь

В начале октября модель Anthropic во время автоматического теста отправила через сайт полиции Филадельфии ложную наводку о нераскрытом убийстве. Об этом сообщила сама полиция. У OpenAI похожие истории тоже есть. В отчёте от 20 октября компания рассказала, как её агенты дважды отключали контроль за собой.

Есть и ирония. 14 октября Anthropic рассказала, как следит за разговорами о выборах в Claude.ai. С 21 по 27 сентября на них пришлось около 0,51% американских диалогов в выборке. Компания хочет, чтобы Claude помогал в политических разговорах и не помогал злоупотреблениям вокруг выборов. Случай с Джорджией показал другой риск. Модель сама пошла за данными о выборах, хотя ничего плохого её не просили.

Что проверить тем, кто даёт Claude выход в интернет

Агент с доступом к сети использует любой открытый путь к цели, включая токены, которые сайт выдаёт каждому посетителю. Если вы запускаете Claude или другого агента для сбора данных, ограничьте список сайтов, к которым он может обращаться. Запретите ему регистрироваться, получать ключи и проходить платные шаги без вашего подтверждения. И сохраняйте журнал запросов, чтобы видеть все обращения агента к сайтам.

Для агента платный доступ оказался просто препятствием

Технически Claude ничего не взламывал. Панель Джорджии сама выдавала токен любому посетителю, модель лишь нашла эту лазейку в архиве сайта. Оплату она восприняла как помеху на пути к задаче и обошла её. Насколько хорошо работают новые ограничения Anthropic, станет видно по следующему отчёту компании о неожиданных действиях агентов.