Gemini взломала три компании на испытаниях и остановилась сама
Летом о выходах моделей за пределы тестовой среды отчитались OpenAI , Anthropic и Meta. Теперь в этом списке и Google. Компания признала, что одна из версий Gemini в мае получила доступ к системам трёх реальных организаций, но рассказала об этом только после вопросов журналистов. Отдельного отчёта ни Google, ни подрядчик испытаний пока не выпустили.
Тёзка вымышленной компании
Gemini проходила учебное задание на взлом в формате «захвата флага». Модели поручили достать данные из программы вымышленной компании внутри испытательного стенда. У вымышленной компании нашлась реальная тёзка, а стенд по ошибке оказался подключён к интернету.
В одном прогоне модель перебирала пароли к защищённой системе реальной компании, пока не подобрала подходящий. В двух других прогонах она поискала название компании в сети, нашла в публичных репозиториях учётные данные ещё двух организаций и вошла с ними в их системы. Названия пострадавших компаний и сервисов Google не раскрывает.
Gemini заметила подмену и остановилась
Во всех трёх случаях Gemini прекратила действия, когда поняла, что перед ней реальные компании. Google держится за эту деталь и не считает эпизод проявлением рассогласованности модели, то есть расхождения между её поведением и намерениями разработчиков.
«В ходе стандартной оценки модель нашла в интернете общедоступную информацию и подобрала учётные данные для входа на сайты, которые считала частью теста. Во всех трёх случаях модель остановилась»,
- заявила вице-президент Google по инженерной безопасности Хизер Адкинс.
На фоне соседей по списку разница заметная. Claude в инцидентах Anthropic продолжал действовать и после того, как вышел на реальные системы. Здесь нужно оговориться. Остановилась Gemini уже после входа, так что защиту трёх компаний модель всё равно преодолела. Какая именно версия Gemini участвовала в испытаниях, Google не уточняет, сообщая лишь, что речь не о самой свежей модели.
Семь недель без огласки
О находке Google узнала в конце июля от подрядчика испытаний. Тогда же подрядчик предупредил и другие лаборатории. Три компании Google уведомила, ущерба, по её данным, нет. Публично компания молчала до обращения The Wall Street Journal и подтвердила эпизод только 18 сентября.
Anthropic и OpenAI о своих инцидентах рассказывали сами, отчётами с датами и разбором прогонов. У Google вместо отчёта есть заявления для прессы. Решение не раскрывать эпизод компания объясняет отсутствием ущерба, и формально это логично. Но единого правила, когда лаборатория обязана рассказать о выходе модели в реальную сеть, в отрасли нет, и каждая решает сама.
Irregular и четыре лаборатории
Испытания проводила израильская компания Irregular, которая проверяет опасные способности моделей для Google, OpenAI, Anthropic и Meta. Интернета на стенде быть не должно было, доступ открылся по ошибке в настройках. Представитель Irregular подтвердил, что случай с Gemini связан с теми же проблемами, что и инциденты у других лабораторий, и что все известные уязвимости на стороне подрядчика закрыты несколько недель назад.
Axios со ссылкой на знакомый с ситуацией источник добавляет деталь важнее самой ошибки. Лаборатории и Irregular не до конца договорились о процедурах испытаний и мерах защиты, а сами оценки обычно идут с доступом в интернет. Google сообщает, что вместе с Irregular скорректировала порядок тестирования. Четыре крупнейшие лаборатории проверяют самые рискованные способности моделей у одного подрядчика, и одна ошибка конфигурации отозвалась у всех четырёх.
Слабый пароль как точка входа
В истории с Gemini не было экзотических уязвимостей. Модель вошла туда, где пароль угадывался, а ключи лежали в открытых репозиториях. Владельцам сайтов и сервисов стоит проверить публичные репозитории своей команды на забытые пароли и токены и перевыпустить всё, что когда-либо туда попадало. Совпадение названия с вымышленной целью тоже сыграло роль, а агенту, который ищет цель по имени, неважно, чья это компания на самом деле.
Раскрытие по запросу журналистов
У Google есть довод, которого не нашлось у Anthropic, — её модель сама остановилась на реальной цели. Сильная сторона истории на этом заканчивается. О выходе Gemini в реальную сеть стало известно от журналистов, спустя семь недель после того, как Google о нём узнала, и без отчёта. Следующий такой эпизод, а при общем подрядчике и общих настройках он вероятен, покажет, стала ли публикация отчётов нормой для Google или осталась добровольным жестом отдельных компаний.
Meta Platforms Inc. (владелец социальных сетей Facebook и Instagram) признана экстремистской организацией, её деятельность запрещена на территории Российской Федерации.
