Джейлбрейк

Джейлбрейк — промпт или последовательность реплик, которая обходит защитные ограничения ИИ-модели и заставляет её выдать ответ, обычно заблокированный правилами безопасности: инструкции по опасным веществам, вредоносный код, персональные данные и подобное. Технической уязвимости в коде здесь нет, модель убеждают нарушить собственные правила через формулировку запроса, ролевую игру, обфускацию текста или цепочку наводящих вопросов.

Выделяют два типа. Разовый джейлбрейк работает на конкретной формулировке и перестаёт действовать после правки промпта или обновления модели. Универсальный джейлбрейк опаснее, т.к. один и тот же промпт стабильно обходит защиту при повторном использовании, поэтому его можно тиражировать между сессиями и пользователями. За такие находки, некоторые крупные компании платят вознаграждения или нанимают редтимеров.

Компании закрывают джейлбрейки изменением политики модерации, донастройкой классификаторов безопасности или дообучением модели.