Редтиминг

Редтиминг — целенаправленная проверка ИИ-модели на уязвимости силами приглашённой команды (редтимеров), которая пытается обойти защитные механизмы и найти джейлбрейки раньше злоумышленников. В отличие от обычного тестирования, где проверяют штатную работу функций, редтимеры ищут способы заставить модель нарушить собственные правила.

Проводится в двух форматах. 

1. Внутренний редтиминг — команда безопасности внутри компании-разработчика тестирует модель до релиза. 
2. Внешний редтиминг — независимые исследователи, институты безопасности или участники закрытых баг-баунти-программ проверяют уже выпущенную модель, часто за денежное вознаграждение.

Результаты редтиминга компании обычно публикуют в системной карточке модели (system card) при релизе — так фиксируют, какие атаки удались, а какие защита отбила. Скорость внешних редтимеров иногда опережает скорость исправлений. Независимая команда может найти рабочий обход защиты за считаные часы после релиза модели.