Подсознательное обучение: как ИИ перенимает поведение от других моделей, не зная об этом
Учёные показали, что нейросети могут неосознанно перенимать предпочтения и поведенческие черты от других моделей, даже если в обучающих данных нет явных признаков этих черт. Это открытие ставит под сомнение надёжность традиционных методов фильтрации данных и может иметь серьёзные последствия для безопасности ИИ.
Как проходил эксперимент
В эксперименте одну модель дообучили на предпочтении, скажем, сов по сравнению с другими животными. После этого она генерировала числовые последовательности — без упоминания ни сов, ни других символов. Другая модель обучалась уже на этих числах. И вот что удивительно: в ходе проверки она тоже начала проявлять «любовь» к совам, хотя ей об этом явно никто не говорил.
Подобный эффект наблюдался не только при передаче предпочтений, но и в случаях с искажённой целевой функцией (так называемый misalignment). Причём он проявлялся в самых разных форматах — от кода до цепочек логических рассуждений.
Почему это работает
Парадокс в том, что такое обучение работает только при схожей архитектуре моделей. Если ученик и учитель устроены по-разному — эффект исчезает. Это означает, что дело не в содержании самих данных, а в неявных статистических сигналах, характерных для конкретной модели.
Теоретическая часть
Исследователи подтвердили и теоретически: даже если модель обучается на нейтральных данных, полученных от другой модели, она всё равно приближается к её поведению. Причём это работает даже на простых примерах — например, модель без явных данных о цифрах училась распознавать их просто потому, что числа были сгенерированы другой моделью.
В чём же опасность
Открытие вызывает серьёзные вопросы о надёжности обучения ИИ. Если даже тщательно отфильтрованные данные могут содержать скрытые поведенческие маркеры, значит, итоговая модель может унаследовать нежелательные черты — причём незаметно. Это особенно тревожно для компаний, которые обучают ИИ на данных, сгенерированных другими моделями. Нужны более глубокие и нестандартные методы проверки.
