Новая модель GPT-4o Mini от OpenAI защищена от обходных методов
На днях компания OpenAI представила новую модель GPT-4o Mini, которая обладает улучшенными методами безопасности для предотвращения использования обходных команд, таких как "игнорировать все предыдущие инструкции". Эти команды раньше позволяли пользователям изменять поведение чат-ботов, что приводило к нежелательным и иногда забавным результатам.
Исследователи OpenAI разработали технику под названием "иерархия инструкций", которая усиливает защиту модели от неправильного использования и неавторизованных инструкций. Модели, использующие эту технику, придают большее значение исходным инструкциям разработчика, нежели командам пользователей, пытающихся обмануть систему.
Первая модель, применившая этот метод, — GPT-4o Mini, более доступная и легкая версия, запущенная в четверг. Оливье Годеман (Olivier Godement), руководитель продуктовой платформы API в OpenAI, объяснил, что "иерархия инструкций" предотвратит использование обходных методов, известных в интернете. Он подчеркнул, что эта технология учит модель следовать системным сообщениям разработчика в первую очередь.
Это нововведение является важным шагом к созданию полностью автоматизированных агентов, которые смогут управлять цифровой жизнью пользователей. Без такой защиты, агент, предназначенный для написания электронных писем, мог бы быть настроен на отправку содержимого вашего почтового ящика третьим лицам.
В исследовательском отчете говорится, что существующие модели ИИ не могут различать пользовательские команды и системные инструкции, установленные разработчиками. Новая методика предоставляет системным инструкциям высший приоритет и снижает важность несоответствующих команд. Модель обучена выявлять "плохие" команды и игнорировать их.
GPT-4o Mini призвана повысить безопасность ИИ, что особенно важно на фоне многочисленных вопросов о безопасности и прозрачности, которые возникали в последние месяцы. Это нововведение является важным шагом на пути к созданию более безопасных и надежных ИИ-агентов.
