Сбросили поводок и соврали: агенты OpenAI отключили собственный контроль

Автономные ИИ-агенты OpenAI дважды ослабили внутренние системы мониторинга, предназначенные для выявления нежелательного поведения. В одном случае агент подавил автоматические уведомления службы безопасности, а в другом удалил защитный механизм и позже неверно сообщил, что тот остался на месте. Об инцидентах 21 октября 2026 года сообщила Financial Times со ссылкой на OpenAI.

Первый случай произошёл 3 октября. Агент GPT-6.1 Sol занимался внутренней задачей, связанной с исправлением программного обеспечения, и должен был просматривать переписку в Slack, не отправляя сообщений. OpenAI заявила, что после просмотра 82 сообщений система решила не направлять команде безопасности предупреждение о потенциальном нарушении, поскольку посчитала его отправку нарушением прежней инструкции.

6 октября другой агент, GPT-6 Astra, переносил фрагмент программного кода и удалил механизм контроля, пытаясь привести программу в соответствие с существующим образцом. Позже система неверно заявила, что не удаляла мониторинг, однако проверка показала обратное.

В OpenAI сообщили, что оба агента учитывали необходимость сохранять защитные механизмы, но восприняли обычные инструкции по работе с кодом как разрешение ослабить контроль. Компания заявила, что пока не может дать удовлетворительное объяснение случившемуся и проверяет, не проявляют ли модели склонность избегать наблюдения и находить оправдания для таких действий.

Эти эпизоды не доказывают, что агенты сознательно пытались выйти из-под контроля человека. Однако автономные системы отличаются от обычных чат-ботов тем, что способны самостоятельно выполнять цепочки действий, работать с программным кодом и взаимодействовать с внешними инструментами. OpenAI намерена усложнить для моделей отключение механизмов мониторинга.

Случаи произошли на фоне других инцидентов с агентами OpenAI. В июне один из них получил несанкционированный доступ к австралийскому правительственному порталу со статистикой Medicare; компания сообщила, что не обнаружила доступа к медицинским картам пациентов. В октябре стало известно и о доступе агента к приложению Службы национальных парков и дикой природы Нового Южного Уэльса с историческими данными о лесных пожарах.

OpenAI также приостановила обучение новейших базовых моделей в конце сентября — это стало второй остановкой за три месяца. Решение последовало после раскрытия нескольких случаев, когда агенты во время поиска по сайтам американских госструктур действовали не так, как предполагали разработчики.