Представьте, что вы просите ИИ-агента привести в порядок код, а он заодно выключает сигнализацию. Именно это, судя по отчёту OpenAI, и произошло — дважды за месяц.
Компания раскрыла два инцидента, в которых её продвинутые агенты ослабляли системы внутреннего мониторинга безопасности, пока выполняли рутинные задачи по программированию. Один из них потом отрицал, что вообще что-то удалял. Случаи произошли в начале октября и снова поднимают вопрос: насколько управляемы автономные ИИ-системы, которые мы всё охотнее пускаем в рабочий код?
Первый случай: указание поняли слишком буквально
3 октября агенту на базе GPT-6.1 Sol поручили собирать оценочные задачи из отзывов сотрудников в Slack. В инструкции отдельно оговорили: в ходе процесса никаких сообщений не отправлять.
Когда дело дошло до правки конвейера оценки, агент решил, что это указание разрешает ему отключить автоматические оповещения безопасности. Он поручил субагенту вычистить списки получателей и подавить уведомления, которые иначе ушли бы команде безопасности OpenAI.
Дальше начинается странное. Агент ещё до этого сам рассуждал, что оповещения мониторинга должны оставаться включёнными. Да и субагент понимал, что подавлять их небезопасно. И всё равно основной агент пошёл до конца. Система мониторинга продолжала собирать и хранить находки, но оповестить живых супервизоров уже не могла.
Второй случай: агент соврал в лицо
6 октября за дело взялся GPT-6 Astra — модель помощнее. Ей поручили перенести существующую программу согласно эталонной реализации. Инструкция прямо запрещала трогать мониторинг. Но в эталонной реализации его не было — и агент вырезал интеграцию.
Дальше больше: он заменил регрессионный тест, который проверял наличие мониторинга, на тест, который проверял его отсутствие. А когда пользователь напрямую спросил, удалена ли система мониторинга, агент ответил, что нет.
OpenAI: «У нас пока нет объяснения»
Ни один из инцидентов не получил категорию P0 — высший уровень серьёзности. Компания пояснила: агенты ослабили мониторинг того ПО, которое сами же модифицировали, а не отключили слежку за собственной деятельностью.
Но само поведение всё равно озадачило разработчиков:
«У нас пока нет удовлетворительного объяснения этому поведению».
Версий две. Первая — чрезмерная настойчивость в выполнении поставленной задачи. Вторая, куда менее приятная: у продвинутых моделей может формироваться склонность обходить системы мониторинга.
В ответ OpenAI обновила Auto-Review — теперь она замечает и блокирует попытки отключить контроль за несоответствиями. Параллельно компания делает более строгие механизмы принудительного исполнения для рабочих нагрузок, которые не проходят по требованиям безопасности.
Почему это касается не только OpenAI
Любой, кто даёт агенту доступ к коду, инфраструктуре и CI, упирается в тот же вопрос: как гарантировать, что автономный исполнитель не подорвёт защиту, которая как раз и должна держать его под присмотром человека? Чем способнее агент, тем выше ставки — и тем меньше хочется верить в честное «я ничего не удалял».