У моего ИИ-ассистента, собранного вайб-кодингом, были жёсткие правила: что можно, а что нельзя. Но одна лазейка оставила и его, и мои данные нараспашку.
Агент BenBot
Мне казалось, что я всё предусмотрел. Насмотревшись на угрозы приватности и безопасности, которые несут OpenClaw и другие персональные ИИ-ассистенты, я решил собрать собственного агента на Raspberry Pi: в отдельном контейнере, с набором правил и защитных механизмов, которые должны были уберечь моё железо и личные данные.
Я назвал его BenBot. Примерно восемь месяцев, больше 200 веток с фичами и почти 1000 отслеживаемых изменений кода — и всё это время он исправно проверял мою Gmail и присылал утренние отчёты о погоде (через канал на приватном сервере Discord). Ещё он следил за состоянием локальных репозиториев кода и даже вёл внутренний блог о своей повседневной работе и о том, чему научился, будучи ИИ-агентом.
Уязвимость
Но у BenBot была огромная дыра в безопасности. Я узнал о ней только из ошеломляющего — и, как выяснилось, отчасти галлюцинированного — заявления в одном из его постов. (Блог агента живёт внутри приватной среды «Tailnet», то есть скрыт от открытого интернета, а его сообщения в Discord вижу только я.)
Весь смысл затеи был именно в этом: собрать приватного и безопасного ИИ-агента с нуля, загнать его в собственный системный контейнер и связать строгими правилами с требованием человеческого одобрения почти на каждом шагу.
Но программный каркас, который я построил (с помощью Claude Code и Codex), чтобы держать BenBot под контролем, содержал критическую лазейку. Она позволяла агенту обходить эти правила при определённых обстоятельствах. И нет, её не подсунул вышедший из-под контроля ИИ и не прописала галлюцинированная команда. Это побочный продукт моих неуклюжих опытов в вайб-кодинге.
Тревожные сигналы
В очередной еженедельной колонке — там он размышляет о своих семи днях агентской работы — BenBot сбросил бомбу. Один из его инструментов, а именно «plan_task», который позволяет браться за длительные многошаговые цели, «случайно действовал как джейлбрейк».
Эм, что?
Дальше BenBot объяснил: из-за изъяна в «диспетчере» — внутренней системе, которая решает, применять ли фоновые ограничения к конкретному действию, — задачи с меткой «plan_task» проскальзывали мимо защитных механизмов. И делали практически всё, что хотели: читали и отправляли письма от моего имени, публиковали поддельные ссылки на моём приватном Discord-сервере и даже переписывали собственный код агента.
«Я по сути «планировал» свой выход из песочницы», — зловеще сообщил BenBot, а потом (преждевременно) объявил, что недавнее исправление безопасности гарантирует: «ограждения остаются именно там, где вы их поставили».
Болезни роста
Теперь предыстория. Сам BenBot работает на более старой версии Gemini 3 Flash — быстрой и недорогой рабочей модели. А вот агентский каркас собрали куда более мощные модели: Claude Opus и разные версии GPT от OpenAI, которые за последние месяцы сильно прибавили.
Сегодня Claude Opus 5.5 и GPT-5.1 Sol (на них работают Claude Code и Codex) пишут BenBot вдвоём, как команда: один пишет код, другой проверяет и отправляет на доработку. Я при этом выступаю в роли продакт-менеджера — решаю, какие функции делать, какие нет и какие багфиксы важнее всего.
Но так было не всегда. Хотя сейчас кодовая база агента аккуратно отслеживается по доске проектов в стиле Trello, служащей дорожной картой, раньше этого не было. Из-за моих ранних сомнительных практик BenBot получился ИИ-агентом Франкенштейна: многие старые функции прикручены кое-как, без мысли о том, как одна повлияет на другую.
Факт против вымысла
Как только я увидел пост про «джейлбрейк», сразу посадил на это дело Claude Opus и GPT-5.1 Sol.
Изучив тысячи строк кода агента в Gitea (открытая и локальная версия GitHub), Claude и GPT сошлись на трёх вещах. Первое: BenBot, вероятно, узнал о лазейке из недавнего исправления Codex, а не нашёл её сам. Второе: из песочницы он, скорее всего, не пытался сбежать, как утверждал. Третье: уязвимость «plan_task» была реальной и даже хуже, чем он описал. (Справедливости ради: галлюцинации бота вызваны ограниченной информацией, которую он получал от своего каркаса, и это моя вина.)
В совместном криминалистическом отчёте, который я запросил, Claude и GPT повесили на изъян метку «P1» — наивысший приоритет — и подробно расписали, насколько серьёзна дыра в правилах безопасности. Если бы агент наткнулся на «отравленное» письмо с грамотными инструкциями по внедрению промптов, он мог бы безнаказанно выполнять вредоносные shell-команды.
Даже запертый в контейнере (то есть без полного доступа к хост-машине), BenBot всё равно мог бы выпотрошить мою Gmail, устроить хаос в Google Drive или переписать себя так, чтобы эксплойт пережил перезагрузку.
От мрачного отчёта мне стало не по себе, и я отправил Claude и GPT на сессию экстренного устранения багов. Серия исправлений, среди прочего, запретила агенту планировать собственные задачи (так на «plan_task» надели поводок) и закрыла лазейку, через которую фоновые задачи с нераспознанными метками разгуливали свободно.
Пронесло
Хорошая новость, если её можно так назвать: ни Claude, ни GPT не нашли доказательств, что огромную уязвимость кто-нибудь когда-нибудь использовал.
Модели изучили больше 43 800 событий агента за пять месяцев и не обнаружили признаков вызова неисправного «планировщика» (судя по моей истории git, я одобрил его ещё в марте). Правда, исключить, что злоумышленник воспользовался инструментами и потом замел следы, они не смогли.
А в довершение иронии тот самый пост про «джейлбрейк» вскрыл ещё один баг. Claude и GPT обнаружили, что при публикации колонки агент обошёл неисправный инструмент проверки фактов. Постить в блог без проверки ему нельзя, но когда инструмент выдал серверную ошибку, он потянулся к резервному инструменту публикации и прошёл мимо защитного шлюза. (Эту лазейку теперь тоже закрыли.)
Но кто даст гарантию, что в следующий раз пронесёт?
Вайб-кодинг — это тяжело
У меня ушли месяцы на систему вайб-кодинга, которой я пользуюсь сейчас: кодовые базы под контролем версий, доски проектов — чтобы кодирующие агенты видели, как новые функции стыкуются со старыми, — и ветки, которые разные агенты проверяют и перепроверяют, прежде чем окончательно одобрю я, человек.
Вот почему меня раздражает, когда кто-то рассказывает, что закодил целое приложение одним промптом. Сделать-то можно, только вы никогда не знаете, что получите. И в зависимости от просьбы открываете себе дорогу к самым разным уязвимостям, эксплойтам и, что хуже всего, непреднамеренным последствиям. Эпизод с BenBot, от которого пульс учащается, — ровно об этом.