Эту статью подготовила для вас компания VicOne.
VicOne нашла 28 уязвимостей нулевого дня меньше чем за два дня. Искали с помощью ИИ в софте и инструментах, на которых держится экосистема Physical ИИ. Среди затронутых проектов — решения, которые разрабатывает или поддерживает Google, NVIDIA, Meta и другие.
По итогам первичной проверки все 28 находок отнесли к уязвимостям нулевого дня. Их число может измениться после проверки поставщиком и органом по уязвимостям, а у части находок пока нет номеров CVE.
Многие из этих инструментов помогают командам обучать, симулировать, тестировать роботов и управлять ими. Слабости в них бьют по моделям, которые строят команды, по результатам тестов, которым они доверяют, и по командам, которые уходят на робота.
Отсюда два требования к робототехническим командам: реагировать — раз ИИ помогает находить слабости быстрее, — и оценивать, как каждая из них скажется на безопасности и работе роботов.
Что ИИ меняет в поиске уязвимостей
Обнаружение уязвимостей — это изучение кода, отслеживание того, как системы взаимодействуют, и проверка того, можно ли на деле эксплуатировать предполагаемую слабость. ИИ ускоряет часть этой работы: исследователи успевают просмотреть больше софта за меньшее время. Злоумышленники могут использовать те же возможности.
Когда слабость — нулевой день, то есть о ней раньше не знали и исправления нет, быстрое обнаружение оставляет командам мало времени на реакцию. Сама по себе такая уязвимость не значит, что атака уже произошла. Но командам всё равно нужно понять, используют ли они затронутый софт, к чему злоумышленник мог бы получить доступ и что стоит поменять.
Где находки в жизненном цикле робота
Находки VicOne охватывают три этапа: разработка и обучение, симуляция и валидация, развёртывание и работа в реальном времени. Слабости на каждом этапе влияют на то, чему учится робот, как его тестируют и как им управляют.
Рисунок 1. В этом исследовательском наборе 75% находок касались инструментов разработки, обучения, симуляции или валидации — то есть рисков, которые возникают ещё до развёртывания робота. VicOne
Сценарии ниже показывают, как скомпрометированный компонент влияет на робота на каждом этапе.
- Разработка и обучение: скрытые изменения доходят до готового робота
Команда загружает предварительно обученную модель, чтобы адаптировать её под своего робота. Вредоносный файл даёт злоумышленнику доступ к системе обучения — и тот меняет обучающие данные или саму модель. Подменённая модель ведёт себя нормально при рутинном тестировании, но неправильно реагирует на конкретный объект, сцену или команду после развёртывания. Риск проникает через инструмент, которому команда доверяет, ещё до того, как кто-то атакует робота напрямую.
- Симуляция и валидация: пройденный тест даёт ложную уверенность
Импорт скомпрометированной сцены или модели робота открывает злоумышленнику доступ к среде симуляции. Получив достаточный контроль, он мог бы изменить показания симулированных датчиков, физические условия или результаты тестов. Робот тогда выглядел бы прошедшим проверки, которые должны были выявить небезопасное поведение. Команда одобрила бы его для реального мира на основании вводящих в заблуждение доказательств.
- Развёртывание и работа в реальном времени: операторы теряют видимость и контроль
Злоумышленник мог бы через слабости изменить файлы, влияющие на планирование движения, или отправить вредоносные данные карты, которые обрушат мониторинговый дисплей оператора. Компрометация компьютера удалённого управления поставила бы под угрозу команды, отправляемые роботу. В зависимости от системы и её средств защиты такие слабости могли бы изменить движение робота или оставить операторов без картинки — и без возможности быстро среагировать.
Это потенциальные последствия, а не продемонстрированные результаты по каждой находке. Реальный эффект зависит от доступа злоумышленника, устройства системы и от того, не блокируют ли другие средства защиты изменения на пути к физическому поведению.
В отдельной демонстрации исследователи VicOne показывают конкретный пример слабости, которая затрагивает защитную функцию. Они эксплуатировали уязвимость, чтобы нарушить работу команды дистанционной остановки робота. Этот случай объясняет, почему командам нужно проверять, остаются ли средства защиты эффективными, когда поддерживающий их софт скомпрометирован.
Видео 1. Исследователи VicOne демонстрируют уязвимость, которая мешает работе команды дистанционной остановки робота. VicOne
Патч вышел — но безопасность ещё нужно доказать
ИИ сокращает поиск слабостей, но команде всё равно нужно решить, безопасно ли развёртывать исправление. Даже когда сопровождающий софт выпускает патч, командам приходится определять затронутые системы, проверять совместимость и убеждаться, что обновление сохраняет задуманное поведение.
Ранее успешный тест остаётся полезным доказательством. Но вновь найденная слабость может вскрыть условия, которые этот тест никогда не проверял.
Три вопроса помогут командам отреагировать:
- Где мы используем затронутый софт? Сюда входят компьютеры обучения, среды симуляции и развёрнутые роботы.
- Что могла бы изменить слабость? Оцените, влияет ли она на модели, результаты тестов, видимость оператора или поведение робота.
- Как мы проверяем защиту? Подтвердите, что исправление закрывает слабость и что обновлённая система по-прежнему работает как задумано.
Когда немедленное обновление невозможно, командам нужны временные меры: например, ограничить доступ к затронутому сервису, пока готовится проверенное исправление.
От находок — к более безопасному развёртыванию
По мере того как детали 28 находок раскрываются в рамках скоординированного раскрытия, производителям робототехники стоит связать каждую находку с её потенциальным влиянием на разработку, развёртывание и поведение робота.
Эта работа требует и понимания того, как угрозы влияют на поведение робота, и умения защищать системы, которые уже в эксплуатации. VicOne Radeis помогает командам выявлять потенциальные уязвимости нулевого дня, оценивать безопасность моделей ИИ и систем и прогонять симуляцию, чтобы понять, как эти риски скажутся на поведении робота ещё до развёртывания. VicOne Rthena поддерживает обнаружение угроз и реагирование в рамках утверждённых политик во время работы.
Рисунок 2. Кибербезопасность укрепляет доказательства безопасности роботов на протяжении всего жизненного цикла. VicOne помогает командам проверять пределы безопасности на устойчивость к манипуляциям до развёртывания и отслеживать условия, лежащие в основе безопасного поведения, в эксплуатации. VicOne
Быстрое обнаружение уязвимостей имеет смысл, когда команды превращают находки в действия: определяют, что требует внимания, убеждаются, что средства защиты по-прежнему работают, и подтверждают, что исправление не приносит новых рисков. Именно так кибербезопасность укрепляет безопасность роботов по мере того, как системы продолжают меняться.
Хотите глубже понять, как кибербезопасность влияет на безопасность роботов? Скачайте нашу белую книгу «Why Robot Safety Depends on Cybersecurity: Protecting the Information That Safety Decisions Rely On».
VicOne — компания по кибербезопасности Physical ИИ. Она защищает транспортные средства и роботов от киберугроз, которые могут менять поведение и ставить под угрозу безопасность. Штаб-квартира — в Токио, Япония. Компания предоставляет автомобильным и робототехническим организациям софт и услуги для раннего выявления киберрисков, оценки их потенциального влияния на безопасность и защиты систем в эксплуатации — чтобы поведение оставалось безопасным и надёжным в реальных развёртываниях.