Я уже использую локальную LLM (large language model, большая языковая модель) в Home Assistant, чтобы обрабатывать запросы, которые не понимают встроенные голосовые команды. Большая часть того, что я говорю, всё ещё проходит через обычное сопоставление интентов. Но когда LLM берётся за более сложные фразы, система становится заметно удобнее: я говорю как привык, а она сама подбирает существующую рутину — точную команду запоминать не нужно. И как только это заработало, следующий шаг кажется очевидным: дать локальной модели больше контроля над автоматизациями.
Проблема в том, что от интерпретации модели зависит, что произойдёт в доме. А локальная LLM не всегда точна — и не сказать, что блещет умом. Она ошибалась у меня много раз. Иногда это мелочи: прошу выключить лампы — гаснет весь свет. При том что имена я использую ровно те, которые сам и назначил. Таких случаев накопилось столько, что пришлось добавить ограничители.
Подключить модель проще, чем кажется
Я запускаю Qwen3 1.7B на своём Mac, а Home Assistant живёт на отдельной машине. Работать на одном железе не обязательно: модель можно отдавать в локальную сеть и слать к ней запросы через интеграцию разговора.
Ollama — один из способов так сделать. Запускаете модель на Mac, открываете сервер в локальной сети и добавляете интеграцию Ollama в Home Assistant через Settings > Devices & services. Раз обе системы на разных машинах, адрес сервера должен указывать на локальный IP-адрес вашего Mac. Дальше выбираете модель и указываете её как агента разговора в конфигурации голосового ассистента.
Опция интеграции «Control Home Assistant» позволяет модели использовать инструменты Home Assistant для работы с сущностями, которые вы открыли для Assist. Это могут быть лампы в спальне, отдельные лампы, вентиляторы и термостаты. Модель разбирает ваш запрос, выбирает инструмент и его параметры, а Home Assistant выполняет команду.
Существующие рутины тоже можно открыть — через скрипты. Скажем, скрипт отхода ко сну выключает телевизор и свет в гостиной, а свет в ванной оставляет включённым ещё ненадолго. Открыв этот скрипт, вы даёте модели способ запустить всю последовательность, когда просите подготовить дом ко сну. Описание скрипта объясняет, что делает рутина и когда её применять.
Я дал своей модели доступ ко многим вещам. Так она обрабатывает больше запросов, но у системы с 1,7 млрд параметров появляется больше устройств и действий, из которых надо выбирать каждый раз, когда я о чём-то прошу.
Самые раздражающие ошибки — самые простые
Хуже всего там, где команда должна быть элементарной. Прошу выключить лампы — гаснет весь свет. Имена я использую ровно те, что назначил сам, так что сделать конкретный запрос понятнее уже нечем. И всё же это случается достаточно часто, чтобы приходилось следить, что ассистент сделал на самом деле.
Бывало и так, что вопрос превращался в действие. Вопрос «включён ли свет?» должен вернуть состояние, а модель вместо этого запустила мой помощник «Good night». Область действия — ещё одна повторяющаяся проблема. Запрос про свет в одной комнате в итоге затрагивает свет во всём доме. Включить всё обратно тоже не отменяет ошибку как следует: часть ламп уже была выключена.
Есть и запросы, где ассистент не делает вообще ничего. Однажды он прочитал вслух синтаксис вызова функции вместо того, чтобы выполнить действие. Большинство таких ошибок не критичны и случаются не постоянно. Но когда случаются — отбрасывают назад и заставляют исправлять то, что сломала команда. А если это сложная автоматизация вроде ночной рутины, вы только что получили целую работу перед сном. Со мной такое было не раз.
Ограничители: теперь я осторожен с доступами
После достаточно многих таких ошибок я наконец начал добавлять ограничители. Первый вывод: просто сказать модели «не делай этого» недостаточно. Можно добавить в системный промпт строку, запрещающую выключать весь свет в доме без явной просьбы, — но вы всё равно полагаетесь на ту же LLM в том, что она правильно поймёт инструкцию. Если хотите что-то предотвратить, встраивайте ограничения в инструменты и автоматизации, которые реально выполняют команды.
Сначала я ограничил то, к чему у модели есть доступ в Home Assistant. Сам Home Assistant советует открывать меньше 25 сущностей, пока экспериментируешь с локальными моделями, — хорошая отправная точка. Я оставил ей свет, устройства и рутины, которыми пользуюсь регулярно. А зачем давать доступ ко всему дому? Осторожнее стоит быть и со скриптами и помощниками: безобидный на вид скрипт может запустить несколько других автоматизаций, и вы фактически отдаёте ассистенту контроль над большим количеством устройств, чем собирались.
Ещё помогло использовать готовые скрипты для всего, что связано с несколькими устройствами. Вот моя рутина отхода ко сну. Вместо того чтобы модель решала, какой свет выключить, какую температуру выставить и сколько должен гореть свет в ванной, я вызываю скрипт, который делает всё это сам. Ей остаётся распознать мой запрос и запустить скрипт. Остальное идёт в той последовательности, которую я уже определил и протестировал.
Конечно, слепо доверять каждой команде, которую модель отправляет скрипту, тоже не стоит. Я обнаружил, что важно ограничивать и то, что эти инструменты могут делать. Скажем, инструмент термостата можно настроить так, чтобы он отклонял температуры за пределами заданного диапазона, а инструмент освещения — чтобы принимал команды только для конкретной комнаты. Ключевой момент: проверки должны жить в самом скрипте или инструменте. Для более чувствительных действий я предпочту требовать подтверждения через доверенный интерфейс или просто не давать модели доступа к этим элементам управления.
Модель на поводке
Удобство естественного разговора с домом я по-прежнему ценю, но неограниченный контроль этой LLM не доверю: ошибки слишком часты. Если пробуете что-то подобное, сначала решите, чем именно она может управлять, и только потом расширяйте доступ.