Ставка на открытые веса
NVIDIA явно ускоряется в сторону моделей с открытыми весами — особенно после сделки о покупке Hugging Face, огромного хранилища именно таких ИИ-моделей.
Свежий пример: компания представила сразу три открытые модели. Nemotron 3.5 Super VL на 120 млрд параметров — для координации постоянно работающих агентов. Nemotron 3.5 Bolt 74B-A9B 24GB — для локальных агентных нагрузок. И Nemotron 3.5 Bolt E4B 4GB — для быстрых разговорных агентов.
Super VL: пятая часть параметров старшей модели
Nemotron 3.5 Super VL — открытая модель на 120 млрд параметров, рассчитанная на специализированные агенты, которые работают без остановки. Разработчик утверждает, что она даёт «ведущую точность» на мультимодальных агентных задачах: следование инструкциям, вызов инструментов, визуальное понимание, многошаговые бизнес-процессы. Результат при этом сопоставим с крупнейшей моделью рассуждений NVIDIA — примерно при одной пятой числа параметров.
Компания также называет её самой быстрой открытой агентной моделью в классе: работает примерно в пять раз быстрее ближайшего конкурента, чего хватает для крупнообъёмных корпоративных задач.
С визуальной частью тоже порядок: OCR, таблицы, диаграммы, структурированные данные внутри веб-страниц и PDF. Понимание текста и картинок вместе позволяет агенту вытащить текст, прочитать график и сделать вывод — без маршрутизации задач между отдельными системами.
Предприятия могут дообучить модель на своих проприетарных данных, инструментах и процессах, а потом развернуть на удобной инфраструктуре — ради приватности и контроля.
NVIDIA отдаёт открытые веса, датасеты и рецепты обучения. Nemotron 3.5 Super VL уже обучена более чем на 25 трлн токенов и около 4 млн образцов постобучения. Работает на всём железе вендора — DGX Spark, DGX Station, Jetson и в облаке — и поставляется как готовый к продакшену микросервис через NVIDIA NIM.
Bolt 74B-A9B: 24 ГБ памяти и 2-битная квантизация
Nemotron 3.5 Bolt 74B-A9B 24GB — edge-модель под локальные агентные нагрузки. Она построена на архитектуре Super VL, это гибридная mixture-of-experts (MoE): 74 млрд параметров, но за раз активируется только 9 млрд.
Главное — 2-битная квантизация: модель помещается в 24 ГБ памяти. Получается баланс между скоростью и «интеллектом» для повседневных локальных задач — многошаговых рассуждений, веб-браузинга и вызова инструментов.
Пользователи могут делегировать ей задачи локально — от подбора комплектующих для ПК до написания и отладки кода — и ничего не отправлять в облако. Модель заточена под RTX Spark и DGX Spark 64GB, доступна на Hugging Face, а поддержку обеспечивают vLLM, Ollama, LM Studio и llama.cpp.
Bolt E4B 4GB: для разговорных агентов
Nemotron 3.5 Bolt E4B 4GB — тоже edge-модель, но под быстрых физических и разговорных агентов. Работает на GeForce RTX, Jetson и RTX/DGX Spark. Она хорошо сочетает естественный диалог с многоходовым использованием инструментов, следованием инструкциям и привязкой к состоянию приложения. Отсюда и применения: встраиваемые интерфейсы, интерактивные персонажи, быстрые локальные голосовые ассистенты и ассистенты в устройствах.
Опыт Lightning: токенов вчетверо больше, а ускорение — только на 30%
Nemotron 3.5 Lightning вышла ещё в августе. Что она дала на практике? NVIDIA заявляла, что модель генерирует токены в 4 раза быстрее «моделей аналогичного размера», но на реальных агентных задачах это обернулось ускорением всего на 30%. Иными словами, вывод токенов учетверился, а отдача в агентных сценариях оказалась убывающей.
Все три новые модели во многом наследуют архитектуру Lightning: гибридный mamba transformer, предсказание нескольких токенов, латентную структуру MoE и спекулятивное декодирование.