Открытая NVIDIA Nemotron 3.5 Bolt 74B помещается в 24 ГБ для локальных ИИ-агентов

За два дня до старта продаж ноутбуков RTX Spark (16 октября) NVIDIA рассказала, какой софт хочет на них видеть. Главная новинка — открытая модель Nemotron 3.5 Bolt 74B. По словам компании, её создали специально для того, чтобы ИИ-агенты работали локально, а не в облаке.

74 млрд параметров в 24 ГБ

Bolt 74B — модель типа mixture-of-experts на 74 млрд параметров, из которых на каждый токен активны около 9 млрд. NVIDIA укладывает её в 24 ГБ благодаря 2-битному квантованию с quantization-aware обучением, которое должно сохранить качество даже при такой низкой точности. Компания утверждает, что модель быстрее большинства популярных «плотных» моделей и умнее большинства MoE с похожим объёмом памяти. Это сравнение от самой NVIDIA, независимых тестов мы пока не видели.

Релиз — в четверг, 15 октября. С первого дня модель будет работать в llama.cpp, vLLM, Ollama, Unsloth и LM Studio, а также будет доступна прямо в агентских приложениях Hermes и OpenClaw. Как и другие Nemotron, она полностью открыта: публикуются веса, обучающие данные и рецепты тренировки.

PAIR вышел из беты

NVIDIA PAIR — бесплатный open-source «персональный ИИ-роутер» — больше не бета. Он сам находит совместимые компьютеры в локальной сети, устанавливает модели и движки инференса и распределяет между ними ИИ-нагрузку. Версия 1.0 добавляет поддержку llama.cpp, загрузку моделей напрямую с Hugging Face, гибкие настройки движков и поддержку RTX Spark. PAIR работает на Windows, Linux и macOS.

Более безопасные агенты и гибридная маршрутизация

Отдельно NVIDIA сделала акцент на изоляции локальных агентов. OpenShell работает поверх Microsoft Execution Containers (MXC) и добавляет защиту учётных данных и мониторинг безопасности. OpenClaw и GitHub Copilot уже поддерживают MXC, Hermes добавит её до конца октября. Для тех, кто совмещает локальные и облачные модели, есть открытая библиотека Switchyard: она решает, куда отправить каждый запрос — в локальную или облачную LLM. Hermes планирует подключить её позже в этом месяце.

Что ещё на подходе

• Broadcast 2.3 уже вышел: Video Super Resolution, Frame Generation, офлайн-обработка файлов и MCP-сервер для управления агентами.
• Nemotron 3.5 Bolt E4B 4GB, небольшая модель для ИИ-персонажей в играх, выйдет 23 октября вместе со SkyrimNET.
• Llama.cpp теперь поддерживает быстрые «модели решений» и получил приложение в трее Windows.

Сколько памяти на самом деле нужно локальным моделям, объясняем в гайде по выбору ноутбука для локального ИИ.