Відкрита NVIDIA Nemotron 3.5 Bolt 74B вміщується у 24 ГБ для локальних ШІ-агентів

За два дні до старту продажів ноутбуків RTX Spark (16 жовтня) NVIDIA розповіла, яке ПЗ хоче на них бачити. Головна новинка — відкрита модель Nemotron 3.5 Bolt 74B. За словами компанії, її створили саме для того, щоб ШІ-агенти працювали локально, а не в хмарі.

74 млрд параметрів у 24 ГБ

Bolt 74B — модель типу mixture-of-experts на 74 млрд параметрів, з яких на кожен токен активні близько 9 млрд. NVIDIA вміщує її у 24 ГБ завдяки 2-бітному квантуванню з quantization-aware навчанням, яке має зберегти якість навіть за такої низької точності. Компанія стверджує, що модель швидша за більшість популярних «щільних» моделей і розумніша за більшість MoE з подібним обсягом пам'яті. Це порівняння від самої NVIDIA, незалежних тестів ми поки не бачили.

Реліз — у четвер, 15 жовтня. Від першого дня модель працюватиме в llama.cpp, vLLM, Ollama, Unsloth та LM Studio, а також буде доступна просто в агентських застосунках Hermes і OpenClaw. Як і інші Nemotron, вона повністю відкрита: публікують ваги, навчальні дані й рецепти тренування.

PAIR вийшов з бети

NVIDIA PAIR — безкоштовний open-source «персональний ШІ-роутер» — більше не бета. Він сам знаходить сумісні комп'ютери в локальній мережі, встановлює моделі й рушії інференсу та розподіляє між ними ШІ-навантаження. Версія 1.0 додає підтримку llama.cpp, завантаження моделей напряму з Hugging Face, гнучкі налаштування рушіїв і підтримку RTX Spark. PAIR працює на Windows, Linux та macOS.

Безпечніші агенти й гібридна маршрутизація

Окремо NVIDIA наголосила на ізоляції локальних агентів. OpenShell працює поверх Microsoft Execution Containers (MXC) і додає захист облікових даних та моніторинг безпеки. OpenClaw і GitHub Copilot вже підтримують MXC, Hermes додасть її до кінця жовтня. Для тих, хто поєднує локальні й хмарні моделі, є відкрита бібліотека Switchyard: вона вирішує, куди відправити кожен запит — до локальної чи хмарної LLM. Hermes планує підключити її пізніше цього місяця.

Що ще на підході

• Broadcast 2.3 вже вийшов: Video Super Resolution, Frame Generation, офлайн-обробка файлів і MCP-сервер для керування агентами.
• Nemotron 3.5 Bolt E4B 4GB, мала модель для ШІ-персонажів в іграх, вийде 23 жовтня разом зі SkyrimNET.
• Llama.cpp тепер підтримує швидкі «моделі рішень» і має застосунок у треї Windows.

Скільки пам'яті насправді потрібно для локальних моделей, пояснюємо в гайді з вибору ноутбука для локального ШІ.