Сколько видеопамяти нужно, чтобы запускать ИИ локально

Первый вопрос перед запуском чат-бота на своем ПК — «а оно влезет?». Для локального ИИ видеопамять (VRAM) важнее почти любой другой характеристики: если модель помещается в память видеокарты, она работает быстро; если нет — ползет или вообще не загружается. Вот как посчитать нужный объем за пять шагов — на реальных примерах и без гаданий.

Посчитайте параметры

Размер модели виден из названия: у Llama 3.1 8B около 8 млрд параметров, у Qwen 32B — около 32 млрд. Каждый параметр — это число, которое должно лежать в памяти, пока модель работает.

Отдельно о моделях mixture-of-experts (MoE). Для каждого токена они задействуют лишь часть параметров, поэтому работают быстро, но загрузить приходится все. Например, у gpt-oss-20b от OpenAI около 21 млрд параметров всего и лишь около 3,6 млрд активных на токен. При планировании памяти считайте общее количество.

Выберите точность (квантование)

Модели обучают в 16-битной точности, но для домашнего использования обычно скачивают квантованную версию, где каждый параметр занимает меньше бит. Правило простое: память для весов ≈ параметры × биты ÷ 8.

4 бита — обычный компромисс для дома: потеря качества для большинства задач в чате и программировании небольшая, а памяти нужно примерно вчетверо меньше, чем в 16 битах. Ниже 4 бит экономия больше, но качество падает быстрее, особенно у небольших моделей.

Добавьте память на контекст (KV-кэш)

Генерируя текст, модель держит KV-кэш — рабочую память разговора. Он растет с каждым токеном контекстного окна и на длинных документах может сравняться с размером самой модели.

Объем зависит от архитектуры: 2 × слои × KV-головы × размер головы × байты на значение — на каждый токен. Два примера для 16 бит:

• Llama 3.1 8B (32 слоя, 8 KV-голов, размер головы 128): около 128 КБ на токен. Это примерно 1 ГБ на 8 тыс. токенов, 4 ГБ на 32 тыс. и 16 ГБ на полные 128 тыс.
• Llama 3.1 70B (80 слоев, 8 KV-голов, размер головы 128): около 320 КБ на токен — примерно 2,5 ГБ на 8 тыс. и 10 ГБ на 32 тыс.

Поэтому производитель видеокарт может говорить, что модели 8B с контекстом 128 тыс. нужна карта на 32 ГБ, хотя сама 4-битная модель весит меньше 5 ГБ. Если огромные документы вам не нужны, ограничьте контекст в приложении (Ollama, LM Studio и llama.cpp это позволяют) — и сэкономите немало памяти. Многие инструменты также умеют хранить KV-кэш в 8 битах, что вдвое его уменьшает.

Оставьте запас

Добавьте 10–20% сверху на среду выполнения, временные буферы, а на настольном ПК — еще и на то, что уже занимают экран и другие программы. Модель, которая «впритык» помещается на бумаге, на практике часто не загружается.

Если памяти не хватит, инструменты вроде llama.cpp могут вынести часть слоев в оперативную память и на процессор. Модель заработает, но каждый токен будет ждать более медленную память; ASUS, например, говорит, что скорость инференса тогда может упасть до 90%. Для знакомства с моделью это приемлемо, для ежедневной работы — нет.

Подберите модель под видеокарту

Если свести все вместе для 4-битных моделей и умеренного контекста около 8 тыс. токенов:

Несколько практических нюансов:

• Две видеокарты могут делить одну модель в llama.cpp, vLLM и похожих инструментах, так что 2 × 16 ГБ потянут то же, что и 32 ГБ, — лишь немного медленнее одной карты.
• Общая (унифицированная) память в Mac на Apple M-серии и AMD Ryzen AI Max позволяет GPU использовать значительную часть оперативной памяти. Машина на 64 или 128 ГБ загрузит модели 70B, которые не поместит ни одна потребительская видеокарта, хотя генерировать будет медленнее топового GPU.
• Поддержка программ важна не меньше гигабайтов. CUDA от Nvidia работает почти со всем; карты AMD и Intel уже поддерживаются в llama.cpp, Ollama и других, но свое любимое приложение лучше проверить заранее.

Если покупаете железо именно для этого, наш гид по выбору ноутбука для локального ИИ рассказывает о ноутбуках и NPU, а гид по выбору видеокарты — о питании, габаритах и других характеристиках. Только начинаете? Начните с объяснения, что такое открытые (open-weight) модели ИИ. Свежий пример карты, построенной вокруг памяти, — ASUS UGen Arc Pro B70 на 32 ГБ.