Скільки відеопам'яті потрібно, щоб запускати ШІ локально

Перше питання перед запуском чат-бота на власному ПК — «а воно влізе?». Для локального ШІ відеопам'ять (VRAM) важить більше майже за будь-яку іншу характеристику: якщо модель уміщається в пам'ять відеокарти, вона працює швидко; якщо ні — повзе або взагалі не завантажується. Ось як порахувати потрібний обсяг за п'ять кроків — на реальних прикладах і без вгадування.

Порахуйте параметри

Розмір моделі видно з назви: Llama 3.1 8B має близько 8 млрд параметрів, Qwen 32B — близько 32 млрд. Кожен параметр — це число, яке має лежати в пам'яті, поки модель працює.

Окремо про моделі mixture-of-experts (MoE). Для кожного токена вони задіюють лише частину параметрів, тому працюють швидко, але завантажити доводиться всі. Наприклад, gpt-oss-20b від OpenAI має близько 21 млрд параметрів загалом і лише близько 3,6 млрд активних на токен. Плануючи пам'ять, рахуйте загальну кількість.

Оберіть точність (квантування)

Моделі навчають у 16-бітній точності, але для домашнього використання зазвичай завантажують квантовану версію, де кожен параметр займає менше бітів. Правило просте: пам'ять для ваг ≈ параметри × біти ÷ 8.

4 біти — звичайний компроміс для дому: втрата якості для більшості завдань у чаті й програмуванні невелика, а пам'яті потрібно приблизно вчетверо менше, ніж у 16 бітах. Нижче 4 бітів економія більша, але якість падає швидше, особливо в невеликих моделей.

Додайте пам'ять на контекст (KV-кеш)

Генеруючи текст, модель тримає KV-кеш — робочу пам'ять розмови. Він росте з кожним токеном контекстного вікна, і на довгих документах може зрівнятися з розміром самої моделі.

Обсяг залежить від архітектури: 2 × шари × KV-голови × розмір голови × байти на значення — на кожен токен. Два приклади для 16 біт:

• Llama 3.1 8B (32 шари, 8 KV-голів, розмір голови 128): близько 128 КБ на токен. Це приблизно 1 ГБ на 8 тис. токенів, 4 ГБ на 32 тис. і 16 ГБ на повні 128 тис.
• Llama 3.1 70B (80 шарів, 8 KV-голів, розмір голови 128): близько 320 КБ на токен — приблизно 2,5 ГБ на 8 тис. і 10 ГБ на 32 тис.

Тому виробник відеокарт може казати, що моделі 8B із контекстом 128 тис. потрібна карта на 32 ГБ, хоча сама 4-бітна модель важить менше 5 ГБ. Якщо величезні документи вам не потрібні, обмежте контекст у застосунку (Ollama, LM Studio й llama.cpp це дозволяють) — і заощадите чимало пам'яті. Багато інструментів також уміють зберігати KV-кеш у 8 бітах, що вдвічі зменшує його.

Залиште запас

Додайте 10–20% зверху на середовище виконання, тимчасові буфери, а на настільному ПК — ще й на те, що вже займають екран та інші програми. Модель, яка «впритул» влазить на папері, на практиці часто не завантажується.

Якщо пам'яті забракне, інструменти на кшталт llama.cpp можуть винести частину шарів в оперативну пам'ять і на процесор. Модель запрацює, але кожен токен чекатиме на повільнішу пам'ять; ASUS, наприклад, каже, що швидкість інференсу тоді може впасти до 90%. Для знайомства з моделлю це прийнятно, для щоденної роботи — ні.

Підберіть модель під відеокарту

Якщо звести все разом для 4-бітних моделей і помірного контексту близько 8 тис. токенів:

Кілька практичних нюансів:

• Дві відеокарти можуть ділити одну модель у llama.cpp, vLLM та подібних інструментах, тож 2 × 16 ГБ потягнуть те саме, що й 32 ГБ, — лише трохи повільніше за одну карту.
• Спільна (уніфікована) пам'ять у Mac на Apple M-серії та AMD Ryzen AI Max дає GPU змогу використовувати значну частину оперативної пам'яті. Машина на 64 чи 128 ГБ завантажить моделі 70B, які не вмістить жодна споживча відеокарта, хоча генеруватиме повільніше за топовий GPU.
• Підтримка програм важить не менше за гігабайти. CUDA від Nvidia працює майже з усім; карти AMD та Intel уже підтримують llama.cpp, Ollama й інші, але свій улюблений застосунок краще перевірити заздалегідь.

Якщо купуєте залізо саме для цього, наш гід із вибору ноутбука для локального ШІ розповідає про ноутбуки та NPU, а гід із вибору відеокарти — про живлення, габарити й інші характеристики. Тільки починаєте? Почніть із пояснення, що таке відкриті (open-weight) моделі ШІ. Свіжий приклад карти, побудованої навколо пам'яті, — ASUS UGen Arc Pro B70 на 32 ГБ.