Ноутбук для локального ШІ: скільки пам'яті, GPU і NPU насправді потрібно

Моделі ШІ на власному ноутбуці зберігають приватність даних, працюють офлайн і не коштують нічого за кожен запит. Для цього важливі зовсім не ті характеристики, що зазвичай.

Головне обмеження — пам'ять

Модель має вміститися в пам'ять. Приблизне правило для 4-бітних квантованих моделей, звичного формату для локального запуску: близько 0,6 ГБ на мільярд параметрів, плюс запас на контекст:

Два способи отримати цю пам'ять

• Дискретна відеокарта (NVIDIA RTX): дуже швидко, але все впирається у VRAM. Наприклад, 8 ГБ у ноутбуці з RTX 5060 і 16–24 ГБ у топових моделях.
• Спільна пам'ять (Apple M-series, AMD Ryzen AI Max): CPU і GPU користуються одним великим обсягом. Токени генеруються повільніше, ніж на топовій відеокарті, зате можна завантажувати значно більші моделі. Машина з 64–128 ГБ спільної пам'яті запускає моделі на 70B, які не потягне жодна ноутбучна відеокарта.

Де стає в пригоді NPU

NPU, як-от у ПК Copilot+ із продуктивністю від 40 TOPS, ефективні для невеликих фонових завдань: розмиття фону, живих субтитрів і малих моделей на пристрої. Для великих мовних моделей більшість інструментів сьогодні все ще використовує GPU.

Що купувати

• Цікаво спробувати: 16 ГБ ОЗП вистачить для моделей на 7–8B.
• Серйозне хобі або розробка: 32 ГБ спільної пам'яті або RTX із VRAM від 12 ГБ.
• Великі моделі: 64–128 ГБ спільної пам'яті.

Також зважте на швидкий SSD від 1 ТБ, бо кожен файл моделі важить кілька гігабайтів, і на хороше охолодження, бо тривала генерація сильно навантажує ноутбук. Безкоштовні інструменти на кшталт LM Studio чи Ollama дозволять почати за кілька хвилин.