Що таке NPU? TOPS, AI-ПК і коли нейропроцесор справді корисний

Майже кожен новий ноутбук і смартфон тепер рекламує NPU і число в TOPS. Маркетинг подає це як найважливішу частину чипа. Насправді NPU — вузький спеціаліст: дуже добре робить кілька речей і зовсім не впливає на багато інших. У цьому гіді пояснюємо, що це таке, як читати цифри і коли це важливо.

Що таке NPU

NPU (neural processing unit, нейропроцесор) — це блок кремнію, створений для математики нейромереж. Здебільшого це величезна кількість множень і додавань над матрицями чисел. CPU теж це вміє, але він створений для різноманітних завдань, які виконує одне за одним. GPU робить це швидко, але споживає багато енергії. NPU виконує одну вузьку роботу з мінімальними витратами енергії.

У споживчих пристроях NPU рідко буває окремим чипом. Зазвичай він розташований усередині основного процесора поруч з ядрами CPU і GPU. Компанії називають його по-різному: Apple — Neural Engine, Qualcomm — Hexagon NPU, Intel і AMD — просто NPU, а в чипах Google Tensor для смартфонів є власний TPU.

NPU, CPU і GPU: різниця

Ключове слово — ефективність. Якщо цілий день розмивати фон вебкамери на GPU, батарея швидко сяде. На NPU те саме завдання споживає в рази менше енергії, тож може працювати постійно.

Що насправді означає TOPS

TOPS — це трильйони операцій за секунду (trillions of operations per second). Це теоретичний пік: скільки простих обчислень NPU виконав би, якби всі його блоки були постійно зайняті. Три причини, чому сама цифра корисна менше, ніж здається:

1. Точність. TOPS зазвичай вказують для INT8 (8-бітних цілих чисел). Деякі виробники наводять цифри для INT4 або «розріджених» обчислень. Так число може подвоїтися без реального приросту швидкості. Завжди перевіряйте, про яку точність ідеться.
2. Реальні задачі рідко досягають піку. Швидкість пам'яті, програми й драйвери часто важать більше, ніж цифра з реклами.
3. TOPS платформи і TOPS NPU. Деякі бренди додають CPU, GPU і NPU в одне велике число «TOPS платформи». Для функцій Copilot+ має значення лише показник NPU.

Тому заяви на кшталт цілі Intel у 700 TOPS до 2028 року потребують уточнення щодо точності, перш ніж їх порівнювати.

Для чого NPU використовують сьогодні

У Windows позначка Microsoft Copilot+ PC вимагає NPU на 40 TOPS і більше, а також щонайменше 16 ГБ оперативної пам'яті й 256 ГБ накопичувача. Такі комп'ютери отримують функції, що працюють на NPU:

• Windows Studio Effects: розмиття фону, корекція погляду й автоматичне кадрування у відеодзвінках.
• Живі субтитри (Live Captions) з перекладом на пристрої.
• Recall і Click to Do, які локально аналізують вміст екрана.
• Інструменти в Paint і «Фотографіях», що створюють або редагують зображення на пристрої.

У смартфонах NPU тихо працюють уже багато років. Apple додала Neural Engine у чип A11 ще у 2017 році. Сьогодні NPU відповідають за портретний режим, Face ID, пошук фото, голосовий набір, фільтрацію дзвінків і функції асистента на пристрої, не надсилаючи ваші дані в хмару.

Приклади рейтингів NPU

Чип AMD добре показує, що NPU — лише частина історії. Як ми писали у матеріалі про Ryzen AI Halo, ця машина запускає моделі з понад 300 млрд параметрів. Причина — 192 ГБ об'єднаної пам'яті, а не NPU на 55 TOPS.

Чи допомагає NPU з локальними чат-ботами?

Частково. Невеликі моделі на кілька мільярдів параметрів можуть працювати на NPU, і деякі застосунки вже використовують його для асистентів на пристрої. Але для великих мовних моделей вузьке місце зазвичай — пам'ять: її обсяг і швидкість. Щоб згенерувати кожне слово, потрібно прочитати з пам'яті більшу частину моделі. Тому швидкий GPU з великим обсягом пам'яті або чип з великим пулом об'єднаної пам'яті виграє у високої цифри TOPS. Багато популярних інструментів для локального ШІ досі працюють переважно на GPU або CPU, а підтримка NPU з'являється поступово.

Якщо ваша мета — запускати моделі на кшталт Llama чи Qwen на власному комп'ютері, спершу прочитайте наш гід із вибору ноутбука для локального ШІ і пояснення, скільки оперативної пам'яті потрібно, а вже потім думайте про TOPS.

Чи варто купувати ноутбук заради NPU?

• Так, це розумний пункт у списку, якщо ви купуєте ноутбук на Windows років на чотири чи довше. З часом дедалі більше програм використовуватимуть NPU, а функції Copilot+ без нього не працюють.
• Ні, не переплачуйте лише за більшу цифру TOPS. Різниця між 45 і 50 TOPS навряд чи буде помітною. Екран, батарея, пам'ять і якість збірки вплинуть на вас значно більше.
• Для ігор і творчої роботи основне навантаження, як і раніше, бере на себе GPU.