Что такое NPU? TOPS, AI-ПК и когда нейропроцессор реально полезен

Почти каждый новый ноутбук и смартфон теперь рекламирует NPU и число в TOPS. Маркетинг подаёт это как самую важную часть чипа. На деле NPU — узкий специалист: отлично справляется с несколькими задачами и никак не влияет на многие другие. В этом гиде объясняем, что это такое, как читать цифры и когда это важно.

Что такое NPU

NPU (neural processing unit, нейропроцессор) — это блок кремния, созданный для математики нейросетей. В основном это огромное количество умножений и сложений над матрицами чисел. CPU тоже это умеет, но он рассчитан на самые разные задачи, которые выполняет одну за другой. GPU делает это быстро, но потребляет много энергии. NPU выполняет одну узкую работу с минимальными затратами энергии.

В потребительских устройствах NPU редко бывает отдельным чипом. Обычно он находится внутри основного процессора рядом с ядрами CPU и GPU. Компании называют его по-разному: Apple — Neural Engine, Qualcomm — Hexagon NPU, Intel и AMD — просто NPU, а в чипах Google Tensor для смартфонов есть собственный TPU.

NPU, CPU и GPU: разница

Ключевое слово — эффективность. Если целый день размывать фон веб-камеры на GPU, батарея быстро сядет. На NPU та же задача потребляет в разы меньше энергии, поэтому может работать постоянно.

Что на самом деле означает TOPS

TOPS — это триллионы операций в секунду (trillions of operations per second). Это теоретический пик: сколько простых вычислений NPU выполнил бы, если бы все его блоки были постоянно заняты. Три причины, почему сама цифра полезна меньше, чем кажется:

1. Точность. TOPS обычно указывают для INT8 (8-битных целых чисел). Некоторые производители приводят цифры для INT4 или «разреженных» вычислений. Так число может удвоиться без реального прироста скорости. Всегда проверяйте, о какой точности идёт речь.
2. Реальные задачи редко достигают пика. Скорость памяти, программы и драйверы часто значат больше, чем цифра из рекламы.
3. TOPS платформы и TOPS NPU. Некоторые бренды складывают CPU, GPU и NPU в одно большое число «TOPS платформы». Для функций Copilot+ важен только показатель NPU.

Поэтому заявления вроде цели Intel в 700 TOPS к 2028 году требуют уточнения по точности, прежде чем их сравнивать.

Для чего NPU используют сегодня

В Windows метка Microsoft Copilot+ PC требует NPU на 40 TOPS и больше, а также не менее 16 ГБ оперативной памяти и 256 ГБ накопителя. Такие компьютеры получают функции, работающие на NPU:

• Windows Studio Effects: размытие фона, коррекция взгляда и автоматическое кадрирование в видеозвонках.
• Живые субтитры (Live Captions) с переводом на устройстве.
• Recall и Click to Do, которые локально анализируют содержимое экрана.
• Инструменты в Paint и «Фотографиях», которые создают или редактируют изображения на устройстве.

В смартфонах NPU тихо работают уже много лет. Apple добавила Neural Engine в чип A11 ещё в 2017 году. Сегодня NPU отвечают за портретный режим, Face ID, поиск фото, голосовой ввод, фильтрацию звонков и функции ассистента на устройстве, не отправляя ваши данные в облако.

Примеры рейтингов NPU

Чип AMD хорошо показывает, что NPU — лишь часть истории. Как мы писали в материале о Ryzen AI Halo, эта машина запускает модели с более чем 300 млрд параметров. Причина — 192 ГБ объединённой памяти, а не NPU на 55 TOPS.

Помогает ли NPU с локальными чат-ботами?

Частично. Небольшие модели на несколько миллиардов параметров могут работать на NPU, и некоторые приложения уже используют его для ассистентов на устройстве. Но для больших языковых моделей узкое место обычно — память: её объём и скорость. Чтобы сгенерировать каждое слово, нужно прочитать из памяти большую часть модели. Поэтому быстрый GPU с большим объёмом памяти или чип с большим пулом объединённой памяти выигрывает у высокой цифры TOPS. Многие популярные инструменты для локального ИИ до сих пор работают в основном на GPU или CPU, а поддержка NPU появляется постепенно.

Если ваша цель — запускать модели вроде Llama или Qwen на своём компьютере, сначала прочитайте наш гид по выбору ноутбука для локального ИИ и объяснение, сколько оперативной памяти нужно, а уже потом думайте о TOPS.

Стоит ли покупать ноутбук ради NPU?

• Да, это разумный пункт в списке, если вы покупаете ноутбук на Windows лет на четыре или дольше. Со временем всё больше программ будут использовать NPU, а функции Copilot+ без него не работают.
• Нет, не переплачивайте только за большую цифру TOPS. Разница между 45 и 50 TOPS вряд ли будет заметна. Экран, батарея, память и качество сборки повлияют на вас гораздо сильнее.
• Для игр и творческой работы основную нагрузку по-прежнему берёт на себя GPU.