Synaptics і Google ставлять Coral NPU в мініатюрні ШІ-чипи

Більшість новин про ШІ — про величезні дата-центри. Ця — про протилежний край: крихітні чипи з живленням від батареї в навушниках, розумних окулярах, дверних дзвінках і датчиках. Компанія Synaptics представила серію Astra SR200 — мікроконтролери, які вона називає «xMCU». Вони запускають моделі для розпізнавання голосу, зображень та інші ШІ-моделі повністю на пристрої, повідомила компанія у вівторок.

ШІ-прискорювач у цих чипах побудований на Coral NPU — відкритій апаратній архітектурі від Google Research. Того ж дня Google повідомила, що 32-бітна архітектура Coral NPU тепер завершена. За словами Google, новий матричний блок можна налаштувати на продуктивність до 1 TOPS, а середнє споживання під час роботи моделі має становити близько 10 мВт.

Три чипи, одне ПЗ

У чипах поєднано ядро Arm Cortex-M85 (до 800 МГц) і Cortex-M52. За словами Synaptics, таку пару використано вперше. Але головна зміна — пам'ять. Тут до 8 МБ SRAM і власна високошвидкісна DRAM, обсяг якої може сягати сотень мегабайтів. Synaptics каже, що вона споживає приблизно втричі менше енергії, ніж звичайна системна DRAM, тож пристрої можуть запускати більші моделі без окремого чипа пам'яті. Також є опційний аудіо-DSP, апаратний захист з розрахунком на сертифікацію PSA Level 3 і CC EAL4+ та промислові версії з гігабітним Ethernet і CAN-FD.

Чому це важливо

Локальний ШІ означає швидшу реакцію, кращу приватність і незалежність від зв'язку. Для носимих пристроїв і камер безпеки це особливо важливо. Серед компаній, які прокоментували запуск, — Sonos, що говорила про звук, і Verisure, яка каже, що запускає на чипах Synaptics власні моделі для зображення, голосу й аудіо. Ціни Synaptics не назвала, як і споживчих пристроїв на SR200, що вже продаються.

Google також випускає відкритий Coral Compiler v1.0 на базі IREE/MLIR. Він приймає моделі з JAX, PyTorch і TensorFlow. Спробувати платформу розробники можуть на двох платах: новій Coralboard SR на SR200 та Coralboard SL з продуктивністю 1 TOPS, яка вже у вільному продажу в DigiKey.

Це той самий тренд локального ШІ, що й у ноутбуках NVIDIA RTX Spark, тільки в масштабі міліватів. Якщо хочете запускати моделі самі, почніть із нашого посібника як обрати ноутбук для локального ШІ.