Nvidia Nemotron 3.5 Transcribe: відкрита модель для 40 мов

Nvidia випустила Nemotron 3.5 Transcribe — безкоштовну модель розпізнавання мовлення з відкритими вагами, а разом із нею Granary v2, великий відкритий датасет мовлення та конвеєр, яким його зібрали. Модель доступна на Hugging Face і ModelScope; Nvidia адресує її розробникам сервісів для нарад, кол-центрів і медичної транскрипції.

Що вміє модель

Замість окремого інструмента під кожне завдання Nvidia зібрала кілька мовленнєвих функцій в одній моделі, якою керують звичайною текстовою підказкою — наприклад, «розшифруй запис і познач кожного мовця» або «переклади аудіо англійською». За даними Nvidia, модель:

• транскрибує 40 мов і перекладає 31 з них з англійської або на англійську;
• розрізняє до восьми мовців (розмітка мовців працює для 13 мов);
• приймає записи тривалістю до години й підтримує позначки часу для кожного слова;
• відповідає на запитання про запис (цю функцію навчено англійською).

Важливе обмеження: модель створена для записаного аудіо, а не для живого потоку, тож для субтитрів у реальному часі чи голосових асистентів вона напряму не підходить.

Розмір і «залізо»

У моделі 30 млрд параметрів, але завдяки гібридній архітектурі Mamba–Transformer із «сумішшю експертів» на кожен токен активні лише близько 4 млрд. Nvidia каже, що вона працює на одній GPU — від модуля Jetson AGX Thor і настільного DGX Spark до дата-центрових карт Blackwell. Запускати її можна через vLLM або локально з NeMo-Speech.cpp. Якщо цікаво, яке залізо потрібне для відкритих моделей удома, почніть із гайду скільки відеопам'яті потрібно для локального ШІ.

Бенчмарки (дані Nvidia)

За словами Nvidia, модель посідає перше місце серед відкритих моделей в англійському заліку Open ASR Leaderboard на Hugging Face із середньою часткою помилок у словах 5,33% і ділить перше місце серед відкритих моделей в індексі Artificial Analysis з показником 2,8%. Це заяви самої компанії на основі публічних рейтингів; на практиці точність залежить від акцентів, шуму й професійної лексики, і Nvidia сама радить вибірково перевіряти імена та зміну мовців.

Granary v2 і донавчання

Публічний маніфест Granary v2 охоплює близько 463 тис. годин мовлення 48 мовами — у першій версії було 25 мов. Nvidia також опублікувала рецепти донавчання: у медичному кейсі адаптація моделі зменшила частку помилок на нових мовцях на 45,8% порівняно з найкращою підказкою без донавчання.

Як зазначає TechCrunch, реліз виходить у насичений для голосового ШІ місяць. Що означають «відкриті ваги» і що з такими моделями можна робити, пояснюємо в матеріалі про моделі ШІ з відкритими вагами.