Nvidia Nemotron 3.5 Transcribe: открытая модель для 40 языков

Nvidia выпустила Nemotron 3.5 Transcribe — бесплатную модель распознавания речи с открытыми весами, а вместе с ней Granary v2, большой открытый датасет речи и конвейер, которым его собрали. Модель доступна на Hugging Face и ModelScope; Nvidia адресует её разработчикам сервисов для совещаний, колл-центров и медицинской транскрипции.

Что умеет модель

Вместо отдельного инструмента под каждую задачу Nvidia собрала несколько речевых функций в одной модели, которой управляют обычной текстовой подсказкой — например, «расшифруй запись и отметь каждого говорящего» или «переведи аудио на английский». По данным Nvidia, модель:

• транскрибирует 40 языков и переводит 31 из них с английского или на английский;
• различает до восьми говорящих (разметка говорящих работает для 13 языков);
• принимает записи длиной до часа и поддерживает временные метки для каждого слова;
• отвечает на вопросы по записи (эту функцию обучали на английском).

Важное ограничение: модель создана для записанного аудио, а не для живого потока, поэтому для субтитров в реальном времени или голосовых ассистентов она напрямую не подходит.

Размер и «железо»

У модели 30 млрд параметров, но благодаря гибридной архитектуре Mamba–Transformer со «смесью экспертов» на каждый токен активны лишь около 4 млрд. Nvidia говорит, что она работает на одной GPU — от модуля Jetson AGX Thor и настольного DGX Spark до дата-центровых карт Blackwell. Запускать её можно через vLLM или локально с NeMo-Speech.cpp. Если интересно, какое железо нужно для открытых моделей дома, начните с гайда сколько видеопамяти нужно для локального ИИ.

Бенчмарки (данные Nvidia)

По словам Nvidia, модель занимает первое место среди открытых моделей в английском зачёте Open ASR Leaderboard на Hugging Face со средней долей ошибок в словах 5,33% и делит первое место среди открытых моделей в индексе Artificial Analysis с показателем 2,8%. Это заявления самой компании на основе публичных рейтингов; на практике точность зависит от акцентов, шума и профессиональной лексики, и Nvidia сама советует выборочно проверять имена и смену говорящих.

Granary v2 и дообучение

Публичный манифест Granary v2 охватывает около 463 тыс. часов речи на 48 языках — в первой версии было 25 языков. Nvidia также опубликовала рецепты дообучения: в медицинском кейсе адаптация модели снизила долю ошибок на новых говорящих на 45,8% по сравнению с лучшей подсказкой без дообучения.

Как отмечает TechCrunch, релиз выходит в насыщенный для голосового ИИ месяц. Что значат «открытые веса» и что с такими моделями можно делать, объясняем в материале о моделях ИИ с открытыми весами.