Dessa от Block: голосовой ИИ, который смеётся и работает на MacBook

Block — компания, стоящая за Square и Cash App, — показала голосовой ИИ, который звучит удивительно по-человечески. Модель Dessa создала исследовательская лаборатория Block, а анонсировал её сооснователь Джек Дорси 23 октября. Как пишет TechCrunch, в демо хватает смеха, пауз, вздохов и даже голоса, который будто вот-вот сорвётся на слёзы.

Чем Dessa отличается

Большинство голосовых ассистентов работают цепочкой: речь превращается в текст, языковая модель пишет ответ, а синтезатор его озвучивает. В Block считают, что так теряется многое из того, что несёт голос: интонация, сомнения, настроение. Dessa — модель «речь в речь», обученная исключительно на живой речи, без текста в процессе. По словам Block, её знания берутся из самих разговорных данных.

Кроме того, она полнодуплексная: слушает и говорит одновременно, поэтому её можно перебить, она реагирует посреди фразы и делает естественные паузы. TechCrunch сравнивает её с моделью GPT-Live, которую OpenAI выпустила в этом году. Block говорит, что Dessa обучали на одной стойке GPU Nvidia.

В одном из роликов Block сотрудница играет с моделью в угадайку; в другом модель говорит, что устала после работы, — и звучит соответственно. Управляют ли эмоциями скрытые теги, как у некоторых конкурентов, пока неясно.

Работает на вашем компьютере, но пока не для вас

Главное для тех, кто ценит приватность: по словам Block, Dessa может работать локально на потребительском компьютере уровня MacBook Pro с M4 Max или мощнее, так что разговоры не обязательно уходят на сервер. Почему для этого важны память и GPU, объясняет наш гид по выбору ноутбука для локального ИИ, а что значит запускать модель самому — объяснение про модели с открытыми весами.

Однако публичного доступа пока нет. Block сначала пригласила к тестированию исследователей безопасности ИИ — скорее всего потому, что убедительный эмоциональный синтетический голос — очевидный инструмент для телефонных мошенников и выдачи себя за других.

Зачем это Block

Square уже использует голосовой ИИ для приёма заказов у продавцов. Модель, которая естественно звучит и работает на устройстве, может дешевле обслуживать гораздо больше бизнес- и потребительских сервисов, отмечает TechCrunch.

Наше мнение

Демо впечатляют, а локальная работа — приятный бонус. Но голос, который так хорошо имитирует эмоции, повышает риски клонирования голоса и мошенничества. Начать с исследователей безопасности — правильное решение; настоящей проверкой станет то, какие защитные меры появятся в публичной версии.