Dessa від Block: голосовий ШІ, що сміється і працює на MacBook

Block — компанія, що стоїть за Square і Cash App, — показала голосовий ШІ, який звучить напрочуд по-людськи. Модель Dessa створила дослідницька лабораторія Block, а анонсував її співзасновник Джек Дорсі 23 жовтня. Як пише TechCrunch, у демо вистачає сміху, пауз, зітхань і навіть голосу, який ніби ось-ось зірветься на сльози.

Чим Dessa відрізняється

Більшість голосових асистентів працюють ланцюжком: мовлення перетворюється на текст, мовна модель пише відповідь, а синтезатор її озвучує. У Block вважають, що так губиться багато з того, що несе голос: інтонація, вагання, настрій. Dessa — модель «мова в мову», навчена виключно на живому мовленні, без тексту в процесі. За словами Block, її знання походять із самих розмовних даних.

Крім того, вона повнодуплексна: слухає й говорить одночасно, тож її можна перебити, вона реагує посеред фрази й робить природні паузи. TechCrunch порівнює її з моделлю GPT-Live, яку OpenAI випустила цього року. Block каже, що Dessa навчали на одній стійці GPU Nvidia.

В одному з роликів Block співробітниця грає з моделлю у вгадайку; в іншому модель каже, що втомилася після роботи, — і звучить відповідно. Чи керують емоціями приховані теги, як у деяких конкурентів, поки незрозуміло.

Працює на вашому комп'ютері, але поки не для вас

Головне для тих, хто дбає про приватність: за словами Block, Dessa може працювати локально на споживчому комп'ютері рівня MacBook Pro з M4 Max або потужнішому, тож розмови не обов'язково йдуть на сервер. Чому для цього важливі пам'ять і GPU, пояснює наш гайд із вибору ноутбука для локального ШІ, а що означає запускати модель самостійно — пояснення про моделі з відкритими вагами.

Проте публічного доступу поки немає. Block спершу запросила до тестування дослідників безпеки ШІ — найімовірніше, тому що переконливий емоційний синтетичний голос є очевидним інструментом для телефонних шахраїв і видавання себе за інших.

Навіщо це Block

Square вже використовує голосовий ШІ для прийому замовлень у продавців. Модель, що природно звучить і працює на пристрої, може дешевше обслуговувати набагато більше бізнес- і споживчих сервісів, зазначає TechCrunch.

Наша думка

Демо вражають, а локальна робота — приємний бонус. Але голос, що так добре імітує емоції, підвищує ризики клонування голосу й шахрайства. Почати з дослідників безпеки — правильне рішення; справжньою перевіркою стане те, які запобіжники з'являться в публічній версії.