Genie 4 від DeepMind: ШІ-світи зі звуком і керуванням наживо

Google DeepMind анонсувала Genie 4 — нову версію своєї «моделі світу». Це ШІ-система, яка генерує інтерактивне середовище, де можна рухатися в реальному часі, а не готовий відеоролик. Головні нововведення — власний звук і керування текстовими підказками просто під час роботи, ідеться в анонсі DeepMind від 27 жовтня.

Що нового в Genie 4

DeepMind виділяє чотири основні кроки вперед:

• Керування в реальному часі. Поки світ працює, можна написати інструкцію — змінити погоду, перемістити камеру, додати людину чи предмет, — і Gemini підлаштує підказку під сцену. Між вашими командами Gemini також стежить, щоб світ розвивався послідовно. Пересування — звичайними клавішами.
• Реалістичніша фізика й люди. За словами DeepMind, Genie 4 симулює, зокрема, аеродинаміку та зіткнення, а найбільший стрибок — у персонажах-людях, які природно рухаються й реагують на оточення.
• Власний звук. Це перша модель світу компанії, що генерує звук разом із картинкою: вітер у деревах, хвилі, музику та інтерактивні діалоги, коли персонажі говорять і відповідають вам.
• Багатокрокові події. Gemini 3.8 Flash працює як агент-провідник: розбиває мету на кроки, переглядає згенеровані кадри, перевіряє, чи вдався кожен крок, і змінює план, якщо втручається користувач.

DeepMind також показала дослідницьке демо: Gemini 4 Argon планує завдання — гуманоїд Apollo від Apptronik грає в шашки — і передає кроки в Genie 4 як підписи. Це ранній приклад того, як згенеровані світи можуть слугувати тренажером для роботів.

Хто може скористатися

Поки що Genie 4 — дослідницький прев'ю для довірених тестувальників. DeepMind обіцяє «незабаром» відкрити доступ передплатникам Google AI Ultra у Project Genie та партнерам раннього доступу в Gemini API і Google AI Studio; є лист очікування. Ціни й дати ширшого запуску не названо. Усе згенероване відео та аудіо позначається водяним знаком SynthID.

Обмеження, які визнає DeepMind

Компанія називає Genie 4 ранньою експериментальною моделлю. На коротких сесіях сцени лишаються цілісними, але сталість об'єктів і деталі можуть «плисти» з часом — особливо в довгих сесіях або після багатьох правок підказки. Над складною фізичною взаємодією, точністю звуку, читабельним текстом, просторовою точністю й довгостроковою узгодженістю ще працюють.

Чому це важливо

Тестувальники вже пробують модель для превізуалізації фільмів, перетворення архівних фото на сцени, які можна досліджувати, і прототипування ігор ще до написання коду рушія. Для ШІ-лабораторій моделі світу — це ще й тренувальні майданчики для роботів та агентів. Про «залізо» для власного ШІ читайте наші гіди: скільки VRAM потрібно для локального ШІ і що таке NPU; а про моделі, які можна завантажити, а не орендувати, — що таке моделі з відкритими вагами.