Команда Google DeepMind представила Genie 4 — новую мультимодальную модель, предназначенную для генерации реалистичных интерактивных миров. В отличие от предшественников, новинка способна не только визуализировать окружение, но и одновременно создавать звуковое сопровождение, включая музыку, фоновые шумы и диалоги персонажей.
Технологическая основа
В основе Genie 4 лежат наработки семейства моделей Gemini. Технология Gemini Omni отвечает за достоверность внешнего вида и поведения объектов, в то время как другие модели Gemini обеспечивают логическую связность и непрерывность симуляции. Это позволяет пользователям задавать сценарии, в которых мир динамически реагирует на действия, меняя освещение, погоду или поведение персонажей.
Возможности и применение
Модель позволяет пользователям управлять происходящим в реальном времени с помощью текстовых подсказок или стандартных устройств ввода, таких как клавиатура. Система адаптирует контекст под запросы пользователя, сохраняя при этом физическую достоверность: от аэродинамики до естественных движений людей. Ключевые особенности Genie 4 включают:
- Повышенный уровень фотореализма и плавность анимации.
- Нативную генерацию звуковых эффектов, соответствующих происходящему на экране.
- Возможность изменения параметров среды «на лету» через естественный язык.
Разработчики отмечают, что создание подобных симуляций является важным шагом на пути к достижению общего искусственного интеллекта (AGI). Такие среды могут быть использованы для обучения роботов и агентов, а также для создания новых типов интерактивного контента.
Доступность
На данный момент Genie 4 доступна в формате исследовательского превью для ограниченного круга тестировщиков. В будущем компания планирует расширить доступ для подписчиков Google AI Ultra в рамках проекта Project Genie, а также для партнеров, работающих с Gemini API и Google AI Studio. Желающие опробовать технологию могут оставить заявку в листе ожидания.
Источник: deepmind.google