Команда Google DeepMind представила Genie 4, новую модель для генерации и симуляции виртуальных миров. В отличие от предшественников, эта система обладает расширенными возможностями мультимодальности: она генерирует не только визуальный ряд, но и соответствующее звуковое сопровождение, включая фоновые шумы, диалоги и музыку.
Интеграция технологий Gemini
В основе Genie 4 лежат наработки семейства Gemini. Модель Gemini Omni отвечает за реалистичность отображения объектов и физических процессов, а другие версии Gemini обеспечивают логическую связность и последовательность происходящего в симуляции. Пользователи могут в реальном времени изменять параметры среды с помощью текстовых подсказок: например, менять погоду, перемещать камеру или добавлять новых персонажей.
Ключевые возможности
- Высокий уровень фотореализма и естественная физика движений.
- Поддержка интерактивного управления через клавиатуру и естественный язык.
- Генерация звука, синхронизированного с действиями в кадре.
- Способность поддерживать целостность мира при длительных сессиях.
Разработчики отмечают, что создание подобных симуляций является важным шагом на пути к разработке полноценного искусственного общего интеллекта (AGI). Технология может быть использована для подготовки роботов, создания тренировочных сред и разработки новых интерактивных развлечений.
На данный момент Genie 4 доступна в формате исследовательского превью для ограниченного круга тестировщиков. В ближайшем будущем планируется расширение доступа для подписчиков Google AI Ultra в рамках Project Genie, а также для партнеров Gemini API и пользователей Google AI Studio.
Источник: deepmind.google