Dessa: нейросеть, которая научилась говорить только по звуку

Команда исследователей из компании Block анонсировала Dessa — инновационную модель искусственного интеллекта, которая кардинально отличается от современных LLM. В отличие от привычных систем, которые сначала преобразуют голос в текст, а затем обрабатывают его, Dessa обучалась исключительно на аудиозаписях живой человеческой речи. По словам разработчиков, это позволяет нейросети улавливать эмоциональные нюансы, сарказм, вздохи и естественные паузы, которые теряются при текстовой обработке.

Особенности обучения и работы

Разработчики подчеркивают, что модель не использовала предварительно обученные текстовые алгоритмы. Dessa училась «слушать» и поддерживать диалог подобно тому, как это делают дети. В результате система демонстрирует высокую скорость отклика, работает в режиме полного дуплекса (может слушать и говорить одновременно) и способна автономно выбирать интонации, смеяться в подходящие моменты и перебивать собеседника, если это уместно в контексте беседы.

  • Работает локально на оборудовании уровня MacBook Pro M4 Max.
  • Для обучения потребовался всего один сервер NVIDIA GB200 NVL72.
  • Система распознает эмоции, акценты и дыхание, что делает общение более естественным.

Зачем это нужно

Основная цель создания Dessa — сделать взаимодействие с ИИ более человечным и безопасным. Разработчики отмечают, что текущие голосовые помощники часто игнорируют эмоциональное состояние пользователя, что может быть критично в определенных ситуациях. Понимание интонации позволяет ИИ лучше осознавать контекст и состояние собеседника.

На данный момент проект находится на стадии раннего тестирования. Команда Block открыла доступ к модели для узкой группы специалистов по безопасности ИИ, чтобы выявить потенциальные риски и исследовать возможности этой технологии. Разработчики верят, что голос является наиболее естественным интерфейсом для общения с интеллектом, и намерены развивать это направление, игнорируя традиционные подходы, основанные на огромных массивах текстовых данных.

Источник: block.xyz

Leave a Comment