Mistral AI представила Voxtral 3: новую экосистему для создания голосовых ИИ-агентов

Mistral AI расширяет свои возможности в сфере разговорного искусственного интеллекта с запуском Voxtral 3. Новинка представляет собой набор инструментов и моделей, предназначенных для создания быстрых и «умных» голосовых помощников, способных вести многошаговые диалоги в реальном времени. Система поддерживает более 50 языков и ориентирована на использование в контакт-центрах, сервисных службах и в качестве персональных ассистентов.

Ключевые компоненты системы

В состав Voxtral 3 входят:

  • Voxtral Small Transcribe 3: модель для распознавания речи, которая превосходит многие существующие аналоги (включая Whisper и Gemini 3.5) по точности транскрипции, умеет определять говорящих (диаризация) и поддерживает контекстные подсказки для улучшения понимания специфических терминов.
  • Voxtral Mini TTS 3: модель синтеза речи, способная адаптировать интонацию, темп и эмоциональную окраску голоса в зависимости от контекста беседы.
  • Voice Agent SDK: среда разработки, которая объединяет процессы прослушивания, логического рассуждения, вызова внешних инструментов и генерации ответа в единый поток с минимальной задержкой.

Приоритет конфиденциальности

Одной из главных особенностей Voxtral 3 является гибкость развертывания. Организации могут использовать как API Mistral, размещенный на серверах в ЕС, так и собственную инфраструктуру. Это позволяет компаниям сохранять полный контроль над данными, процессом обработки аудио и политикой хранения записей разговоров.

Для специфических задач, требующих высокой точности передачи личности, предусмотрена функция Pro Voice. Она позволяет клонировать уникальные характеристики голоса, эмоциональный диапазон и манеру речи конкретного человека, используя всего 30 минут исходной аудиозаписи. Благодаря поддержке глубокой интеграции с внутренними системами предприятия, агенты на базе Voxtral 3 могут не просто поддерживать беседу, но и выполнять сложные рабочие задачи в режиме реального времени.

Источник: mistral.ai

Leave a Comment