Mistral открыла превью Voxtral 3: распознавание 50 языков

Подробно

Что входит в Voxtral 3?

Voxtral 3 - это набор моделей для распознавания и синтеза речи и SDK для голосовых агентов. Карточки моделей в документации Mistral помечены как Public Preview, уровень Premier, версия 3.0. Дата релиза - 20 октября 2026 года.

Состав семейства:

• Voxtral Mini Transcribe 3 - расшифровка аудиофайлов;
• Voxtral Small Transcribe 3 - более точная расшифровка файлов;
• Voxtral Mini Transcribe Realtime 3 - расшифровка в реальном времени;
• Voxtral TTS 3 и Voxtral Mini TTS 3 - синтез речи.

Обе файловые модели распознавания умеют разделять речь по говорящим (диаризация) и поддерживают context biasing. Это значит, что в запрос можно передать ключевые слова или описание контекста, и модель точнее распознает специальные термины без дообучения.

«Voxtral 3 доступна уже сегодня через API Mistral на европейском, американском и глобальном endpoints», - говорится в заявлении компании.

Сооснователь и главный научный сотрудник Mistral AI Гийом Лампль назвал Voxtral 3 семейством моделей уровня SOTA, то есть лучших на сегодня. По его словам, эти модели работают в новом API голосовых агентов Mistral.

Сколько языков поддерживает Voxtral 3 и есть ли русский?

Цифры по языкам у разных моделей разные:

• файловое распознавание (Mini и Small Transcribe 3) - 50 языков;
• распознавание в реальном времени - 45 языков и диалектов;
• синтез речи - 35 языков и более 50 диалектов;
• готовые голосовые пресеты - 18 языков.

Число 50 относится к распознаванию, а синтез речи заявлен для 35 языков. В карточке Voxtral TTS 3 при этом указаны девять языков, причину расхождения Mistral не пояснила.

Русский язык поддерживается. Код RU есть в наборах языков, на которых Mistral тестировала офлайн-распознавание и распознавание в реальном времени. Русский также есть в демонстрационной библиотеке синтеза речи и среди 18 языков с готовыми голосами.

Ульрих Розье, сооснователь и директор издания Frandroid, обратил внимание на это ограничение: агент может понимать больше языков, чем способен озвучивать.

Как работают голосовые агенты на Voxtral 3?

SDK голосовых агентов объединяет в одном потоковом конвейере распознавание речи, рассуждение языковой модели, вызов внешних инструментов и синтез речи. SDK построен на LiveKit. Он поддерживает телефонные звонки через SIP, работу в браузерах и приложениях через WebRTC, подключение к IVR и программам контакт-центров.

«Каждый этап использует отдельную модель, поэтому можно менять LLM, голос или язык, не переписывая агента», - говорится в заявлении Mistral.

По словам компании, весь конвейер отвечает быстрее чем за секунду, а если пользователь перебивает агента, тот замолкает. Независимую проверку этих показателей на момент публикации найти не удалось.

Какая задержка у Voxtral Mini Transcribe Realtime 3?

Задержку в модели для реального времени можно настроить в диапазоне от 80 до 2400 мс. В одной WebSocket-сессии модель определяет конец реплики, разделяет говорящих и поддерживает context biasing.

Что умеет Voxtral TTS 3 и можно ли клонировать голос?

Voxtral TTS 3 работает с готовыми и клонированными голосами. В модели есть 34 тега эмоций, два тега темпа и управление произношением. Звук можно получить в форматах MP3, WAV, PCM, FLAC и Opus.

Отдельно Mistral предлагает услугу Pro Voice - профессиональную адаптацию голоса по 30 минутам записи. Компания утверждает, что характер голоса, эмоциональный диапазон и манера говорящего сохраняются при переходе на другие языки. Независимых тестов Pro Voice и клонирования русского голоса на момент публикации не найдено.

На старте нельзя задавать стиль произнесения свободным текстом. Документация советует пока пользоваться тегами эмоций и темпа.

Сколько стоит Voxtral 3 через API?

Цены из официального анонса:

• Voxtral Mini Transcribe 3 - $0,0035 за минуту аудио;
• Voxtral Small Transcribe 3 - $0,004 за минуту;
• Voxtral Mini Transcribe Realtime 3 - $0,008 за минуту;
• синтез речи - $13 за 1 млн символов в пакетном режиме и в реальном времени;
• Voice Agent API - $0,04 за минуту с моделью Mistral Small 4 для рассуждения и $0,08 за минуту с другой reasoning-моделью.

Цена синтеза речи в официальных материалах расходится: в анонсе указано $13 за 1 млн символов, а в карточке модели - $16. Какой тариф применяется на самом деле, Mistral не пояснила.

Независимый сервис Vercel AI Gateway добавил Voxtral Small Transcribe 3 в каталог в день релиза по цене $0,24 за час аудио. Это совпадает с официальными $0,004 за минуту.

Можно ли скачать веса Voxtral 3 и развернуть модели у себя?

Открытые веса Voxtral 3 не заявлены: модели относятся к уровню Premier. Развернуть их на своих серверах или в частном облаке предлагается через отдел продаж Mistral.

Модели доступны через три API endpoints. Европейский и американский endpoints гарантируют, что запросы обрабатываются в соответствующем регионе. Глобальный endpoint такой гарантии не даёт.

Обходит ли Voxtral 3 Whisper, ElevenLabs и Gemini?

Mistral утверждает, что Small-версия показывает лучшие на сегодня результаты в диаризации и многоязычной расшифровке и обходит Whisper, Scribe v2 от ElevenLabs и Gemini 3.5 Transcribe. Это результаты тестов самого разработчика. Компания опубликовала сравнения на наборах FLEURS (45 языков), AMI, Switchboard, CallHome, AISHELL-4 и Earnings-22.

Независимая платформа Artificial Analysis провела свой тест AA-WER примерно на восьми часах аудио из наборов AA-AgentTalk, очищенного VoxPopuli и Earnings22. Доля ошибок составила 2,1% у Voxtral Small Transcribe 3 (третье место в рейтинге) и 2,2% у Voxtral Mini Transcribe 3. Этот тест подтверждает высокое качество распознавания на этих данных, но не проверяет все 50 языков и не касается синтеза речи.

Сравнения синтеза речи в анонсе - в основном внутренние оценки Mistral:

• Voice Code Bench - 300 английских запросов;
• многоязычная оценка - 377 запросов на 11 языках;
• оценка выразительности на английском - 237 запросов.

Оценки выставляла автоматически модель Gemini 3.8 Flash. Ульрих Розье из Frandroid указал, что многоязычный тест охватывает лишь 11 языков из заявленных 35. Отдельной научной статьи или технического отчёта о Voxtral 3 найти не удалось: графики и методики опубликованы только в анонсе продукта.

Доступен ли Voxtral 3 в России?

Отдельного запуска для России, цен в рублях или официального заявления о доступности сервиса для российских клиентов нет. Россия не входит в опубликованный Mistral список территорий под полным эмбарго. Но сможет ли конкретный клиент пользоваться сервисом, зависит от санкционных проверок, регистрации и способа оплаты.

Чем Voxtral 3 отличается от прошлых версий?

Линейка Voxtral развивалась так:

• 15 июля 2025 года - первые Voxtral, модели понимания речи на 24 млрд и 3 млрд параметров с открытыми весами под лицензией Apache 2.0;
• 4 февраля 2026 года - Voxtral Transcribe 2 и Voxtral Realtime с поддержкой 13 языков; у Realtime были открытые веса, а задержку можно было снизить до менее 200 мс;
• 23 марта 2026 года - первая Voxtral TTS на 4 млрд параметров с девятью языками и задержкой около 90 мс до первого звука.

В отличие от предшественников, Voxtral 3 выходит без открытых весов. При переходе с Voxtral 2 пропадают временные метки для отдельных слов: Voxtral 3 возвращает только метки сегментов, а запрос меток слов завершается ошибкой 400.