Перейти к содержанию

Использование аудиомоделей

GPUStack поддерживает работу как моделей преобразования речи в текст, так и преобразования текста в речь. Модели преобразования речи в текст преобразуют аудиовходы на различных языках в письменный текст, а модели преобразования текста в речь преобразуют письменный текст в естественную и выразительную речь.

В этом руководстве мы покажем вам, как развернуть и использовать модели преобразования речи в текст и преобразования текста в речь в GPUStack.

Предварительные условия

Прежде чем начать, убедитесь, что у вас есть следующее:

  • GPUStack установлен и работает. Если нет, обратитесь к Краткому руководству.
  • Доступ к Hugging Face или ModelScope для загрузки файлов модели.

Запуск модели преобразования речи в текст

Шаг 1. Развертывание модели преобразования речи в текст

Выполните следующие шаги, чтобы развернуть модель из Каталога моделей:

  1. Перейдите на страницу Model Catalog в пользовательском интерфейсе GPUStack.
  2. Выберите Speech-to-Text в фильтре категории, затем выберите модель Whisper-Large-V3-Turbo.
  3. Оставьте все по умолчанию и нажмите кнопку Save, чтобы развернуть модель.

Развернуть модель

После развертывания вы можете отслеживать состояние развертывания модели на странице Deployments. После успешного развертывания щелкните значок многоточия на развертывании и выберите Open in Playground, чтобы начать использовать модель в Песочнице.

Список моделей

Шаг 2. Взаимодействие с моделью преобразования речи в текст

В Песочнице Speech to Text,

  1. Нажмите кнопку Upload, чтобы загрузить аудиофайл, или нажмите кнопку Microphone, чтобы записать звук.
  2. Нажмите кнопку Generate Text Content, чтобы сгенерировать транскрипцию.

Сгенерировано

Шаг 3. Потоковая передача вывода через API

Вы также можете использовать API для получения транскрипций потоковой передачи. Вот пример использования Curl:

1
2
3
4
5
6
7
8
# Replace ${SERVER_URL} with your GPUStack server URL and ${YOUR_GPUSTACK_API_KEY} with your API key.
curl ${SERVER_URL}/v1/audio/transcriptions \
  -H "Content-Type: multipart/form-data" \
  -H "Authorization: Bearer ${YOUR_GPUSTACK_API_KEY}" \
  -F model="whisper-large-v3-turbo" \
  -F file="@/path/to/audio-file;type=audio/mpeg" \
  -F language="en" \
  -F stream="true"

Результаты потоковой транскрипции будут возвращаться по мере их появления.

Примечание

Потоковая транскрипция поддерживается только в том случае, если модель преобразования речи в текст развернута на серверной части vLLM. Серверная часть VoxBox не поддерживает потоковую передачу.

Запуск модели преобразования текста в речь

Шаг 1. Развертывание модели преобразования текста в речь

Выполните следующие шаги, чтобы развернуть модель из Каталога моделей:

  1. Перейдите на страницу Model Catalog в пользовательском интерфейсе GPUStack.
  2. Выберите Text-to-Speech в фильтре категории, затем выберите модель Qwen3-TTS-12Hz-1.7B-CustomVoice.
  3. Оставьте все по умолчанию и нажмите кнопку Save, чтобы развернуть модель.

Развернуть модель

После развертывания вы можете отслеживать состояние развертывания модели на странице Deployments. После успешного развертывания щелкните значок многоточия на развертывании и выберите Open in Playground, чтобы начать использовать модель в Песочнице.

Список моделей

Шаг 2. Взаимодействие с моделью преобразования текста в речь

В Песочнице Text to Speech,

  1. Выберите нужный голос из раскрывающегося списка Voice.
  2. (Необязательно) Укажите Instructions, чтобы модель генерировала желаемый стиль речи.
  3. Введите текст, который хотите преобразовать в речь.
  4. Нажмите кнопку Submit, чтобы создать звук.

Сгенерировано

Шаг 3. Потоковая передача вывода через API

Вы также можете использовать API для вывода потокового аудио. Вот пример использования Curl:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
# Replace ${SERVER_URL} with your GPUStack server URL and ${YOUR_GPUSTACK_API_KEY} with your API key.
curl ${SERVER_URL}/v1/audio/speech \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${YOUR_GPUSTACK_API_KEY}" \
  -d '{
    "model": "qwen3-tts-12hz-1.7b-customvoice",
    "voice": "Vivian",
    "task_type": "CustomVoice",
    "language": "Auto",
    "input": "Good one. Okay, fine, I'm just gonna leave this sock monkey here. Goodbye.",
    "stream": true,
    "response_format": "pcm"
  }' --no-buffer | play -t raw -r 24000 -e signed -b 16 -c 1 -

Это позволит напрямую передавать аудиовыход и воспроизводить его с помощью команды play. Звук передается в формате PCM с частотой дискретизации 24 кГц, 16-битным знаковым кодированием и моноканалом.

Примечание

Потоковая передача речи поддерживается только в том случае, если модель преобразования текста в речь развернута на серверной части vLLM. Серверная часть VoxBox не поддерживает потоковую передачу.

Клонирование голоса с помощью Qwen3-TTS

GPUStack также поддерживает клонирование голоса с помощью моделей преобразования текста в речь. Вот как его использовать:

Шаг 1. Развертывание модели клонирования голоса

  1. Перейдите на страницу Model Catalog в пользовательском интерфейсе GPUStack.
  2. Выберите Text-to-Speech в фильтре категории, затем выберите модель Qwen3-TTS-12Hz-1.7B-Base.
  3. Оставьте все по умолчанию и нажмите кнопку Save, чтобы развернуть модель.

Шаг 2. Используйте клонирование голоса в Песочнице.

После успешного развертывания щелкните значок многоточия развертывания и выберите Open in Playground, чтобы начать использовать модель в Песочнице. Затем выполните следующие действия:

  1. В поле Reference Audio загрузите аудиофайл или введите URL-адрес аудио, чтобы предоставить эталонный голос для клонирования. Например, вы можете ввести URL-адрес https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-TTS-0115/APS-en_33.wav.
  2. Отметьте опцию Use Speaker Embedding Only (no ICL).
  3. Введите текст, который нужно синтезировать, например: Good one. Okay, fine, I'm just gonna leave this sock monkey here. Goodbye.
  4. Нажмите кнопку Submit, чтобы сгенерировать речь с клонированным голосом.

Клонирование голоса