Перейти к содержанию

Управление файлами модели

GPUStack позволяет администраторам загружать файлы моделей и управлять ими.

Добавить файл модели

GPUStack в настоящее время поддерживает модели из Hugging Face, ModelScope и локальных путей. Чтобы добавить файлы модели, перейдите на страницу Model Files.

Добавьте модель Hugging Face.

  1. Нажмите кнопку Add Model File и выберите Hugging Face из раскрывающегося списка.
  2. Используйте панель поиска в левом верхнем углу, чтобы найти модель по названию, например, Qwen/Qwen3-0.6B.
  3. (Необязательно) Для моделей GGUF выберите желаемый формат квантования из Available Files.
  4. Выберите целевого воркера для загрузки файла модели.
  5. (Необязательно) Укажите Local Directory, чтобы загрузить модель по пользовательскому пути вместо каталога кэша GPUStack.
  6. Нажмите кнопку Save.

Добавьте модель ModelScope.

  1. Нажмите кнопку Add Model File и выберите ModelScope из раскрывающегося списка.
  2. Используйте панель поиска в левом верхнем углу, чтобы найти модель по названию, например, Qwen/Qwen3-0.6B.
  3. (Необязательно) Для моделей GGUF выберите желаемый формат квантования из Available Files.
  4. Выберите целевого воркера для загрузки файла модели.
  5. (Необязательно) Укажите Local Directory, чтобы загрузить модель по пользовательскому пути вместо каталога кэша GPUStack.
  6. Нажмите кнопку Save.

Добавьте модель локального пути.

Вы можете добавлять модели по локальному пути. Путь может представлять собой каталог (например, папку модели Hugging Face) или файл (например, модель GGUF), расположенный на воркере.

  1. Нажмите кнопку Add Model File и выберите Local Path из раскрывающегося списка.
  2. Введите Model Path.
  3. Выберите целевого воркера.
  4. Нажмите кнопку Save.

Повторить загрузку

Если загрузка файла модели не удалась или зависла на очень низкой скорости загрузки, вы можете повторить попытку:

  1. Перейдите на страницу Model Files.
  2. Найдите файл модели.
  3. Нажмите кнопку с многоточием в столбце Operations и выберите Retry Download.
  4. GPUStack попытается снова загрузить файл модели из указанного источника.

Развертывание модели

Модели можно развертывать из файлов моделей. Поскольку модель хранится в конкретном воркере, GPUStack добавит селектор воркера с помощью клавиши worker-name, чтобы обеспечить правильное планирование.

Совет

Если вы хотите, чтобы модель выполняла аварийное переключение между узлами, убедитесь, что все узлы в кластере могут получить доступ к файлам модели по одному и тому же пути, и вручную удалите метку worker-name из селектора воркеров.

  1. Перейдите на страницу Model Files.
  2. Найдите файл модели, который хотите развернуть.
  3. Нажмите кнопку Deploy в столбце Operations.
  4. Просмотрите или измените Name, Backend, Backend Version, Replicas и другие параметры развертывания.
  5. Нажмите кнопку Save.

Удалить файл модели.

  1. Перейдите на страницу Model Files.
  2. Найдите файл модели, который хотите удалить.
  3. Нажмите кнопку с многоточием в столбце Operations и выберите Delete.
  4. (Необязательно) Отметьте опцию Also delete the file from disk.
  5. Нажмите кнопку Delete для подтверждения.