モデルファイルの管理
GPUStack では、管理者がモデルファイルをダウンロードして管理できます。
モデルファイルの追加
現在、GPUStack は Hugging Face、ModelScope、ローカルパスのモデルに対応しています。モデルファイルを追加するには、Model Files ページに移動します。
Hugging Face モデルの追加
Add Model Fileボタンをクリックし、ドロップダウンからHugging Faceを選択します。- 左上の検索バーで、
Qwen/Qwen3-0.6Bなどのモデル名を検索します。 - （オプション） GGUF モデルでは、
Available Filesから必要な量子化形式を選択します。 - モデルファイルをダウンロードする対象の Worker を選択します。
- （オプション） GPUStack のキャッシュディレクトリではなく任意のパスにダウンロードするには、
Local Directoryを指定します。 Saveボタンをクリックします。
ModelScope モデルの追加
Add Model Fileボタンをクリックし、ドロップダウンからModelScopeを選択します。- 左上の検索バーで、
Qwen/Qwen3-0.6Bなどのモデル名を検索します。 - （オプション） GGUF モデルでは、
Available Filesから必要な量子化形式を選択します。 - モデルファイルをダウンロードする対象の Worker を選択します。
- （オプション） GPUStack のキャッシュディレクトリではなく任意のパスにダウンロードするには、
Local Directoryを指定します。 Saveボタンをクリックします。
ローカルパスのモデルの追加
Worker 上のローカルパスからモデルを追加できます。パスには、Hugging Face のモデルフォルダーなどのディレクトリ、または GGUF モデルなどのファイルを指定できます。
Add Model Fileボタンをクリックし、ドロップダウンからLocal Pathを選択します。Model Pathを入力します。- 対象の Worker を選択します。
Saveボタンをクリックします。
ダウンロードの再試行
モデルファイルのダウンロードに失敗した場合や、非常に低速な状態で停止している場合は、再試行できます。
Model Filesページに移動します。- モデルファイルを探します。
Operations列の省略記号ボタンをクリックし、Retry Downloadを選択します。- GPUStack が、指定されたソースからモデルファイルのダウンロードを再試行します。
モデルのデプロイ
モデルファイルからモデルをデプロイできます。モデルは特定の Worker に保存されているため、GPUStack は worker-name キーを使う Worker セレクターを追加し、適切にスケジュールされるようにします。
ヒント
ノード間でモデルをフェイルオーバーさせるには、クラスター内のすべてのノードが同じパスでモデルファイルにアクセスできることを確認し、Worker セレクターから worker-name ラベルを手動で削除してください。
Model Filesページに移動します。- デプロイするモデルファイルを探します。
Operations列のDeployボタンをクリックします。Name、Backend、Backend Version、Replicasなどのデプロイパラメーターを確認または調整します。Saveボタンをクリックします。
モデルファイルの削除
Model Filesページに移動します。- 削除するモデルファイルを探します。
Operations列の省略記号ボタンをクリックし、Deleteを選択します。- （オプション）
Also delete the file from diskにチェックを入れます。 Deleteボタンをクリックして確認します。