コンテンツにスキップ
GPUStack
概要
English
简体中文
日本語
Русский
Türkçe
検索を初期化
gpustack/gpustack
ホーム
推論パフォーマンスラボ
コンテナーイメージセレクター
GPUStack
gpustack/gpustack
ホーム
ホーム
概要
クイックスタート
インストール
インストール
システム要件
Docker によるインストール
Helm によるインストール
オフライン環境へのインストール
アンインストール
アップグレード
アップグレード
Docker によるアップグレード
Helm によるアップグレード
クラスターデプロイのアップグレード
移行
ユーザーガイド
ユーザーガイド
プレイグラウンド
プレイグラウンド
チャット
画像
音声
埋め込み
リランキング
モデルカタログ
モデルデプロイ管理
プリフィルとデコードの分離
モデルルート管理
モデルプロバイダー管理
推論バックエンド管理
組み込み推論バックエンド
キャッシュサービス管理
OTA コンテンツ更新
互換性チェック
モデルファイル管理
クラスター管理
GPU サービス
GPU サービス
GPU インスタンス
インスタンスタイプ
インスタンステンプレート
ストレージ
ストレージタイプ
SSH 公開鍵
クラウド認証情報管理
API キー管理
ユーザー管理
使用量
シングルサインオン(SSO)認証
オブザーバビリティ
ベンチマーク
モデルの利用
モデルの利用
大規模言語モデルの利用
視覚言語モデルの利用
埋め込みモデルの利用
リランカーモデルの利用
画像生成モデルの利用
音声モデルの利用
チュートリアル
チュートリアル
分散 vLLM による DeepSeek R1 671B の実行
MultiProcessing バックエンドによる分散 vLLM の実行
分散 Ascend MindIE による DeepSeek R1 671B の実行
CPU 上での推論
ツール呼び出しによる推論
カスタム推論バックエンドの利用
DigitalOcean を使用した GPU クラスターの追加
Shuihua を使用した GPU クラスターの追加
Kubernetes を使用した GPU クラスターの追加
モデルルートの管理
ロードバランシングポリシーによるルーティング
LoRA アダプターを使用したモデルの提供
外部ツールとの連携
外部ツールとの連携
推論 API
Claude Code との連携
Dify との連携
RAGFlow との連携
Cherry Studio との連携
OpenClaw との連携
n8n との連携
MaxKB との連携
NewAPI との連携
LiteLLM との連携
アーキテクチャ
スケジューラー
トラブルシューティング
よくある質問
API リファレンス
CLI リファレンス
CLI リファレンス
起動
ツールのダウンロード
設定の再読み込み
イメージの一覧表示
イメージの保存
イメージの読み込み
イメージのコピー
環境変数
推論パフォーマンスラボ
推論パフォーマンスラボ
概要
スループットの最適化
スループットの最適化
Qwen3.5-35B-A3B
Qwen3.5-35B-A3B
H200
Qwen3.5-9B
Qwen3.5-9B
H100
GLM-4.5-Air
GLM-4.5-Air
A100
H100
GLM-4.x
GLM-4.x
A100
H100
H200
GPT-OSS-20B
GPT-OSS-20B
A100
H100
GPT-OSS-120B
GPT-OSS-120B
A100
H100
DeepSeek-R1
DeepSeek-R1
H200
DeepSeek-V3.2
DeepSeek-V3.2
H200
GLM-5.2
GLM-5.2
H200
Qwen3-8B
Qwen3-8B
910B
Qwen3-14B
Qwen3-14B
A100
H100
Qwen3-32B
Qwen3-32B
A100
H100
Qwen3-30B-A3B
Qwen3-30B-A3B
910B
Qwen3-235B-A22B
Qwen3-235B-A22B
A100
H100
レイテンシーの最適化
レイテンシーの最適化
Qwen3.5-35B-A3B
Qwen3.5-35B-A3B
H200
Qwen3.5-9B
Qwen3.5-9B
H100
Qwen3-8B
Qwen3-8B
H100
参考資料
参考資料
vLLM 推論パフォーマンスに対する量子化の影響
vLLM における LMCache のプリフィル高速化の評価
コンテナーイメージセレクター
ホーム
ユーザーガイド
プレイグラウンド
Playground
GPUStack は API をテストして試せる Playground UI を提供しています。詳しい手順と情報は、各サブページを参照してください。
ページトップへ戻る