概要

GPUStack は、AI モデルサービングと GPU インスタンスのプロビジョニングのためのオープンソース GPU クラスターマネージャーです。vLLM、SGLang、TensorRT-LLM、独自の推論エンジンを構成・オーケストレーションし、SSH でアクセスできる GPU インスタンスをオンデマンドで起動できます。

複数 GPU クラスターの管理

オンプレミスサーバー、Kubernetes、クラウドプロバイダーにわたる GPU クラスターを管理します。モデルデプロイメントと GPU インスタンス向けの GPU 分割をサポートし、VRAM と計算リソースの配分を設定できます。
プラグイン可能な推論エンジン

vLLM、SGLang、TensorRT-LLM などの高性能推論エンジンを自動で構成します。必要に応じてカスタム推論エンジンも追加できます。
推論性能の最適化

低レイテンシまたは高スループット向けの事前調整済みモードを提供します。Prefill/Decode 分離、プラットフォームが一元管理する共有 KV キャッシュ、投機的デコーディングをサポートします。
組み込みベンチマーク

同時実行数やリクエストレートを変えながらスループットとレイテンシを比較し、パフォーマンス目標を満たす運用設定の選択を支援します。
GPU インスタンス

開発、ファインチューニング、対話的なワークロード向けに、SSH でアクセスできる GPU インスタンスをオンデマンドで起動します。
エンタープライズ水準の運用

自動障害復旧、負荷分散、監視、認証、アクセス制御をサポートします。

アーキテクチャ

GPUStack は、開発チーム、IT 組織、サービスプロバイダーが Model-as-a-Service を大規模に提供できるようにします。LLM、音声、画像、動画モデル向けの業界標準 API に対応しています。ユーザー認証とアクセス制御、GPU 性能・使用率のリアルタイム監視、トークン使用量と API リクエストレートの詳細な計測機能を内蔵しています。

下図は、1 台の GPUStack サーバーでオンプレミスとクラウドにまたがる複数の GPU クラスターを管理する構成を示しています。GPUStack スケジューラーは GPU を割り当ててリソース使用率を最大化し、適切な推論エンジンを選択して性能を最適化します。管理者は、統合された Grafana と Prometheus のダッシュボードからシステムの健全性とメトリクスを把握できます。