Kubernetes を使った GPU クラスターの追加

GPUStack は、Kubernetes クラスターを GPU クラスターとして追加できます。

事前準備

すべてのノードで runtime class をインストール・設定した Kubernetes クラスターを用意します。この例では k3s を使用します。

Kubernetes クラスターの登録の手順を参照してください。

作成時には、次のオプションを設定できます。

Save をクリックしてクラスターを作成します。

Kubernetes プロバイダーのクラスター作成後、必要な GPU Vendors を選択します。複数選択も、選択なしも可能です。

Next をクリックすると、登録の準備状態を確認する環境チェックスクリプトが表示されます。k3s をインストールしたホストで実行します。

Kubernetes の runtimeclass リソースは情報のレコードにすぎず、各ノードのコンテナーランタイムが正しく設定されていることを保証しません。対象 GPU ベンダーのランタイムが設定済みでないと、ワーカーは起動できません。

Run Command ステップのスクリプトをコピーし、k3s をインストールしたホストで実行します。

Kubernetes クラスターにマニフェストを適用したら、Workers ページにワーカーノードが表示されるまで待ちます。

ワーカーが Ready になれば、モデルをデプロイできます。