ベンチマーク

GPUStack は、実行中のモデルインスタンスを対象にベンチマークを実行できます。Worker が専用のベンチマークコンテナイメージで実行し、結果とログは Worker に保存されます。

前提条件

モデルインスタンスが実行中で、正常に動作していること。

ルートベンチマークのゲートウェイアドレス

ルートベンチマークでは、実行する Worker から到達可能な Higress のベース URL（/v1 を含まない）を次の順序で解決します。

実行する Worker が所属するクラスターの server_url。
Server の server_external_url。
作成リクエストのオリジン。ただし、Server の trusted_hosts で明示的に許可されている必要があります。

リクエストのオリジンへのフォールバックでは、ワイルドカードは使用できません。ホスト名のみの指定では標準の HTTP/HTTPS ポートだけが許可されます。カスタムポートは gateway.example:8443 のように明示してください。URL にパスプレフィックスがある場合、前段のプロキシで Higress への転送前に取り除く必要があります。

ターゲットはベンチマークの作成時に固定されます。変更した URL を使用するには、ベンチマークを再作成してください。進捗報告には引き続き Worker の管理アドレスを使用します。

ベンチマークの作成

Benchmarks ページに移動します。
Add Benchmark をクリックします。
インスタンスを選択し、構成を入力します。
Save ボタンをクリックします。

ShareGPT ワークロードの長さ

組み込みの ShareGPT データセットでは、入力トークンの最小長、最大長、または両方を必要に応じて設定できます。GPUStack は、トークナイザーで数えた長さが指定範囲内の初回プロンプトを保持します。出力トークン長は任意です。指定すると、保持されたすべてのプロンプトに同じ最大長を要求します。省略すると、各プロンプトはデータセット内の参照回答の長さを使用します。範囲に一致するプロンプトがない場合は、ベンチマークリクエストを送信する前に実行が失敗します。

ベンチマーク結果の表示

Benchmarks ページに移動します。
表示するベンチマークを探します。
ベンチマーク名をクリックして、結果と構成のスナップショットを表示します。

ベンチマーク結果のエクスポート

Benchmarks ページに移動します。
エクスポートするベンチマークを探します。
エクスポートする実行を 1 つ以上選択します。
Export ボタンをクリックして結果をダウンロードします。

ベンチマークの編集

Benchmarks ページに移動します。
編集するベンチマークを探します。
Operations 列の Edit ボタンをクリックします。
必要に応じて名前と説明を変更します。
Save ボタンをクリックします。

ベンチマークの削除

Benchmarks ページに移動します。
削除するベンチマークを探します。
Operations 列の Delete ボタンをクリックします。
削除を確認します。

プライベート CA を使用する HTTPS Server でのベンチマーク

進捗報告とルート推論は Worker の TLS ポリシーに従います。Worker で GPUSTACK_INSECURE_TLS または insecure_tls 構成オプション（--insecure-tls）が有効でない限り、証明書検証は有効です。ベンチマーク専用の TLS 設定はありません。

いずれかの入口が HTTPS を使用し、検証が有効な場合、Worker は信頼する CA バンドルをファイル内容としてベンチマークコンテナに注入します。Worker にインポートしたプライベート CA も含まれます（追加の信頼する CAを参照）。進捗クライアントは --progress-ca-cert を使用し、HTTPS 推論は SSL_CERT_FILE を通じて注入されたバンドルを使用してバックエンドの検証を有効にします。管理アドレスが HTTP でも、HTTPS ゲートウェイ用の CA は注入されます。

Worker が明示的に検証をスキップする場合、ベンチマークは両方の通信で検証をスキップし、CA バンドルを注入しません。検証が必要な HTTPS 推論でバンドルを読み取れない場合、別の信頼ストアを使用せず、起動を拒否します。進捗報告のみの場合は引き続きベストエフォートで動作し、報告の失敗をログに記録しても測定結果は破棄しません。