コンテンツにスキップ

使用量

Usage ページは、LLM トークン、GPU/CPU インスタンスの稼働時間、ストレージ容量など、GPUStack のリソースが時間とともにどのように消費されたかを表示します。利用の広がりを追跡し、消費をユーザーに帰属させ、コストを検討できます。

Usage ページへのアクセス

  1. 左側のナビゲーションから、棒グラフアイコンの Usage ページに移動します。
  2. Summary、Tokens、GPU Instances、Storage、Resource Events のいずれかのタブを選択します。
  3. date range と必要なフィルターを設定して、レポートの範囲を指定します。

各タブの内容:

  • 概要 — トークン、演算、ストレージをひと目で確認できます。
  • トークン — モデル、ユーザー、API キー別の LLM トークン消費量。
  • GPU インスタンス — インスタンスタイプ、インスタンス、ユーザー別の GPU/CPU インスタンスの稼働時間。
  • ストレージ — ストレージ、ユーザー別のストレージ容量使用量。
  • リソースイベント — 演算とストレージの数値の根拠となるライフサイクル監査ログ。

計測対象

リソース 計測される期間 集計単位
トークン ゲートウェイを通じて推論リクエストが処理される間。 日単位
GPU/CPU インスタンス インスタンスが実行中(計測対象)のフェーズにある間。停止済みまたは削除済みのインスタンスは加算されません。 時間単位
ストレージ 作成から削除まで。接続の有無にかかわらず容量を計測します。 時間単位

表示範囲

GPUStack には、管理者とユーザーの 2 つのロールがあります(ユーザー管理を参照)。

  • 管理者 — 全ユーザーの使用量を閲覧でき、ユーザーで絞り込みコントロールで範囲を限定できます。
  • ユーザー — 自分の使用量だけを閲覧できます。ユーザー別の内訳は利用できません。

共通の操作

独自のフィルターを持つ Resource Events を除き、各タブは共通の操作を使用します。

  • 日付範囲 — レポートの対象期間。既定は過去 30 日です。
  • ユーザーで絞り込み — 特定のユーザーに限定します(管理者のみ)。Tokens タブには、さらにモデルで絞り込みと API キーで絞り込みがあります。
  • 更新 — 現在のフィルターで再取得します。
  • メトリクス — トレンドグラフと KPI の並べ替えに使う値(GPU 時間、インスタンス時間など)。
  • グループ化 — グループごと(インスタンスタイプごとなど)の系列にトレンドグラフを分割します。
  • 粒度 — トレンドの集計単位。GPU Instances と Storage は、時間 / 日 / 週 / 月に対応します。Tokens は日 / 週 / 月だけに対応します(トークン使用量は日次集計なので、時間単位の集計はありません)。
  • エクスポート(Tokens / GPU Instances / Storage で利用できるダウンロードアイコン)— 現在のフィルターを適用した内訳のプレビューを開き、ダウンロードできます。

メトリクスの定義

メトリクス 意味
入力トークン プロンプトトークン。キャッシュ済み入力トークンは、そのうちプロンプトキャッシュから提供された部分です。
出力トークン 生成した補完トークン。
合計トークン 入力 + 出力。
インスタンス時間 インスタンスの実時間の合計:Σ(稼働時間)。インスタンスが保持するカード数には依存しません。
GPU 時間 アクセラレーターの稼働時間:Σ(稼働時間 × GPU カード数)。2 GPU のインスタンスを 1 時間実行すると、GPU 時間は 2、インスタンス時間は 1 です。
GB 日 時間を考慮した確保済みストレージ:容量(GB)× 保持日数。
GB 時間 GB 日と同じ量を時間単位で表したもの。
アクティブなインスタンス / ストレージ / ユーザー 対象期間内に存続している(削除済みでない)リソース。
最終利用 そのリソースで使用量が発生した、最も新しい集計期間。

注記

削除したリソースの過去の使用量は保持されます。削除したモデル、インスタンス、ストレージも、削除済みの表示付きで表に残り、合計に含まれますが、アクティブとは数えられなくなります。

概要

使用量の概要

Summary タブには、トークン、演算、ストレージの 3 つのセクションがあります。それぞれ、主要な統計値、種類別のドーナツグラフ、選択期間のトレンドグラフを表示するため、タブを切り替えずに 3 種類のリソースをすばやく確認できます。

トークン

トークン使用量

LLM 推論のトークン消費量です。上部の KPI は、入力 / 出力 / 合計トークン、API リクエスト、使用モデル数です。

下部では、詳細表を 3 つの方法でグループ化します。

  • モデル — モデルごとの、入力トークン、キャッシュ済み入力トークン、出力トークン、合計トークン、API リクエスト、最終利用。
  • ユーザー — ユーザーごと(管理者のみ)。
  • API キー — API キーごと。

GPU インスタンス

GPU インスタンス使用量

GPU と CPU のインスタンス稼働時間です。KPI は、GPU 時間、インスタンス時間、アクティブなインスタンス数、アクティブユーザー数です。グラフのメトリクスに GPU 時間またはインスタンス時間を選び、インスタンスタイプ、インスタンス、ユーザーでトレンドをグループ化します。

詳細表のグループ:

  • インスタンスタイプ — タイプごとの、GPU 時間、インスタンス時間、アクティブなインスタンス数、最終利用。
  • インスタンス — 個々のインスタンス。
  • ユーザー — ユーザーごと(管理者のみ)。

注記

CPU インスタンスにはアクセラレーターがないため、インスタンス時間には加算されますが、GPU 時間には加算されません。

ストレージ

ストレージ使用量

ストレージ容量の使用量です。KPI は、GB 日、GB 時間、アクティブなストレージ数、アクティブユーザー数です。グラフのメトリクスに GB 日または GB 時間を選択し、ストレージまたはユーザーでグループ化します。

詳細表のグループ:

  • ストレージ — ボリュームごとの、種類、容量、GB 日、GB 時間、最終利用。
  • ユーザー — ユーザーごと(管理者のみ)。

注記

ストレージは接続の有無にかかわらず作成から削除まで計測されるため、存在するだけで使用していなくても、GB 日 / GB 時間は加算されます。

リソースイベント

リソースイベントの使用量

演算とストレージの数値の根拠となるライフサイクル監査ログです。計測に関係する状態遷移ごとに 1 行を記録し、数値の理由を調べる際に役立ちます。

フィルターは、日付範囲、リソースの種類(GPU Instance / Storage)、イベントの種類、リソース名のあいまい検索です。

タイムゾーン

Usage ページのすべての日付と時刻(トレンドの集計期間、最終利用、リソースイベントの時刻)は、設定可能な単一の集計タイムゾーンで表示されます。これにより、すべてのタブが同じ暦の境界にそろいます。Server の環境変数 GPUSTACK_TIMEZONE で制御します(従来の GPUSTACK_USAGE_ROLLUP_TIMEZONE も非推奨の別名として機能します)。既定値は Server の OS のローカルタイムゾーンです。夏時間の注意を含む詳細は、環境変数を参照してください。

データの保持

トークン、演算、ストレージの集計は約 13 か月保持され、その後、バックグラウンドジョブによってアーカイブ表に移されます。保持期間とアーカイブのスケジュールは、環境変数 GPUSTACK_*_RETENTION_MONTHS と GPUSTACK_*_ARCHIVE_CRON で設定できます。