トラブルシューティング

GPUStack ログの表示

デフォルトの構成では、次のコマンドで GPUStack のログを確認できます。

1

docker logs -f gpustack

デバッグモードの有効化

GPUStack の実行時に --debug フラグを指定すると、DEBUG モードを有効にできます。

1
2
3
4
5

sudo docker run -d --name gpustack \
    ...
    gpustack/gpustack \
+    --debug
    ...

サーバーコンテナー内で次のコマンドを実行すると、実行中の GPUStack でもデバッグモードを有効にできます。

1

gpustack reload-config --set debug=true

--debug は詳細ログを有効にしますが、Python のメモリ割り当て追跡は開始しません。メモリプロファイリングを有効にするには、GPUStack の起動前に GPUSTACK_DEBUG_ENABLE_TRACEMALLOC=true を設定してください。既定値は false で、--debug とは独立しており、変更後は再起動が必要です。追跡には CPU とメモリの追加負荷がかかるため、メモリ使用量を調査するときに有効にしてください。

ログレベルの設定

ログレベルのエンドポイントには認証が必要です。

サーバーコンテナー内で次のコマンドを実行すると、GPUStack サーバーのログレベルを実行時に変更できます。管理者 API キーで認証してください。

1
2
3

curl -X PUT http://localhost/debug/log_level \
    -H "Authorization: Bearer <YOUR_API_KEY>" \
    -d "debug"

GPUStack ワーカーでも同様です。ローカルのワーカートークン（デフォルトは /var/lib/gpustack/worker_token）で認証してください。

1
2
3

curl -X PUT http://localhost:10150/debug/log_level \
    -H "Authorization: Bearer $(cat /var/lib/gpustack/worker_token)" \
    -d "debug"

使用可能なログレベルは trace、debug、info、warning、error、critical です。

管理者パスワードのリセット

管理者パスワードを忘れた場合は、サーバーコンテナー内で次のコマンドを実行してリセットできます。

1

gpustack reset-admin-password

GPUStack の起動時に --port でデフォルトのポートを変更した場合は、--server-url パラメーターで GPUStack の URL を指定します。サーバー上でローカルに実行し、localhost 経由でアクセスする必要があります。

1

gpustack reset-admin-password --server-url http://localhost:9090

アクセラレーター検出の診断への協力

インストールガイドに従って GPUStack ワーカーを正常にデプロイした後、
ワーカーがデバイスを検出できない場合は、
該当するワーカーコンテナーに入り、次のコマンドを実行して結果を GPUStack に報告してください。

1

time GPUSTACK_RUNTIME_LOG_LEVEL=debug GPUSTACK_RUNTIME_LOG_EXCEPTION=1 gpustack-runtime detect --format json

モデルデプロイの診断への協力

モデルのデプロイ後に問題が発生した場合は、 該当するワーカーコンテナーに入り、次のコマンドを実行して結果を GPUStack に報告してください。

1

gpustack-runtime inspect <model instance name>