Устранение неполадок

Просмотр журналов GPUStack

Вы можете просмотреть журналы GPUStack с помощью следующих команд для настроек по умолчанию:

1

docker logs -f gpustack

Включить режим отладки.

Вы можете включить режим DEBUG, установив флаг --debug при запуске GPUStack:

1
2
3
4
5

sudo docker run -d --name gpustack \
    ...
    gpustack/gpustack \
+    --debug
    ...

Вы также можете включить режим отладки GPUStack во время выполнения, выполнив следующую команду внутри контейнера server:

1

gpustack reload-config --set debug=true

--debug включает подробное журналирование, но не запускает отслеживание выделения памяти Python. Для профилирования памяти задайте GPUSTACK_DEBUG_ENABLE_TRACEMALLOC=true перед запуском GPUStack. По умолчанию используется false; настройка не зависит от --debug и требует перезапуска. Включайте её при исследовании использования памяти, поскольку отслеживание увеличивает нагрузку на CPU и расход памяти.

Настройка уровня журнала.

Конечные точки уровня журнала требуют аутентификации.

Вы можете настроить уровень журнала сервера GPUStack во время выполнения, выполнив следующую команду внутри контейнера server. Аутентификация с помощью ключа API администратора:

1
2
3

curl -X PUT http://localhost/debug/log_level \
    -H "Authorization: Bearer <YOUR_API_KEY>" \
    -d "debug"

То же самое относится и к работникам GPUStack. Аутентификация с помощью локального токена работника (по умолчанию /var/lib/gpustack/worker_token):

1
2
3

curl -X PUT http://localhost:10150/debug/log_level \
    -H "Authorization: Bearer $(cat /var/lib/gpustack/worker_token)" \
    -d "debug"

Доступные уровни журнала: trace, debug, info, warning, error, critical.

Сбросить пароль администратора

Если вы забыли пароль администратора, сбросьте его, выполнив следующую команду внутри серверного контейнера:

1

gpustack reset-admin-password

Если вы изменили порт по умолчанию, используя --port при запуске GPUStack, укажите URL-адрес GPUStack, используя параметр --server-url. Он должен быть запущен локально на сервере и доступен через localhost:

1

gpustack reset-admin-password --server-url http://localhost:9090

Помощь в диагностике обнаружения ускорителей

После успешного развертывания GPUStack Worker, как описано в руководстве по установке, если Работнику не удается обнаружить какие-либо устройства, , войдите в соответствующий рабочий контейнер, выполните следующую команду и сообщите о результатах в GPUStack.

1

time GPUSTACK_RUNTIME_LOG_LEVEL=debug GPUSTACK_RUNTIME_LOG_EXCEPTION=1 gpustack-runtime detect --format json

Помощь в диагностике развертывания модели

Если у вас возникли проблемы после развертывания модели, войдите в соответствующий рабочий контейнер, выполните следующую команду и сообщите о результатах в GPUStack.

1

gpustack-runtime inspect <model instance name>