Использование

На странице Usage сообщается, как ваши ресурсы GPUStack потребляются с течением времени — токены LLM, время выполнения экземпляра GPU/CPU и емкость хранилища — так что вы можете отслеживать внедрение, приписывать потребление пользователям и рассуждать о затратах.

Доступ к странице использования

Перейдите на страницу Usage с помощью левой навигации (значок гистограммы).
Выберите вкладку — Summary, Tokens, GPU Instances, Storage или Resource Events.
Установите date range (и любые другие фильтры), чтобы определить область отчета.

Вкладки:

Сводка — краткий обзор токенов, вычислений и хранения.
Tokens — потребление токенов LLM с разбивкой по модели/пользователю/ключу API.
Экземпляры графического процессора — время выполнения экземпляра графического процессора/ЦП с разбивкой по типу экземпляра/экземпляру/пользователю.
Хранилище — использование емкости хранилища в разбивке по хранилищу/пользователю.
События ресурсов — журнал аудита жизненного цикла с указанием номеров вычислений/хранилищ.

Что измеряется

Ресурс	Измеряется пока…	Детализация сегмента
Токены	Запрос на вывод обслуживается через шлюз.	Ежедневно
Экземпляры графического процессора/ЦП	Экземпляр находится в рабочей (лимитной) фазе. Остановленный или удаленный экземпляр не засчитывается.	в час
Хранилище	От создания до удаления — емкость измеряется независимо от того, подключена ли она.	в час

Видимость

GPUStack имеет две роли — Администратор и Пользователь (см. Управление пользователями):

Администратор — можно просмотреть использование всеми пользователями и сузить представление с помощью элемента управления Фильтровать по пользователю.
Пользователь — может просматривать только свое использование; Разбивка по пользователям недоступна.

Общие элементы управления

На каждой вкладке (кроме «Событий ресурсов», которая имеет собственные фильтры) используются одни и те же элементы управления:

Диапазон дат — окно отчетности. По умолчанию — последние 30 дней.
Фильтровать по пользователю — ограничить доступ к определенным пользователям (только администраторам). Вкладка «Токены» дополнительно предлагает Фильтр по модели и Фильтр по ключу API.
Обновить — повторная выборка с текущими фильтрами.
Метрика — показатель для графика тренда и сортировки ключевых показателей (например, GPU-часы или часы экземпляров).
Группировать по — разделить диаграмму тренда на одну серию для каждой группы (например, для каждого типа экземпляра).
Детализация — размер временного интервала тренда. Для экземпляров GPU и хранилищ доступны Час / День / Неделя / Месяц; для токенов — только День / Неделя / Месяц, поскольку их использование агрегируется по дням и почасовых данных нет.
Экспорт (значок загрузки доступен в разделе «Токены/Экземпляры графического процессора/Хранилище») — открывает предварительный просмотр текущей отфильтрованной разбивки и позволяет загрузить ее.

Определения метрик

Метрика	Значение
Входные токены	Токены промпта. Кэшированные входные токены — их подмножество, обслуженное из кэша промптов.
Выходные токены	Сгенерированные токены ответа.
Всего токенов	Входные + выходные токены.
Часы экземпляров	Фактическое время работы экземпляров: Σ(время работы), независимо от числа карт в экземпляре.
GPU-часы	Время работы ускорителей: Σ(время работы × число GPU). Экземпляр с 2 GPU за 1 час накапливает 2 GPU-часа, но 1 час экземпляра.
ГБ-дни	Выделенная ёмкость хранилища во времени: ёмкость (ГБ) × число дней хранения.
ГБ-часы	То же, что ГБ-дни, но в часах.
Активные экземпляры / Активные хранилища / Активные пользователи	Ресурсы, которые все еще активны (не Удалены) в окне.
Последняя активность	Последний временной интервал, в котором у ресурса накапливалось использование.

Примечание

Удаленные ресурсы сохраняют свое историческое использование — удаленная модель, экземпляр или хранилище по-прежнему отображаются в таблицах (с пометкой Удаленные) и учитываются в итоговых показателях, но они больше не учитываются как Активные.

Резюме

Вкладка сводки объединяет три раздела: Токены, Вычисления и Хранилище. Каждый показывает основные числовые показатели, кольцевую диаграмму распределения по типам и график тренда за выбранный период. Так можно оценить все три вида ресурсов без переключения вкладок.

Токены

Потребление токенов при инференсе LLM. Сверху показаны ключевые показатели: Входные / Выходные / Всего токенов, Запросы API и Использованные модели.

Нижняя часть группирует подробную таблицу тремя способами:

Модели — для каждой модели: входные токены / входные кэшированные токены / выходные токены / общее количество токенов, запросы API, последняя активность.
Пользователи — для каждого пользователя (только администраторы).
Ключи API — на каждый ключ API.

Экземпляры графического процессора

Время выполнения экземпляра графического процессора и процессора. Ключевые показатели эффективности: Часы использования графического процессора, Часы экземпляра, Активные экземпляры, Активные пользователи. Выберите Часы работы графического процессора или Часы экземпляра в качестве метрики диаграммы и сгруппируйте тренд по типу экземпляра, экземпляру или пользователю.

Подробная таблица группируется по:

Типы инстансов — для каждого типа инстанса: часы работы графического процессора, часы инстанса, активные экземпляры, последняя активность.
Экземпляры — за отдельный экземпляр.
Пользователи — для каждого пользователя (только администраторы).

Примечание

экземпляры ЦП не имеют ускорителя, поэтому они вносят вклад в Часы экземпляра, но не в Часы графического процессора.

Хранение

Использование емкости хранилища. Ключевые показатели эффективности: ГБ-дней, ГБ-часов, Активные хранилища, Активные пользователи. Выберите ГБ-дней или ГБ-часов в качестве показателя диаграммы и сгруппируйте по хранилищу или пользователям.

Подробная таблица группируется по:

Хранилище — на каждый том: Тип, Емкость, ГБ-дни, ГБ-часы, Последняя активность.
Пользователи — для каждого пользователя (только администраторы).

Примечание

Поскольку хранилище измеряется от создания до удаления независимо от вложения, для существующего, но простаивающего хранилища по-прежнему накапливаются ГБ-дни/ГБ-часы.

Ресурсные события

Журнал аудита жизненного цикла, объясняющий показатели вычислений и хранилища: одна строка на каждое изменение состояния, важное для учёта использования. Помогает понять, почему показатель имеет определённое значение.

Фильтры: диапазон дат, тип ресурса (экземпляр/хранилище графического процессора), тип события и нечеткий поиск по имени ресурса.

Часовой пояс

Все даты и время на странице «Использование» — сегменты тенденций, Последнее активное и время событий ресурса — отображаются в одном настраиваемом сводном часовом поясе, поэтому все вкладки выстраиваются в одну линию по одним и тем же границам календаря. Он контролируется переменной среды сервера GPUSTACK_TIMEZONE (устаревшая версия GPUSTACK_USAGE_ROLLUP_TIMEZONE по-прежнему работает как устаревший псевдоним) и по умолчанию используется локальный часовой пояс ОС сервера. Подробности см. в разделе Переменные среды, включая примечание о переходе на летнее время.

Сохранение данных

Объединенные пакеты токенов, вычислений и хранилища хранятся около 13 месяцев, после чего они перемещаются в архивные таблицы с помощью фонового задания. Окна хранения и расписания архивирования настраиваются с помощью переменных среды GPUSTACK_*_RETENTION_MONTHS и GPUSTACK_*_ARCHIVE_CRON.