コンテンツにスキップ

OTA コンテンツ更新

GPUStack は公式 OTA Server からモデルカタログ、コミュニティバックエンドマーケットプレイス、組み込みバックエンドのバージョンを取得します。そのため、アップグレードや再起動を行わずに、稼働中の GPUStack サービスで新しいモデルやバックエンドバージョンを利用できます。

更新は既定で有効で、コンテンツは単一のホスト https://ota.gpustack.ai/latest から取得します。ネットワークが制限された環境では、このホストを許可すれば十分です。そのネットワークからアクセスできる独自管理のファイルに切り替えることもできます。さらに、独自の OTA Server をホストし、起動時に --ota-server-url で GPUStack の参照先を指定する方法もあります。3 種類すべてのコンテンツは、参照先が独自の Server に変わるだけで、自動更新を継続します。start を参照してください。

ソースは、コンテンツを提供するページで設定します。カタログは Model Service > Catalog ページ、2 種類のバックエンドコンテンツは Model Service > Inference Backends ページにあります。どちらも、プラットフォーム管理者だけに表示される Manage Sources ボタンを使用します。

OTA で更新される内容

コンテンツ OTA Server が公開する内容
モデルカタログ 新規および改訂されたカタログエントリー
コミュニティバックエンドマーケットプレイス 新規および改訂されたコミュニティバックエンド定義
組み込みバックエンドのバージョン vLLM、SGLang などの組み込みバックエンドの新しいバージョンとイメージ

各種類のコンテンツは、一度に 1 つのソースから提供され、1 つのソースファイルがその種類の全コンテンツを含みます。保存時には追加ではなく、現在提供する内容を置き換えるため、新しいファイルに含まれないエントリーは提供されなくなります。

ソース 提供する内容 自動更新
URL Server が取得して保存するファイル 任意
Yaml File 貼り付けたファイル。モデルカタログのみ なし
Embedded リリースに同梱された内容のみ。ネットワークアクセスなし なし

ソースを未設定にすると、その種類のコンテンツは OTA Server に追従し、UI には Official と表示されます。独自の URL または Yaml ファイルを設定すると、OTA Server への追従を止め、指定した内容を使用します。

独自の Source URL は、次の条件を満たす必要があります。

  • http(s) で、認証情報を含まないこと。
  • リポジトリのページではなく、ファイル自体を指すこと。
  • ファイルが 4 MB 以下で、UTF-8 であること。

ファイルは Server が取得するため、Worker はそのアドレスにアクセスする必要がありません。

カタログソースの設定

  1. Model Service > Catalog ページに移動します。
  2. Manage Sources ボタンをクリックします。
  3. Catalog Source ドロワーで、2 種類のソースから選択します。

    • URL:Source URL を入力します。

      URL ソースを設定する Catalog Source ドロワー

    • Yaml File:Content に内容を貼り付けるか、Import をクリックしてファイルをエディターに読み込みます。

      Yaml File エディターを表示する Catalog Source ドロワー

  4. Save をクリックします。

注記

空のファイルではなく、既存の内容から始めてください。Yaml File では Official File をクリックすると、OTA Server が現在提供する内容をダウンロードできます。URL の Source URL 欄には現在追従しているアドレスが入力されているので、そこからコピーできます。

バックエンドソースの設定

2 種類のバックエンドコンテンツは個別に更新され、それぞれ独自のソースを持ちます。1 つのドロワーにあるパネルで、両方を設定します。

  1. Model Service > Inference Backends ページに移動します。
  2. Manage Sources ボタンをクリックします。
  3. Backend Source ドロワーで、必要なパネルを展開します。
    • Built-in backend source:組み込みバックエンド(vLLM、SGLang、MindIE、VoxBox)のバージョンとイメージ。
    • Community backend source:コミュニティバックエンドマーケットプレイス。
  4. URL を選択し、Source URL を入力します。どちらも URL のみに対応し、内容の貼り付けはできません。
  5. そのパネルの Save ボタンをクリックします。各パネルは個別に保存します。

両方のパネルを展開した Backend Source ドロワー

警告

デプロイがまだ使用しているバックエンドバージョンを削除する更新は拒否され、メッセージに該当モデルが一覧表示されます。先にそれらのモデルをゼロまでスケールするか、新しいファイルにも含まれるバージョンに移行してから、再度保存してください。

注記

新しいファイルに含まれなくなったコミュニティバックエンドでも、有効になっているか、手動で追加したバージョンがある場合は、カスタムバックエンドとして保持され、モデルは実行を継続します。ソースが再びそのバックエンドを公開するとコミュニティバックエンドに戻りますが、有効化は自分で行う必要があります。無効で未変更のものは削除されるため、編集済みの default_env は、戻ってきても復元されません。

更新スケジュールの制御

各ソースは独自の更新設定を持ちます。

  • Auto-update:一定間隔で自動的に更新を確認するかどうかです。OTA Server に追従中は既定で有効です。独自の URL に切り替えた後は既定で無効になるため、自分で選択してください。
  • Update Interval (hours):Auto-update を選択すると表示されます。自動確認の間隔で、既定の 12 時間から変更できます。
  • Update Now:指定間隔を待たず、一度だけすぐに確認します。

Source URL を変更した後は、Save をクリックしてください。新しいアドレスを保存し、その場で取得します。内容が変わっていなければ、再ダウンロードはしません。

注記

OTA Server に一時的にアクセスできなくても、サービスには影響しません。取得済みの内容を引き続き提供し、エラーを記録して、1 時間以内に再試行します。OTA Server に一度もアクセスできていないクラスターは、同梱コンテンツを提供します。その内容は完全ですが、現在の GPUStack バージョンより後に公開された内容は含みません。

更新を止めて同梱コンテンツを提供する

Auto-update の選択解除は、確認だけを停止します。取得済みの内容は引き続き提供されます。取得した内容の提供自体を止めるには、Embedded を選択して保存します。その種類のコンテンツは、新規のオフラインインストールと同様に、リリースに同梱されたものだけになります。

カタログのエントリーがクラスターに合わない場合や、環境内で一部のバックエンドバージョンのイメージを取得できない場合などに、Embedded に切り替えてください。

  • 設定は失われません。 入力した URL と内容は保持され、提供対象から外されるだけです。URL または Yaml File を再び選ぶと復元できます。
  • ネットワークは不要です。 使用を止めたいファイルにすでにアクセスできなくても、Embedded に切り替えられます。
  • 影響するのは、この 1 種類のコンテンツだけです。すべての Server ですぐに有効になり、再起動は不要です。
  • OTA Server への追従に戻すには、Reset to Official Source をクリックします。入力した内容は消去されます。

警告

Embedded に切り替えると利用可能なバックエンドバージョンが減るため、同じ理由で拒否される場合があります。切り替える前に、取得コンテンツにしか含まれないバージョンを使用中のデプロイがないことを確認してください。