Ana içeriğe geç

NVIDIA H100 GPU üzerinde GLM-4.x işlem hacmi optimizasyonu

Sonuç

H100 GPU üzerinde GLM-4.x (4.5, 4.6 ve 4.7) işlem hacmini optimize etmek için önerilen yapılandırma:

Model sunum komutu 
1
python3 -m sglang.launch_server --model zai-org/GLM-4.6-FP8 --tp-size 8 --ep-size 8 --tool-call-parser glm --reasoning-parser glm45

Not

  1. Benchmark testlerimiz olası tüm optimizasyon birleşimlerini kapsamaz. Örneğin, varsayılan yapılandırmasında en iyi performansı gösteren çıkarım motorunu sonraki ayarlamalar için başlangıç noktası olarak seçeriz. Bu eleme yaklaşımı yerel bir optimum verir; bu, genel optimum olmayabilir.
  2. En büyük toplu iş boyutu, zamanlama yapılandırması, genişletilmiş KV önbelleği, CUDA graph gibi belirli kullanım senaryolarına bağlı başka optimizasyonlar da vardır. Bu belgedeki sonuçlar, daha hedefli optimizasyonlar için başlangıç noktası olabilir.
  3. Testler belirli donanım ve yazılım yapılandırmalarında yürütülmüştür. Çıkarım motorlarındaki gelişmeler sonuçları değiştirebilir.
  4. Nicemleme doğruluğu etkileyebilir; ancak FP8 nicemleme çoğu modelde %1'den az doğruluk kaybı sağlayabilir. Ayrıntılar için değerlendirme sonuçlarına bakın. Bu nedenle yüksek işlem hacimli sunum senaryolarında FP8 nicemleme önemle önerilir.

Eksik noktalar veya yeni değişiklikleri yansıtacak güncellemeler varsa bize bildirin.

Optimizasyon hedefi

Yüksek eş zamanlı isteklerde yüksek işlem hacmi sağlar.

Deney kurulumu

Model

zai-org/GLM-4.6

Donanım

Tek düğümde 8 × NVIDIA H100 SXM GPU.

Motor sürümü

  • vLLM: v0.11.0
  • SGLang: v0.5.3
  • TensorRT-LLM: v1.0.0

Benchmark veri kümesi

  1. ShareGPT
  2. Farklı dizi uzunluklarına sahip rastgele veri kümesi:
    • Çok uzun istem: 32000 giriş token'ı, 100 çıkış token'ı
    • Uzun istem: 4000 giriş token'ı, 200 çıkış token'ı
    • Orta uzunlukta istem: 2000 giriş token'ı, 100 çıkış token'ı
    • Kısa istem: 128 giriş token'ı, 4 çıkış token'ı

Benchmark betiği

Model performansını ölçmek için vLLM bench CLI aracını kullanıyoruz. Benchmark şu komutla çalıştırılır:

1
2
3
4
5
6
7
8
# Prepare the ShareGPT dataset
wget https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json

# Benchmark on ShareGPT dataset
vllm bench serve --model zai-org/GLM-4.6 --backend openai-chat --endpoint /v1/chat/completions --dataset-name sharegpt --dataset-path ShareGPT_V3_unfiltered_cleaned_split.json --num-prompts 1000

# Benchmark on random dataset (fixed seed for reproducibility)
vllm bench serve --model zai-org/GLM-4.6 --backend openai-chat --endpoint /v1/chat/completions --dataset-name random --random-input-len 4000 --random-output-len 200 --num-prompts 500 --seed 42

Deney sonuçları

Bellek sınırları nedeniyle özgün BF16 model tek bir NVIDIA H100 GPU sunucusunda sunulamaz. Bu nedenle FP8 nicemlemeli modelin sunumuna odaklanıyoruz.

1. Çıkarım motoru seçimi

vLLM

Model sunum betiği 
1
vllm serve zai-org/GLM-4.6-FP8 -tp 8 --gpu-memory-utilization 0.85
Benchmark sonucu 
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
============ Serving Benchmark Result ============
Successful requests:                     1000
Benchmark duration (s):                  130.81
Total input tokens:                      214465
Total generated tokens:                  199904
Request throughput (req/s):              7.64
Output token throughput (tok/s):         1528.16
Peak output token throughput (tok/s):    3935.00
Peak concurrent requests:                1000.00
Total Token throughput (tok/s):          3167.63
---------------Time to First Token----------------
Mean TTFT (ms):                          26751.30
Median TTFT (ms):                        26848.82
P99 TTFT (ms):                           45890.42
-----Time per Output Token (excl. 1st token)------
Mean TPOT (ms):                          508.88
Median TPOT (ms):                        273.93
P99 TPOT (ms):                           1362.12
---------------Inter-token Latency----------------
Mean ITL (ms):                           222.86
Median ITL (ms):                         149.69
P99 ITL (ms):                            1365.56
==================================================

SGLang

Model sunum betiği 
1
python3 -m sglang.launch_server --model-path zai-org/GLM-4.6-FP8 --host 0.0.0.0 --port 8000 --tp-size 8
Benchmark sonucu 
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
============ Serving Benchmark Result ============
Successful requests:                     1000
Benchmark duration (s):                  109.16
Total input tokens:                      214465
Total generated tokens:                  199904
Request throughput (req/s):              9.16
Output token throughput (tok/s):         1831.30
Peak output token throughput (tok/s):    5614.00
Peak concurrent requests:                1000.00
Total Token throughput (tok/s):          3796.00
---------------Time to First Token----------------
Mean TTFT (ms):                          17555.93
Median TTFT (ms):                        17493.70
P99 TTFT (ms):                           32706.51
-----Time per Output Token (excl. 1st token)------
Mean TPOT (ms):                          684.10
Median TPOT (ms):                        252.95
P99 TPOT (ms):                           4790.60
---------------Inter-token Latency----------------
Mean ITL (ms):                           208.76
Median ITL (ms):                         129.94
P99 ITL (ms):                            514.51
==================================================

Sonuç: SGLang(3796.00 tok/s) > vLLM (3167.63 tok/s) > TensorRT-LLM (Desteklenmiyor)

2. SGLang için Paralellik

TP8EP8

Model sunum betiği 
1
python3 -m sglang.launch_server --model-path zai-org/GLM-4.6-FP8 --host 0.0.0.0 --port 8000 --tp-size 8 --ep-size 8
Benchmark sonucu 
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
============ Serving Benchmark Result ============
Successful requests:                     1000
Benchmark duration (s):                  107.44
Total input tokens:                      214465
Total generated tokens:                  199904
Request throughput (req/s):              9.31
Output token throughput (tok/s):         1860.58
Peak output token throughput (tok/s):    6492.00
Peak concurrent requests:                1000.00
Total Token throughput (tok/s):          3856.69
---------------Time to First Token----------------
Mean TTFT (ms):                          18994.85
Median TTFT (ms):                        18941.03
P99 TTFT (ms):                           34437.71
-----Time per Output Token (excl. 1st token)------
Mean TPOT (ms):                          677.30
Median TPOT (ms):                        237.99
P99 TPOT (ms):                           4817.75
---------------Inter-token Latency----------------
Mean ITL (ms):                           200.86
Median ITL (ms):                         123.73
P99 ITL (ms):                            502.84
==================================================

Optimizasyon seçeneklerinin özeti

Optimizasyon seçeneği İşlem hacmi iyileşmesi
Motor seçimi +19.8%
Paralellik +1.6%