Nicemlemenin vLLM Çıkarım Performansına Etkisi

Nicemleme, ağırlıkları ve aktivasyonları olağan 32-bit kayan nokta (float32) yerine 8-bit tamsayı (int8) gibi düşük hassasiyetli türlerle göstererek çıkarımın hesaplama ve bellek maliyetini azaltır.

Bu belgenin amacı, vLLM'de yaygın kullanılan nicemleme tekniklerini ve bunların çıkarım performansına, özellikle yüksek eş zamanlılıkta işlem hacmine etkisini değerlendirmektir.

Sonuçlar

1. Ağırlık-aktivasyon nicemlemesi (örneğin FP8), çok az kalite kaybıyla önemli performans artışı sağlar ve çoğu senaryo için önerilir. Statik nicemleme dinamik nicemlemeden yüksek işlem hacmi verir; doğruluk kalibrasyon verisine bağlıdır:

   • Dinamik FP8: +14.8% TPS, -14.1% TTFT, -21.8% TPOT
   • Statik FP8: +26.7% TPS, -20.4% TTFT, -32.4% TPOT

2. Çoğu nicemleme yaklaşımı, VRAM'in sınırlı olduğu senaryolarda işlem hacmini önemli ölçüde artırabilir; deneylerde +46%'ya varan kazanç görülmüştür.

3. Yalnızca ağırlık nicemlemesi, VRAM kısıtı olmadığında ters nicemleme yükü nedeniyle TPS, TTFT ve TPOT performansını düşürür.

4. Yalnızca ağırlık nicemleme yöntemleri arasında AWQ ve GPTQ en iyi çıkarım performansını verir. bitsandbytes ve GGUF düşük performans veya uyumluluk sorunları nedeniyle önerilmez.

5. Deneylerde AWQ ve GPTQ için varsayılan vLLM çekirdekleri, özel çekirdek uygulamalarından daha iyi performans göstermiştir.

6. KV önbelleği nicemlemesi, diğer optimizasyonlara göre görece küçük işlem hacmi kazançları sağlar.

Teknik arka plan

Nicemleme türü

Kalibrasyon

Kalibrasyon, nicemleme sırasında float32 aralıklarının hesaplandığı adımdır. Ağırlıkların gerçek aralığı nicemleme sırasında bilindiğinden işlem görece kolaydır. Aktivasyonlar için durum daha belirsizdir ve farklı yaklaşımlar bulunur:

1. Eğitim sonrası dinamik nicemleme: her aktivasyonun aralığı çalışma sırasında anlık hesaplanır. Az çabayla iyi sonuç verir; ancak aralıkları her seferinde hesaplama yükü nedeniyle statik nicemlemeden yavaş olabilir. Bazı donanımlarda kullanılamaz.

2. Eğitim sonrası statik nicemleme: her aktivasyonun aralığı nicemleme sırasında önceden hesaplanır. Genellikle temsili veriler modelden geçirilir ve aktivasyon değerleri kaydedilir. Uygulamada adımlar şöyledir: - Aktivasyon değerlerini kaydetmek için gözlemciler yerleştirilir - Kalibrasyon veri kümesinde belirli sayıda ileri geçiş yapılır (yaklaşık 200 örnek yeterlidir) - Her hesaplamanın aralığı seçilen kalibrasyon tekniğine göre hesaplanır

3. Nicemlemeye duyarlı eğitim: eğitim sonrası statik nicemlemeye benzer şekilde her aktivasyonun aralığı eğitim sırasında hesaplanır. Ancak gözlemciler yerine "sahte nicemleme" işleçleri kullanılır. Bunlar değerleri kaydederken nicemleme hatasını da benzeterek modelin bu hataya uyum sağlamasına izin verir.

KV önbelleği nicemlemesi

KV önbelleği nicemlemesi, anahtar-değer önbelleğini daha düşük hassasiyetle saklayarak çıkarımın bellek kullanımını azaltır; daha fazla token önbelleklenmesini ve daha yüksek işlem hacmini sağlar. vLLM FP8 türlerini (E4M3 ve E5M2) destekler, ancak INT8 KV önbelleğini desteklemez. 4-bit veya 2-bit KV nicemlemesi de araştırılmıştır; ancak genellikle MMLU puanlarının düşmesi gibi belirgin doğruluk kayıplarına yol açar.

Nicemleme çekirdekleri

vLLM, AWQ ve GPTQ gibi yöntemler için birden çok nicemleme çekirdeği sunar. AWQ varsayılan olarak resmî AWQ çekirdeğini, GPTQ modelleri ise ExLlamaV2 çekirdeğini kullanır. Marlin ve Machete gibi ek optimize edilmiş çekirdekler de vardır ve özellikle büyük toplu işlerde performansı artırır.

Çıkarım kalitesindeki düşüş

Nicemleme çıkarım kalitesini düşürebilir. Bu belge ağırlıklı olarak performans metriklerine odaklansa da kalite etkisini değerlendirmek için aşağıdaki kaynakları sunar:

Qwen3-8B modelinin çeşitli nicemleme yöntemleriyle benchmark sonuçları:

Ayrıntılar için AngelSlim benchmark sonuçlarına bakın.

Deney kurulumu

• Model: Qwen3-8B
• Donanım: NVIDIA RTX 4090 24GB / A100 80GB / H100 80GB
• vLLM sürümü: v0.9.2
• Veri kümesi: ShareGPT
• Benchmark betiği:

  1 2 3 4 5

  # Prepare the ShareGPT dataset wget https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json # Benchmark on ShareGPT dataset vllm bench serve --model Qwen/Qwen3-8B --endpoint-type openai-chat --endpoint /v1/chat/completions --dataset-name sharegpt --dataset-path ShareGPT_V3_unfiltered_cleaned_split.json --num-prompts 1000

Deney sonuçları

RTX 4090

A100 80GB

H100 80GB

KV önbelleği nicemlemesi