vLLM'de LMCache Prefill Hızlandırmasının Değerlendirilmesi

LMCache, büyük ölçekli dağıtımların temel sorunlarını çözmek için tasarlanmış, LLM çıkarımına yönelik genişletilebilir bir KV önbellek katmanıdır. Bu belge LMCache'in vLLM çıkarım performansına etkisini, özellikle prefill hızlanmasını ve farklı iş yüklerine yansımalarını değerlendirir.

Sonuçlar

1. LMCache, yüksek önbellek isabet oranlarında prefill aşamasını önemli ölçüde hızlandırır. Deneylerde uzun bağlamlı (20K token) çok turlu konuşmalarda giriş TPS artışı +355.3%'e, TTFT azalması -58.8%'e ulaşmıştır.

2. Performans kazançları iş yüküne büyük ölçüde bağlıdır: - En uygun senaryolar: ortak önekler ve yinelenen kalıplar içeren çok turlu konuşmalar - Daha az uygun senaryolar: önbellek yeniden kullanım kalıbı olmayan rastgele girdiler

3. Blok boyutu optimizasyonu: test edilen yapılandırmalarda varsayılan 256 blok boyutu en iyi sonucu vermiştir.

4. Önbellek isabetsizlikleri ek yük doğurur. Önbellek yeniden kullanılmadığında -3% ile -15% arasında performans kaybı görülmüştür. Bu nedenle LMCache öngörülebilir önek kalıpları olan iş yüklerine en uygundur.

Teknik arka plan

LMCache'e genel bakış

LMCache, vLLM'in KV önbelleği yeteneklerini şu yollarla genişletir:

Başlıca kullanım senaryoları

1. Düşük önek önbelleği isabet oranları: GPU VRAM sınırlarını ve önbellek tahliye sorunlarını hafifletir
2. Dağıtık önbellek paylaşımı: birden çok vLLM örneği arasında önbellek paylaşımını sağlar
3. PD ayrıştırması: ayrıştırılmış dağıtım mimarilerini destekler

Deney kurulumu

• Model: Qwen3-8B
• Donanım: NVIDIA RTX 4090 24GB
• vLLM sürümü: v0.10.1.1
• Benchmark yöntemi: Çok turlu konuşma benchmark testi

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# Standard vLLM serving
vllm serve Qwen/Qwen3-8B

# LMCache-enabled serving
##### lmcache_config.yaml
chunk_size: 256
local_cpu: true
max_local_cpu_size: 50
#####
LMCACHE_CONFIG_FILE=/root/lmcache_config.yaml vllm serve /root/Qwen3-8B \
--kv-transfer-config '{"kv_connector":"LMCacheConnectorV1", "kv_role":"kv_both"}'

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

# Multi-turn bench scripts
# Ref: https://github.com/vllm-project/vllm/tree/main/benchmarks/multi_turn

##### generate_multi_turn.json
{
    "filetype": "generate_conversations",
    "num_conversations": 24,
    "text_files": ["pg1184.txt"],
    "print_stats": false,
    "prompt_input": {
        "num_turns": {
            "distribution": "uniform",
            "min": 12,
            "max": 18
        },
        "common_prefix_num_tokens": {
            "distribution": "constant",
            "value": 500
        },
        "prefix_num_tokens": {
            "distribution": "lognormal",
            "average": 4000,
            "max": 20000
        },
        "num_tokens": {
            "distribution": "uniform",
            "min": 120,
            "max": 160
        }
    },
    "prompt_output": {
        "num_tokens": {
            "distribution": "uniform",
            "min": 80,
            "max": 120
        }
    }
}
#####

python benchmark_serving_multi_turn.py --model $MODEL_PATH --input-file generate_multi_turn.json --num-clients 10 --max-active-conversations 10

Deney sonuçları

Çok turlu konuşma performansı

5K giriş token'ı

20K giriş token'ı

20K giriş token'ı + 1 çıkış token'ı

Blok boyutunu ayarlama

Önbellek isabetsizliği senaryoları (rastgele veri kümesi)

1

vllm bench serve --model Qwen/Qwen3-8B --endpoint-type openai-chat --endpoint /v1/chat/completions --dataset-name random --random-input-len 1024 --random-output-len 128 --num-prompts 100 --seed 40

1K giriş token'ı

8K giriş token'ı

20K giriş token'ı

Tüm VRAM KV önbelleği isabet senaryoları

1K giriş token'ı

8K giriş token'ı

20K giriş token'ı

Uzak depolama arka ucu performansı (20K token TTFT)