Оценка ускорения prefill с LMCache в vLLM

LMCache — расширяемый слой KV-кэша для инференса LLM, предназначенный для решения ключевых задач крупномасштабного развёртывания. В этом документе оценивается его влияние на производительность vLLM, прежде всего ускорение prefill и эффект при разных типах нагрузки.

Выводы

1. LMCache существенно ускоряет prefill при высокой доле попаданий в кэш: в экспериментах с многоходовыми диалогами с длинным контекстом (20K токенов) входной TPS вырос до +355.3%, а TTFT снизился на -58.8%.

2. Преимущества производительности сильно зависят от нагрузки: - Оптимальные сценарии: многоходовые диалоги с общими префиксами и повторяющимися шаблонами - Менее подходящие сценарии: случайные входы без повторного использования кэша

3. Оптимизация размера блока: в проверенных конфигурациях лучший результат показал размер блока по умолчанию 256.

4. Промахи кэша создают накладные расходы: без повторного использования кэша наблюдалось снижение производительности от -3% до -15%. Поэтому LMCache лучше всего подходит для нагрузок с предсказуемыми повторяющимися префиксами.

Технические сведения

Обзор LMCache

LMCache расширяет возможности KV-кэша vLLM следующим образом:

Основные сценарии использования

1. Низкая доля попаданий в кэш префиксов: смягчает ограничения GPU VRAM и проблемы вытеснения кэша
2. Распределённое совместное использование кэша: позволяет нескольким экземплярам vLLM использовать общий кэш
3. Разделение PD: поддерживает архитектуры с раздельным развёртыванием prefill и decode

Условия эксперимента

• Модель: Qwen3-8B
• Оборудование: NVIDIA RTX 4090 24GB
• Версия vLLM: v0.10.1.1
• Методика бенчмарка: Бенчмарк многоходового диалога

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# Standard vLLM serving
vllm serve Qwen/Qwen3-8B

# LMCache-enabled serving
##### lmcache_config.yaml
chunk_size: 256
local_cpu: true
max_local_cpu_size: 50
#####
LMCACHE_CONFIG_FILE=/root/lmcache_config.yaml vllm serve /root/Qwen3-8B \
--kv-transfer-config '{"kv_connector":"LMCacheConnectorV1", "kv_role":"kv_both"}'

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

# Multi-turn bench scripts
# Ref: https://github.com/vllm-project/vllm/tree/main/benchmarks/multi_turn

##### generate_multi_turn.json
{
    "filetype": "generate_conversations",
    "num_conversations": 24,
    "text_files": ["pg1184.txt"],
    "print_stats": false,
    "prompt_input": {
        "num_turns": {
            "distribution": "uniform",
            "min": 12,
            "max": 18
        },
        "common_prefix_num_tokens": {
            "distribution": "constant",
            "value": 500
        },
        "prefix_num_tokens": {
            "distribution": "lognormal",
            "average": 4000,
            "max": 20000
        },
        "num_tokens": {
            "distribution": "uniform",
            "min": 120,
            "max": 160
        }
    },
    "prompt_output": {
        "num_tokens": {
            "distribution": "uniform",
            "min": 80,
            "max": 120
        }
    }
}
#####

python benchmark_serving_multi_turn.py --model $MODEL_PATH --input-file generate_multi_turn.json --num-clients 10 --max-active-conversations 10

Результаты эксперимента

Производительность многоходового диалога

5K входных токенов

20K входных токенов

20K входных токенов + 1 выходной токен

Настройка размера блока

Сценарии промаха кэша (случайный набор данных)

1

vllm bench serve --model Qwen/Qwen3-8B --endpoint-type openai-chat --endpoint /v1/chat/completions --dataset-name random --random-input-len 1024 --random-output-len 128 --num-prompts 100 --seed 40

1K входных токенов

8K входных токенов

20K входных токенов

Сценарии полного попадания в KV-кэш VRAM

1K входных токенов

8K входных токенов

20K входных токенов

Производительность удалённых хранилищ (TTFT для 20K токенов)