vLLM：释放大型语言模型服务潜力的利器

导言

大型语言模型（LLMs）在过去几年中取得了令人瞩目的进展，它们能够理解和生成人类语言，并在各种任务中展现出强大的能力，从文本创作到代码生成，再到复杂推理。然而，将这些庞大且计算密集型的模型投入实际应用面临着巨大的挑战，其中最核心的问题之一就是如何高效、低成本地为用户提供服务。

传统的模型服务方法在处理LLM时常常显得捉襟见肘。高延迟、低吞吐量以及庞大的显存占用成为了制约LLM广泛部署的关键瓶颈。想象一下，当数千甚至数万用户同时向一个大模型发送请求时，如何才能在保证每个用户获得及时响应的同时，最大限度地利用昂贵的硬件资源？

正是在这样的背景下，vLLM应运而生。vLLM是一个专为大规模语言模型推理和服务设计的开源高性能推理库。它通过引入一系列创新技术，显著提升了LLMs的服务性能，尤其是在吞吐量和显存利用率方面。本文将深入探讨vLLM的设计理念、核心技术、优势，并提供详尽的入门指南，帮助您快速上手使用vLLM部署您的LLMs。

LLM服务面临的挑战

在深入了解vLLM之前，我们先来看看传统LLM服务模式遇到的具体困难：

巨大的计算量与高延迟： 生成文本是一个顺序过程，模型需要根据前一个生成的token来预测下一个。这个过程涉及到大量的矩阵乘法计算。即使是单个用户的请求，生成一段较长的文本也需要耗费可观的时间，导致较高的延迟。
显存（GPU Memory）瓶颈： LLMs拥有数十亿甚至数千亿的参数，这些参数本身就需要占用大量显存。更重要的是，在生成过程中，模型需要存储每一层、每个token的Key和Value (KV) 状态，这被称为KV Cache。KV Cache的大小与序列长度、Batch大小以及模型层数和头部数量呈线性关系。对于长序列或大Batch，KV Cache会迅速消耗大量显存，甚至超过模型参数本身所需的显存。
低硬件利用率与低吞吐量：
- 静态Batching的低效： 传统的服务通常采用静态Batching，即等待固定数量的请求到达后，将它们打包成一个Batch进行处理。这种方式会导致严重的等待时间和资源浪费。如果Batch中的序列长度差异很大，短序列完成后，它们在Batch中的位置会变成“空洞”，但KV Cache仍可能占用显存直到整个Batch完成，造成显存碎片化和低效利用。
- Bubble效应： 在文本生成过程中，每个序列的生成速度可能不同。使用静态Batching时，整个Batch必须等待最慢的序列生成完成后才能释放资源，导致GPU在等待过程中出现空闲，形成计算“气泡”（Bubble），降低了整体硬件利用率。
- KV Cache的浪费： 如前所述，KV Cache占用的显存是巨大的。传统方法难以高效管理和共享KV Cache，导致显存迅速耗尽，限制了可以同时处理的请求数量（即Batch大小），进而限制了吞吐量。

这些问题使得在有限的GPU资源上同时为大量用户提供低延迟的LLM服务变得异常困难且成本高昂。

vLLM：解决方案的概述

vLLM的诞生正是为了解决上述挑战。它的核心设计理念在于通过更加智能和高效的显存管理以及请求调度策略，最大化GPU的吞吐量和利用率。vLLM的主要创新点集中在以下几个方面：

PagedAttention： 这是vLLM最核心的创新，也是其性能提升的关键。它借鉴了操作系统中虚拟内存和分页（Paging）的思想，对KV Cache进行管理，有效解决了KV Cache的碎片化和浪费问题。
Continuous Batching (迭代级别调度)： 与传统的请求级别调度不同，vLLM在生成过程的每个迭代步骤（生成每一个token）进行调度，能够动态地将新请求加入到Batch中，从而减少等待时间并提高GPU的持续利用率。
优化的CUDA Kernel： vLLM实现了高度优化的CUDA算子，特别是针对Attention计算，进一步提升了计算效率。

通过这些技术，vLLM能够在相同的硬件条件下，提供比传统服务框架（如 Hugging Face Transformers 的生成接口、原生 PyTorch/TensorFlow 推理）显著更高的吞吐量，同时保持较低的延迟。

vLLM的核心技术深度解析

1. PagedAttention：KV Cache的高效管理

理解PagedAttention需要先理解KV Cache的问题。在Transformer模型的自注意力机制中，计算一个token的输出需要其之前的 Key (K) 和 Value (V) 向量。这些K和V向量会被缓存起来，以便后续token可以直接使用，避免重复计算。对于一个Batch中的所有序列，模型每一层都会产生对应的K和V向量，这些向量构成了KV Cache。

KV Cache的大小取决于：
* Batch Size
* 序列的最大长度 (max_model_len)
* 模型的层数
* 注意力头的数量
* 每个头的维度

在一个Batch中，不同请求的序列长度通常是不同的。传统的KV Cache管理方式是为Batch中的每个序列预分配一块连续的显存空间来存储其KV Cache，这通常是按照Batch中最长序列的长度来预分配的。

问题：
* 显存碎片化： 当短序列完成时，它们预留的KV Cache空间可能无法被其他序列（特别是需要更大空间的序列）立即使用，导致显存中出现“空洞”（碎片）。
* 显存浪费： 如果Batch中包含一个非常长的序列，即使大部分序列都很短，也需要按照这个最长序列的长度预分配空间，导致大量为短序列预留的空间被浪费。

PagedAttention 的解决方案：

PagedAttention借鉴了操作系统中的分页机制。它将KV Cache不再视为一个连续的块，而是分解成固定大小的块（Blocks）。每个块包含固定数量的token的KV状态。

块（Block）： 一个固定大小的单位，可以存储 block_size 个token的KV状态。block_size 是一个可配置的参数（例如，8或16）。
块表（Block Table）： 每个序列都有一个与之关联的块表，记录了该序列的KV Cache数据存储在显存中的哪些物理块中。这些物理块在显存中不一定是连续的。

当一个新token生成时，vLLM会为它分配一个或多个新的块来存储其KV状态。这些块可以是从显存中任意可用的空闲块池中分配的。如果序列需要扩展（生成更多token），vLLM只需为其分配新的块，并更新其块表即可。

PagedAttention 的优势：

减少显存碎片化： 由于块是固定大小的，且可以在显存中非连续存放，显存空间更容易被有效填充，减少了“空洞”。
提高显存利用率： 不再需要为每个序列预分配最大可能的空间，只根据当前序列实际生成的token数量分配所需的块。短序列只占用少量块，长序列占用更多块，显存按需分配，大大提高了整体显存利用率。
支持KV Cache共享（高级）： PagedAttention的块设计天然支持多个序列共享同一个物理块，这在并行采样或处理Prompt Chaining等场景下可以进一步节省显存（例如，多个生成分支可以共享相同的Prompt的KV Cache）。

通过PagedAttention，vLLM可以在相同的显存容量下，容纳更多的并发序列，从而显著提升了服务吞吐量。根据vLLM团队的实验数据，PagedAttention可以将KV Cache的利用率从传统的不到10%提升到惊人的60%以上。

2. Continuous Batching（迭代级别调度）

传统的请求调度方式是在一个请求完成（生成到EOS token或达到最大长度）后，再将队列中的下一个请求加入Batch。这种方式会引入额外的等待时间，尤其是在生成速度慢的请求完成时。

vLLM采用了Continuous Batching（或者称为迭代级别调度）。它的工作流程是：

请求队列： 所有待处理的请求进入一个队列。
动态Batching： 在每个生成迭代步骤（即生成一个token时），vLLM都会检查队列，如果GPU资源（主要是显存）允许，就会将队列中的新请求加入到当前正在处理的Batch中。
并行生成： Batch中的所有序列并行地生成下一个token。
完成处理： 当一个序列生成完成（达到EOS或最大长度）时，它会立即从Batch中移除，其占用的显存块（通过PagedAttention管理）也会立即释放回空闲块池。

Continuous Batching 的优势：

减少等待时间： 新请求无需等待整个Batch完成，只要有资源就可以被加入处理，降低了用户的平均等待延迟。
提高GPU利用率： GPU能够更持续地进行计算，减少了因为等待Batch完成或序列长度差异导致的空闲时间，从而提高了整体吞吐量。
灵活适应负载变化： 能够更好地应对突发流量和不同长度的请求。

Combined with PagedAttention’s efficient memory management, Continuous Batching ensures that the GPU is kept busy generating tokens for as many sequences as memory allows, leading to maximum throughput.

3. 优化的CUDA Kernel

vLLM针对LLM的生成过程，特别是Attention计算和Prefill（处理Prompt）阶段，实现了高度优化的CUDA Kernel。这些Kernel是手写的或者使用了诸如CUTLASS等高性能库进行优化，能够更高效地利用GPU的计算资源和显存带宽，进一步提升了生成速度。

总而言之，vLLM的性能飞跃是PagedAttention、Continuous Batching和优化的CUDA Kernel这三项技术协同作用的结果。PagedAttention解决了显存瓶颈，允许更大的并发Batch；Continuous Batching解决了调度等待问题，保证GPU持续工作；优化的Kernel则榨干了单个token生成的计算性能。

vLLM的优势总结

极高的吞吐量： 相较于其他服务框架，vLLM在相同硬件下通常能提供数倍甚至数十倍的吞吐量提升，这对于大规模用户场景至关重要。
高效的显存利用： PagedAttention显著降低了KV Cache的显存占用和碎片化，允许在有限显存中服务更多的模型和请求。
低延迟： Continuous Batching和高效Kernel减少了请求的排队和处理时间，提供了更好的用户体验。
易于使用： vLLM提供了简洁的Python API和方便的API服务器，与Hugging Face Transformers生态系统兼容良好。
支持广泛的模型： vLLM支持各种主流的开源LLM架构，如LLaMA、Mistral、Gemma、Falcon、Qwen等，并且持续更新支持新的模型。
支持多种特性： 支持量化模型（如AWQ、GPTQ）、LoRA、多GPU推理、流式输出等。

这些优势使得vLLM成为目前部署和 serving 大型语言模型最受欢迎和高效的解决方案之一。

vLLM入门指南

本节将指导您如何在本地环境中使用vLLM进行模型加载和推理。

前提条件

在使用vLLM之前，请确保您的环境满足以下条件：

NVIDIA GPU： vLLM依赖于CUDA进行高性能计算，因此需要NVIDIA显卡。建议使用较新的型号（如RTX 30系列、40系列或A系列、H系列数据中心卡），显存越大越好（建议至少8GB，对于大模型可能需要24GB+）。
CUDA Toolkit： 需要安装与您的GPU驱动兼容的CUDA Toolkit。vLLM通常需要较新版本的CUDA（例如 CUDA 11.8 或 12.x）。安装步骤请参考NVIDIA官方文档。
Linux 操作系统： 虽然在WSL2下可能运行，但Linux是官方推荐和主要测试的平台，兼容性最好。
Python 环境： 建议使用 Python 3.8 或更高版本。创建一个独立的虚拟环境（如使用 venv 或 conda）是一个好习惯。

安装 vLLM

安装vLLM非常简单，可以通过pip完成。根据您的CUDA版本选择安装命令。

创建并激活虚拟环境 (推荐):
bash python -m venv venv_vllm source venv_vllm/bin/activate
安装 PyTorch (如果尚未安装):
vLLM依赖PyTorch。请根据您的CUDA版本安装对应版本的PyTorch。例如，对于CUDA 12.x：
bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
或者对于CUDA 11.8：
bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
请根据PyTorch官方网站获取与您CUDA版本匹配的安装命令。
安装 vLLM:
安装 vLLM 时，通常会自动安装所需的依赖。
bash pip install vllm
如果您需要安装特定CUDA版本的vLLM（例如，如果您有多个CUDA版本或者遇到兼容性问题），可以指定对应的extras：
“`bash
# For CUDA 12.x
pip install vllm[cu121]

For CUDA 11.x

pip install vllm[cu118]
“`
请参考 vLLM 官方文档获取最新的安装命令和 CUDA 版本兼容性信息。

安装完成后，您可以运行 pip show vllm 来确认安装成功。

基本使用：Python API

vLLM提供了简洁的Python API，可以直接加载模型并进行文本生成。

“`python

test_vllm.py

from vllm import LLM, SamplingParams
import time

1. 初始化 LLM 对象

指定要加载的模型名称。这里使用 Hugging Face Hub 上的模型名称。

‘NousResearch/Llama-2-7b-chat-hf’ 是一个常用的7B参数模型，需要约14-16GB显存。

如果显存不足，可以尝试更小的模型，例如 ‘Qwen/Qwen1.5-0.5B-Chat’ (0.5B参数)。

或者使用量化后的模型，例如 ‘TheBloke/Llama-2-7B-Chat-AWQ’ (需要安装awq库)。

model_name = “Qwen/Qwen1.5-0.5B-Chat” # 请根据您的显存选择合适的模型

try:
print(f”正在加载模型：{model_name}…”)
# 加载模型。tensor_parallel_size=1 表示使用单卡。
# 如果显存实在不足，可以尝试设置 gpu_memory_utilization 参数，
# 例如 gpu_memory_utilization=0.8 限制vLLM最多使用80%的显存，
# 但可能会影响性能或导致OOM（Out of Memory）错误。
# 或者设置 max_model_len 参数来限制最大序列长度，减少KV Cache占用。
llm = LLM(model=model_name, tensor_parallel_size=1)
print(“模型加载成功！”)

except Exception as e:
print(f”模型加载失败：{e}”)
print(“请检查您的显存是否充足，CUDA和PyTorch版本是否兼容，模型名称是否正确。”)
print(“您可以尝试更换更小的模型，或查阅vLLM官方文档获取更多排错信息。”)
exit()

2. 定义采样参数 (Generation Parameters)

SamplingParams 控制文本生成的行为，如温度、top_p、最大生成长度等。

sampling_params = SamplingParams(
temperature=0.8, # 控制生成文本的随机性，越高越随机
top_p=0.95, # Nucleus Sampling，只考虑概率累积到top_p的最高概率token
max_tokens=256, # 生成文本的最大长度
n=1, # 为每个prompt生成多少个独立的完成结果
presence_penalty=0.5, # 对已生成的token进行惩罚，减少重复
frequency_penalty=0.5, # 对token出现的频率进行惩罚
stop=[“\n\n”] # 指定停止生成的字符串
)

3. 准备Prompt

prompts = [
“Hello, my name is”,
“The capital of France is”,
“Write a short poem about nature.”,
“Please provide a Python function to calculate the Fibonacci sequence.”
]

print(“\n开始生成文本…”)
start_time = time.time()

4. 进行文本生成

outputs = llm.generate(prompts, sampling_params)

end_time = time.time()
print(f”文本生成完成，总耗时: {end_time – start_time:.2f}秒”)

5. 打印结果

print(“\n— 生成结果 —“)
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text # outputs是一个列表，因为n>1时会生成多个结果
print(f”Prompt: {prompt!r}”)
print(f”Generated text: {generated_text!r}”)
print(“-” * 20)

“`

保存上述代码为 test_vllm.py，然后在您的虚拟环境下运行：

bash python test_vllm.py

程序将加载模型，然后对列表中的每个prompt生成文本，并打印结果。您会注意到，即使处理多个prompt，加载模型后生成过程通常会非常快。

理解 SamplingParams

SamplingParams 对象包含了控制文本生成过程的关键参数：

temperature (float): 控制随机性。值越高，生成结果越随机多样；值越低，结果越确定和保守。通常在 0.1 到 1.0 之间。
top_p (float): Nucleus Sampling 参数。模型只考虑概率累积和小于 top_p 的最高概率token。例如，top_p=0.95 表示只从概率最高的那些token中采样，直到它们的概率累加达到95%。
top_k (int): Top-K Sampling 参数。模型只考虑概率最高的 top_k 个token进行采样。top_k=-1 表示禁用 Top-K Sampling。
max_tokens (int): 为每个输入prompt生成文本的最大长度（token数量）。这是防止无限循环或生成过长文本的关键参数。
n (int): 为每个输入prompt生成多少个独立的结果。如果设置为大于1，vLLM会并行生成多个结果，这需要更多显存。
presence_penalty (float): 对已经生成的token根据其出现与否进行惩罚。值越高，模型越倾向于生成新的token，减少重复。
frequency_penalty (float): 对已经生成的token根据其出现频率进行惩罚。值越高，模型越倾向于避免生成频繁出现的token。
stop (List[str]): 一个字符串列表。当模型生成了列表中的任意一个字符串时，生成过程就会停止。常用于控制对话机器人生成单轮回复。
ignore_eos (bool): 如果设置为 True，即使生成了结束标志token (EOS token)，也不会停止生成，直到达到 max_tokens。
use_beam_search (bool): 是否使用 Beam Search 而不是采样。Beam Search 通常用于需要更确定和最优（在给定指标下）结果的场景，如机器翻译或摘要。使用 Beam Search 时，temperature, top_p, top_k 等采样参数通常会被忽略，而使用 best_of 和 length_penalty 等参数。

这些参数的合理配置对生成文本的质量和特性至关重要。

部署为 API 服务器

在生产环境中，您通常希望将vLLM部署为一个可以接收HTTP请求的服务。vLLM内置了一个方便的API服务器，提供了OpenAI兼容的API接口。

启动 API Server:
在您的虚拟环境中运行以下命令：
bash python -m vllm.entrypoints.api_server \ --model Qwen/Qwen1.5-0.5B-Chat \ --host 0.0.0.0 \ --port 8000 \ --gpu-memory-utilization 0.9 \ --max-model-len 512 # 可选：限制最大序列长度以节省显存 # --quantization awq # 如果是量化模型，例如 TheBloke/Llama-2-7B-Chat-AWQ
- --model: 指定要加载的模型。
- --host: 服务监听的IP地址。0.0.0.0 表示监听所有网络接口。
- --port: 服务监听的端口。
- --gpu-memory-utilization: 设置vLLM可以使用的GPU显存的比例（0.0到1.0）。例如，0.9 表示最多使用90%的显存。这是一个非常重要的参数，用于平衡模型加载、KV Cache和其他可能的GPU任务。如果设置得太高，可能导致OOM；设置得太低，则限制了吞吐量。需要根据您的显存大小和模型进行调整。
- --max-model-len: 设置模型处理或生成的最大总长度（Prompt + 生成文本）。限制这个值可以减少KV Cache的最大可能占用，从而允许更大的并发Batch，但会限制处理长文本的能力。
- --quantization: 如果模型是量化版本（例如 AWQ, GPTQ），指定量化方法。需要额外安装相应的库（如 pip install vllm[awq]）。
发送 API 请求:
服务器启动后，您可以使用 curl 或任何HTTP客户端（如Python的 requests 库）向 http://<host>:<port>/v1/completions 或 http://<host>:<port>/v1/chat/completions (对于对话模型) 发送POST请求。

示例 (使用 curl 发送 completions 请求):
bash curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen/Qwen1.5-0.5B-Chat", "prompt": "Write a story about a dog who loves to fly.", "max_tokens": 150, "temperature": 0.7 }'

示例 (使用 curl 发送 chat/completions 请求 – 推荐用于对话模型):
bash curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen/Qwen1.5-0.5B-Chat", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Tell me a joke about cats."} ], "max_tokens": 100, "temperature": 0.8 }'

您也可以通过添加 "stream": true 参数来开启流式输出，这对于聊天应用的用户体验非常重要。

这个OpenAI兼容的API接口使得许多现有的基于OpenAI API的应用或库（如LangChain、LlamaIndex等）可以方便地切换后端到vLLM，而无需修改太多代码。

使用 CLI 进行简单推理

vLLM也提供一个简单的命令行接口，用于快速测试模型。

bash python -m vllm.entrypoints.cli \ --model Qwen/Qwen1.5-0.5B-Chat \ --prompt "What is the capital of Canada?" \ --max-tokens 100

这个命令会加载模型，然后直接输出对给定prompt的生成结果。

限制与注意事项

尽管vLLM性能卓越，但也存在一些限制和需要注意的地方：

硬件依赖： 强依赖于NVIDIA GPU和CUDA，无法在CPU或其他厂商的GPU上运行。
CUDA版本兼容性： 需要确保您的CUDA版本与vLLM的版本以及安装的PyTorch版本兼容。版本不匹配是常见的安装问题来源。
快速发展： vLLM是一个快速发展的项目，API和功能可能会有变化。建议关注其GitHub仓库获取最新信息。
显存是关键： 即使vLLM优化了显存使用，运行大型模型仍然需要大量显存。选择合适的模型（参数量）或使用量化模型是关键。
Batch大小由显存和max_model_len决定： vLLM的并发Batch大小是动态的，主要受限于KV Cache占用的显存。gpu_memory_utilization 和 max_model_len 参数会直接影响最大可能的并发请求数量。

结论

vLLM作为一款开源的高性能LLM推理和服务库，凭借其创新的PagedAttention技术和高效的调度策略，显著提升了大型语言模型的服务效率，解决了传统方法中显存利用率低、吞吐量低和碎片化等关键问题。它为开发者提供了一个强大、灵活且易于使用的工具，使得将先进的LLMs投入实际应用变得更加可行和经济。

无论是进行本地的模型测试、构建基于LLM的应用后端，还是部署大规模的LLM服务集群，vLLM都展现出了卓越的性能和潜力。随着社区的不断发展和技术的持续迭代，vLLM无疑将在未来的LLM应用生态中扮演越来越重要的角色。如果您正在寻求一种高效的方式来部署和管理您的LLMs，vLLM绝对是值得深入了解和尝试的首选方案之一。

通过本文的介绍和入门指南，希望您对vLLM有了全面的认识，并能够顺利地开始使用vLLM来释放您大型语言模型的全部潜力。

vLLM介绍与入门 – wiki基地

vLLM：释放大型语言模型服务潜力的利器

导言

LLM服务面临的挑战

vLLM：解决方案的概述

vLLM的核心技术深度解析

1. PagedAttention：KV Cache的高效管理

2. Continuous Batching（迭代级别调度）

3. 优化的CUDA Kernel

vLLM的优势总结

vLLM入门指南

前提条件

安装 vLLM

For CUDA 11.x

基本使用：Python API

test_vllm.py

1. 初始化 LLM 对象

指定要加载的模型名称。这里使用 Hugging Face Hub 上的模型名称。

‘NousResearch/Llama-2-7b-chat-hf’ 是一个常用的7B参数模型，需要约14-16GB显存。

如果显存不足，可以尝试更小的模型，例如 ‘Qwen/Qwen1.5-0.5B-Chat’ (0.5B参数)。

或者使用量化后的模型，例如 ‘TheBloke/Llama-2-7B-Chat-AWQ’ (需要安装awq库)。

2. 定义采样参数 (Generation Parameters)

SamplingParams 控制文本生成的行为，如温度、top_p、最大生成长度等。

3. 准备Prompt

4. 进行文本生成

5. 打印结果

理解 SamplingParams

部署为 API 服务器

使用 CLI 进行简单推理

更多高级话题（简述）

限制与注意事项

结论

发表评论取消回复

vLLM：释放大型语言模型服务潜力的利器

导言

LLM服务面临的挑战

vLLM：解决方案的概述

vLLM的核心技术深度解析

1. PagedAttention：KV Cache的高效管理

2. Continuous Batching（迭代级别调度）

3. 优化的CUDA Kernel

vLLM的优势总结

vLLM入门指南

前提条件

安装 vLLM

For CUDA 11.x

基本使用：Python API

test_vllm.py

1. 初始化 LLM 对象

指定要加载的模型名称。这里使用 Hugging Face Hub 上的模型名称。

‘NousResearch/Llama-2-7b-chat-hf’ 是一个常用的7B参数模型，需要约14-16GB显存。

如果显存不足，可以尝试更小的模型，例如 ‘Qwen/Qwen1.5-0.5B-Chat’ (0.5B参数)。

或者使用量化后的模型，例如 ‘TheBloke/Llama-2-7B-Chat-AWQ’ (需要安装awq库)。

2. 定义采样参数 (Generation Parameters)

SamplingParams 控制文本生成的行为，如温度、top_p、最大生成长度等。

3. 准备Prompt

4. 进行文本生成

5. 打印结果

理解 SamplingParams

部署为 API 服务器

使用 CLI 进行简单推理

更多高级话题（简述）

限制与注意事项

结论

发表评论 取消回复

发表评论取消回复