返回博客

vLLM 私有化部署——生产级高并发推理引擎

当私有化部署从“个人玩具”升级为“企业服务”，Ollama 的串行处理架构便触及天花板。vLLM 出自 UC Berkeley 的 PagedAttention 论文，核心使命只有一个：把每一分 GPU 算力榨干，服务尽可能多的并发请求。

PagedAttention：

显存管理的范式革新。传统推理框架为每个会话预分配固定大小的 KV Cache，分多了浪费、分少了 OOM。vLLM 将操作系统的虚拟内存分页思想引入 GPU 显存管理，按页动态分配 KV Cache，显存利用率可达 90% 以上，长上下文场景下尤为关键。

连续批处理：

新请求可随时插入正在计算的批次中，GPU 几乎不留空闲周期。高并发场景下，vLLM 的吞吐量通常是 Ollama 的数倍到数十倍。

企业级部署路径。

硬件选型上，A10（24GB）适合 4B/14B 量化模型推理，H20 八卡集群则面向百亿参数全精度场景。显存需求遵循清晰公式：FP16 模式约等于参数量×2 字节，INT4 量化后仅为四分之一——4B 模型量化后仅需 3GB 显存即可稳定运行。

Kubernetes 原生集成。

vLLM 支持张量并行与流水线并行，模型超过单卡显存时可无缝拆解到多卡甚至多机。结合 LWS（LeaderWorkerSet）API，可在 K8s 集群中实现分布式模型服务的自动化编排。生产环境务必固定 Docker 镜像标签，并通过 NVIDIA Container Toolkit 配置 GPU 直通。

选型决策：

初创团队从 Ollama 快速启动，成熟服务基于 vLLM 构建生产级架构——两者不是竞争关系，而是一条路上的两个阶段。