vLLM 常见问题

六、常见问题

• Windows 上能跑吗？官方不支持原生 Windows，用 WSL2 或容器。
• 吞吐为什么不随并发线性增长？并发超过拐点后显存与算力成为瓶颈，请求开始互相排队。压测找拐点是部署的必要步骤。
• 要不要开前缀缓存？如果所有请求共享很长的系统提示、或者多轮对话反复带同一段历史，收益很大；如果每个请求都完全不同，收益有限但一般也没有副作用。
• 量化会不会掉效果？会，程度取决于量化方法与数据。上线前一定要在自家评测集上对比，不要只看实验室结论。
• 怎么估显存需求？权重按「参数量 × 每参数字节数」粗估，KV cache 按「层数 × 头数 × 头维度 × 序列长度 × 并发数 × 字节数」粗估，两者相加留余量。务必用实测校准，不要只靠公式。
• 具体的参数名、支持模型列表、GPU 支持范围以官方文档为准，引擎版本迭代快，本文的配置项只覆盖稳定存在的部分。