SGLang 核心功能
三、核心功能
| 能力 | 说明 | 关键配置 |
|---|---|---|
| 高吞吐服务 | 连续批处理 + 基数树缓存 | tp-size、mem-fraction-static、context-length |
| OpenAI 兼容 | chat / completions 接口 | served-model-name、端口 |
| 约束解码 | 按正则或语法限制输出 | 正则表达式、JSON schema |
| 前端 DSL | 用代码描述多步生成：分支、循环、并行、依赖 | 生成函数的调用方式与并发度 |
| 多模态 | 图像、视频等输入 | 模型支持范围、分辨率 |
| 多实例路由 | Router 按缓存与负载分发请求 | 实例列表、路由策略 |
| 量化 | FP8 / AWQ / GPTQ 等 | quantization、dtype |
| 投机解码 | 草拟模型加速 | 草拟模型路径、草拟长度 |
| 可观测 | 指标与请求日志 | 指标接口、日志级别 |
三个参数决定服务的基本盘：tp-size 决定模型摊到几张卡；mem-fraction-static 决定多少显存留给 KV cache（太低会频繁抢占，太高会启动失败）；context-length 决定单请求上限，也直接决定每条请求最多占多少缓存。
