推理优化工程师

✅[适合人群]

📅1对1指导周期

🙋[AI人才助力]

📜[指导收费]

✅1、算清推理的显存与带宽账，判断瓶颈到底在哪一环
✅2、做 KV Cache 优化：分页、复用、前缀缓存
✅3、做量化：INT8/INT4、GPTQ/AWQ、精度损失的评估方法
✅4、做批处理与调度：连续批处理、动态批、抢占策略
✅5、做投机解码与并行采样，把吞吐再抬一档
✅6、上手 vLLM / TensorRT-LLM 并做参数调优
✅7、做长上下文优化：注意力变体、位置插值、显存换吞吐
✅8、压测与容量规划：画得出吞吐/延迟/成本三条曲线
✅9、把优化换算成钱：每档吞吐对应的成本下降
✅10、项目生产部署：服务器原生部署、Docker 部署

1、vLLM

2、TensorRT-LLM

3、llama.cpp

4、SGLang

1、能直接换算成钱的方向：每一档吞吐都是实打实的成本下降

2、从「瓶颈在哪」讲起：显存、带宽、调度、框架，逐层排除

3、量化与并行推理都手做一遍，不停留在跑别人的脚本

4、配套压测方法：怎么测出可信的吞吐/延迟曲线