推理优化工程师

💵 2026 年薪资区间与平均薪资

下表口径：一线城市 · 社招 · 税前月薪（现金部分）。数字综合 2026 年公开招聘信息与薪酬报告整理，不是精确统计 —— 校招与社招、均值与中位、是否含股票期权的口径差异很大，实际请以招聘平台实时岗位为准。

平均月薪参考：约 44K（一线城市社招口径）。能直接换算成钱：每提升一档吞吐就是实打实的成本下降，因此薪资与「你省了多少」强相关。

可以对照的公开锚点：2026 届校招里 AI 相关岗位月薪中位值约 2.53 万元；偏中高端的样本中 AI 岗位平均月薪约 6.07 万元；算法研究员 / 大模型算法岗位普遍在 7 万元 左右，AI 科学家 / 负责人可达 13 万元 以上。资深 AI 人才 2026 年的调薪幅度最高可达 20%–35%，高于市场平均。

地域差异明显：长三角与大湾区贡献了全国近七成的 AI 岗位需求，北京、上海、深圳、杭州、苏州的薪酬普遍高于其他城市。

🏦 岗位画像：把每一毫秒和每一分钱抠出来

推理优化工程师的工作对象是从模型权重到出 token 之间的一切：算子、显存、调度、批处理、量化、编译。目标很明确——同样的硬件，更低的延迟、更高的吞吐、更少的钱。

和 AI 后端的分工：后端负责「服务怎么搭、怎么扩、怎么降级」，推理优化负责「单次推理为什么慢、慢在哪一层、怎么改快」。两者常由同一人承担，但面试深挖方向不同：后端问架构，优化问内核与数据流。

📅 岗位职责

• 性能剖析：定位瓶颈在计算、显存带宽、通信还是调度
• 算子与内核优化：融合、向量化、针对特定 shape 的定制实现
• 量化：INT8 / FP8 / 4bit 的方案选择、校准、精度验证
• KV cache 优化：分页管理、前缀复用、压缩与驱逐策略
• 解码加速：投机解码、并行解码、Medusa / EAGLE 类方案
• 图优化与编译：算子融合、常量折叠、TensorRT / ONNX Runtime / 编译器后端
• 与算法协作：为推理友好的模型结构调整提供建议

🗝️ 岗位技能：技术基础

必备

• 性能模型：区分计算密集与访存密集；算术强度、roofline 思维；解码阶段为什么是访存瓶颈
• Attention 优化：FlashAttention 的分块与重计算思路、为什么能省显存并提速
• KV cache：显存占用公式（层数 × 头数 × head_dim × 序列长 × 精度 × 批大小）、分页管理的收益
• 批处理：连续批处理（continuous batching）对比静态批处理、排队延迟与吞吐的平衡
• 量化：对称/非对称、per-tensor vs per-channel、激活量化为什么比权重量化难、离群值问题
• 投机解码：草稿模型 + 验证、接受率决定收益、什么时候反而变慢
• Profiling 工具：Nsight Systems / Nsight Compute、torch profiler、各推理引擎的指标面板

加分

• 写过 CUDA / Triton 内核
• 熟悉算子融合与图编译（TensorRT、TVM、XLA）
• 做过端侧/边缘部署（手机、嵌入式）
• 理解硬件特性：Tensor Core、显存带宽、L2 缓存对性能的影响

🛡️ 技术面重点

• 「首 token 慢，后面快，为什么？」——考对 prefill 与 decode 两阶段的理解：prefill 是计算密集（并行处理整个 prompt），decode 是访存密集（每步只算一个 token 但要读全部权重）。优化手段因此完全不同。
• 「吞吐翻倍但延迟也涨了，正常吗？」——考批处理的本质：增大 batch 提升 GPU 利用率与吞吐，但请求要排队，延迟上升。要按 SLA 找平衡点。
• 「量化后掉点怎么办？」——考量化细节：哪些层敏感（通常首尾层与 attention 输出）、用 per-channel、对激活做离群值裁剪、混合精度（敏感层保留 FP16）。
• 「投机解码为什么有时候更慢？」——考对收益条件的理解：草稿模型本身的开销、接受率低、批处理下并行度被稀释。
• 「怎么判断是算力瓶颈还是带宽瓶颈？」——考 profiling 方法：看 SM 利用率与显存带宽利用率、算算术强度、用 Nsight 看 stall 原因。
• 「长上下文为什么这么贵？」——考复杂度：attention 随序列长度平方增长，KV cache 线性增长；优化方向是稀疏、分块、压缩。

⚖️ 业务场景：选型与权衡

🚧 故障排查

• GPU 利用率低：batch 太小、被 CPU 预处理卡住、内核启动开销占比高、通信等待
• 显存增长直至 OOM：KV cache 未按请求释放、碎片、并发数超预期；限制最大长度并观察曲线
• 优化后精度下降：量化误差累积、算子实现数值差异、融合改变了计算顺序
• 同一配置性能波动大：其他进程抢占、温度降频、批处理组成不同；要固定测试方法并多次取样
• 编译后端报错或回退：不支持的算子被 fallback 到慢路径，需查编译日志确认覆盖率
• 升级引擎版本后变慢：默认配置变化、内核选择策略变化；回归测试要包含性能基线

💵 成本优化

• 先量化再谈别的：INT8/FP8 通常带来最直接的吞吐收益，前提是精度验证过关
• 缓存抓大头：固定系统提示与长上下文的前缀缓存，收益常被低估
• 分级模型：把简单请求路由到小模型，比在单个大模型上抠性能更有效
• 限制长尾：限制最大输入输出长度，避免个别超长请求拖垮整体吞吐
• 按 token 计成本：把 GPU 成本换算成每百万 token 的价格，优化才有统一标尺
• 不为 5% 优化付 50% 的复杂度：维护成本也是成本，收益要有数据支撑

♾️ 项目经历怎么讲

这个岗位的面试官只关心数据与因果。项目里必须有：

• 基线：优化前是什么配置、什么数字（TTFT、TPOT、吞吐、显存）
• 瓶颈定位：你怎么知道瓶颈在这里（给出 profiling 证据）
• 做了什么：具体到配置项、内核、量化方案
• 结果：提升百分比 + 精度变化 + 代价（精度、显存、复杂度）
• 没做什么以及为什么（例如放弃了投机解码，因为批处理场景下接受率太低）

一句「我把吞吐从 800 tokens/s 提到 2400，代价是精度掉了 0.4 个点，我们评估后认为可接受」，远胜过「精通推理优化」。