AI后端开发
💵 2026 年薪资区间与平均薪资
下表口径：一线城市 · 社招 · 税前月薪（现金部分）。数字综合 2026 年公开招聘信息与薪酬报告整理，不是精确统计 —— 校招与社招、均值与中位、是否含股票期权的口径差异很大，实际请以招聘平台实时岗位为准。
| 层级 | 月薪区间 | 说明 |
|---|---|---|
| 🥉 初级（0–3 年 / 校招） | 16–28K | 看基础与动手能力，校招通常要求硕士起步 |
| 🥈 中级（3–5 年） | 28–50K | 能独立负责模块，市场上的主力区间 |
| 🥇 高级 / 专家（5 年以上） | 50–85K | 能定方案、带团队；含股票期权的总包常显著高于现金部分 |
平均月薪参考：约 35K（一线城市社招口径）。溢价在「会算账」：能给出吞吐 / 延迟 / 单 token 成本曲线并据此扩容的后端，比只会搭服务的贵不少。
可以对照的公开锚点：2026 届校招里 AI 相关岗位月薪中位值约 2.53 万元；偏中高端的样本中 AI 岗位平均月薪约 6.07 万元；算法研究员 / 大模型算法岗位普遍在 7 万元 左右，AI 科学家 / 负责人可达 13 万元 以上。资深 AI 人才 2026 年的调薪幅度最高可达 20%–35%，高于市场平均。
地域差异明显：长三角与大湾区贡献了全国近七成的 AI 岗位需求，北京、上海、深圳、杭州、苏州的薪酬普遍高于其他城市。
🏦 岗位画像：模型和业务之间的那层承重墙
AI 后端开发负责把推理能力做成稳定、可扩展、可计量的服务。算法同学关心模型效果，你关心的是：QPS 能不能顶住、P99 延迟是多少、显存怎么排、挂了怎么降级、一次请求花了多少钱。
和普通后端最大的差别在资源模型：GPU 是稀缺且昂贵的，显存是硬约束，批处理能提升吞吐但会拉高延迟。所有设计都在这个矛盾里取平衡。
📅 岗位职责
- 推理服务部署：vLLM / TGI / TensorRT-LLM / Triton 等推理引擎的选型与调参
- API 设计与治理：流式输出、超时、重试、幂等、限流、鉴权
- 调度与扩缩容：GPU 资源池、多模型共存、冷启动与预热、弹性伸缩
- 可观测性：QPS、延迟分位、显存占用、GPU 利用率、token 吞吐、单次成本
- 容灾降级：多实例、多模型备份、规则兜底、熔断
- 与算法协作：模型版本管理、灰度发布、A/B 分流
🗝️ 岗位技能：技术基础
必备
- 推理引擎：PagedAttention、连续批处理（continuous batching）为什么能显著提升吞吐、KV cache 管理与显存碎片
- 关键指标：TTFT（首 token 延迟）、TPOT（每 token 时间）、吞吐（tokens/s）、并发数之间的关系
- 批处理取舍：增大 batch 提高吞吐但拉高排队延迟，需要按业务 SLA 定策略
- 量化：FP16 / INT8 / FP8 / 4bit 的精度与速度权衡，哪些层对量化更敏感
- 并发编程：异步 I/O、连接池、背压、队列；流式响应的正确实现（SSE / WebSocket）
- 容器与编排：Docker、K8s、GPU 调度（device plugin、MIG）、健康检查与优雅退出
- 缓存与存储：KV cache 复用、前缀缓存（prefix caching）、结果缓存
加分
- 做过分布式推理：张量并行/流水并行的部署与故障处理
- 懂调度优化：多模型共享 GPU、按优先级排队、抢占式调度
- 有成本工程经验：能算出「每百万 token 的硬件成本」并做优化
- 熟悉异构硬件：国产卡适配、驱动与算子库的坑
🛡️ 技术面重点
- 「吞吐上不去怎么查？」——考排查路径：GPU 利用率是否打满 → 是不是 batch 太小 → 是否被 CPU 侧预处理（tokenize、图像解码）卡住 → 网络/存储 I/O → 最后才怀疑引擎配置。
- 「P99 延迟高但平均值正常」——考对队列的理解：长请求阻塞、批处理导致的排队、GC 停顿、冷启动；要给排队时长单独打点。
- 「显存不够跑不了这个模型怎么办？」——考资源规划：量化、张量并行、限制 context length 与并发数、换更小的模型、CPU offload（代价是延迟）。
- 「怎么设计流式接口？」——考工程细节：SSE 的心跳与断线重连、首 token 超时、中途失败如何告知用户、Nginx/网关的缓冲要关掉（常见坑）。
- 「模型服务挂了怎么办？」——考降级设计：备用模型、规则兜底、限流排队、明确对用户可见的错误与重试策略。
- 「怎么算一次请求的成本？」——考成本意识：GPU 小时单价 ÷ 吞吐（tokens/s）× 该请求 token 数，再摊上闲置浪费。
⚖️ 业务场景：选型与权衡
| 场景 | 方案 | 权衡 |
|---|---|---|
| 在线对话（低延迟优先） | 小模型 + 小 batch + 前缀缓存 | 吞吐换延迟；并发高时成本上升明显 |
| 离线批处理（吞吐优先） | 大 batch + 排队 | 单次便宜，但任务完成时间被拉长 |
| 多模型共存 | 同一 GPU 分时/分显存，或独立实例 | 共存省钱但互相干扰；独立实例贵但稳定可预测 |
| 突发流量 | 弹性伸缩 + 队列 + 限流 | GPU 冷启动慢（分钟级），伸缩跟不上尖峰，需预留缓冲 |
| 敏感业务 | 私有化部署 | 数据不出域，代价是硬件自购与运维 |
| 成本极敏感 | 共享 API + 缓存 + 路由分流 | 依赖外部服务，需处理限流与数据合规 |
🚧 故障排查
- 请求大面积超时：先看队列长度与 GPU 利用率——利用率满说明容量不足，利用率低说明卡在别处（下游、锁、网络）
- GPU 显存缓慢增长直至 OOM：KV cache 泄漏、长请求未回收、引擎版本 bug；限制单请求最大长度并做周期性健康重启
- 流式输出卡住不动：网关缓冲未关闭、心跳缺失导致连接被中间层掐断、后端没 flush
- 同一批请求有的秒回有的很慢：批处理调度导致的长尾，检查请求长度分布与调度策略
- 模型输出乱码或截断：tokenizer 与模型版本不匹配、并发写同一会话、超 max_tokens
- 扩缩容不生效：指标口径不对（用平均而非排队数）、就绪探针过早、镜像拉取慢
💵 成本优化
- 提高利用率：闲置是最贵的浪费；把离线任务填进低谷、多模型共享实例
- 前缀缓存：系统提示与固定上下文复用，能显著降低首 token 计算
- 路由分流：按复杂度选模型，简单请求别用大模型
- 量化：INT8/FP8 通常能带来明显的吞吐收益，先在小流量上验证质量
- 限长：限制输入与输出的最大长度，长尾请求往往是成本黑洞
- 可计量：按业务维度打 token 与 GPU 成本标签，否则优化没有抓手
♾️ 项目经历怎么讲
后端岗位的面试官关心数字与故障。项目描述里最好有：
- 规模：并发多少、QPS 峰值、模型多大、几张什么卡
- 指标：优化前后的 TTFT、P99 延迟、吞吐、单次成本
- 你做的关键决策：为什么选这个引擎、为什么 batch 定在这个值、为什么这样降级
- 印象深刻的一次故障：现象、定位过程、根因、修复与后续加固
把「我压测过、我算过账、我处理过线上事故」讲具体，比罗列技术名词有效得多。
