AI基础设施工程师
💵 2026 年薪资区间与平均薪资
下表口径：一线城市 · 社招 · 税前月薪（现金部分）。数字综合 2026 年公开招聘信息与薪酬报告整理，不是精确统计 —— 校招与社招、均值与中位、是否含股票期权的口径差异很大，实际请以招聘平台实时岗位为准。
| 层级 | 月薪区间 | 说明 |
|---|---|---|
| 🥉 初级（0–3 年 / 校招） | 20–32K | 看基础与动手能力，校招通常要求硕士起步 |
| 🥈 中级（3–5 年） | 32–58K | 能独立负责模块，市场上的主力区间 |
| 🥇 高级 / 专家（5 年以上） | 58–95K | 能定方案、带团队；含股票期权的总包常显著高于现金部分 |
平均月薪参考：约 40K（一线城市社招口径）。溢价点在集群规模：组过千卡网、处理过 NCCL 卡死的人很少，经验几乎不可速成。
可以对照的公开锚点：2026 届校招里 AI 相关岗位月薪中位值约 2.53 万元；偏中高端的样本中 AI 岗位平均月薪约 6.07 万元；算法研究员 / 大模型算法岗位普遍在 7 万元 左右，AI 科学家 / 负责人可达 13 万元 以上。资深 AI 人才 2026 年的调薪幅度最高可达 20%–35%，高于市场平均。
地域差异明显：长三角与大湾区贡献了全国近七成的 AI 岗位需求，北京、上海、深圳、杭州、苏州的薪酬普遍高于其他城市。
🏦 岗位画像：给训练和推理修路的人
AI 基础设施工程师负责算力、网络、存储、调度这一层。算法同学写代码，你保证这些代码能在几百张卡上跑起来、跑得满、坏了能自愈。
这个岗位的门槛不在算法，而在对硬件与系统的理解：为什么多机训练慢、为什么 RDMA 配不好就退化成 TCP、为什么存储 IO 会成为训练瓶颈、为什么显存之外还有一堆内存墙。
典型用人单位：自建集群的公司、算力服务商、有大规模训练需求的研究院、以及做私有化交付的厂商。规模小的时候这个岗常由运维/后端兼，规模一大就必须专职。
📅 岗位职责
- GPU 集群建设与运维：驱动、CUDA、容器运行时、监控与告警
- 调度系统：配额、优先级、抢占、拓扑感知调度（把通信密集的任务放在同一交换域）
- 高速网络：InfiniBand / RoCE 的配置、拥塞控制、多网卡绑定与故障排查
- 存储：并行文件系统或对象存储的选型与调优，checkpoint 的写入带宽保障
- 训练环境：镜像、依赖、共享内存、NUMA 亲和、CPU 与 GPU 配比
- 稳定性：节点自愈、坏卡隔离、任务容错与重调度
🗝️ 岗位技能：技术基础
必备
- GPU 基础：显存层级、SM 与 warp、NVLink / NVSwitch 的带宽量级、MIG 切分
- 通信原语：AllReduce / AllGather / ReduceScatter 的差别与代价；ring 与 tree 算法
- 网络：InfiniBand vs RoCEv2、RDMA 原理、GPUDirect RDMA、拥塞控制（ECN/PFC）
- 拓扑：节点内 NVLink、节点间 IB；为什么 TP 要放节点内、PP/DP 可以跨节点
- 容器与 K8s：GPU device plugin、运行时（nvidia-container-toolkit）、共享内存（/dev/shm 太小是经典坑）
- 存储：并行文件系统（Lustre/GPFS）或高性能对象存储；checkpoint 的写入模式与带宽预估
- 可观测：DCGM 指标、ECC 错误、XID 报错、温度与降频
加分
- 做过千卡级集群的组网与调优
- 懂国产加速卡与异构算力的适配
- 熟悉训练框架的通信库（NCCL）调参与常见卡死问题
- 有液冷/机房供电与散热经验
🛡️ 技术面重点
- 「多机训练比单机还慢，怎么查？」——考排查路径：先看网络带宽利用率与是否走 RDMA，再看通信与计算是否重叠，然后是数据集读取速度、CPU 预处理是否成瓶颈、最后是并行策略是否合理。
- 「NCCL 卡住不动」——考实战经验：某张卡挂了、某个进程退出导致集合通信无法完成、超时设置、网络抖动；要用 NCCL 调试日志定位是哪个 rank 掉队。
- 「显存报错但只差一点」——考资源常识：碎片、共享内存、CUDA context 开销、其他进程占用；先看 `nvidia-smi` 再动代码。
- 「checkpoint 写入拖慢训练」——考 I/O 设计：异步写入、分片并行写、写入带宽与训练带宽竞争、本地缓存再上传。
- 「怎么判断一张卡坏了」——考硬件意识：XID 错误码、ECC 计数、算力下降、随机结果异常；要有自动摘除与复检机制。
- 「怎么提高集群利用率？」——考调度思维：配额与优先级、抢占与回填、按任务规模分池、闲时跑离线任务。
⚖️ 业务场景：选型与权衡
| 场景 | 方案 | 权衡 |
|---|---|---|
| 小规模训练（<16 卡） | 单机多卡 / 直连以太网 | 成本低、运维简单；扩展性有限 |
| 大规模训练 | IB 组网 + 拓扑感知调度 | 性能好；造价高、运维要求高 |
| 以推理为主 | 以太网 + 按需扩缩 | 推理对网络不敏感，省下 IB 的钱 |
| 多租户共享 | K8s + 配额 + 优先级 | 利用率高；需处理资源争抢与隔离 |
| 公有云弹性 | 按需/竞价实例 | 无前期投入；大规模训练的网络与存储受限于云厂商能力 |
| 异地容灾 | 多集群 + 数据同步 | 可靠；跨区带宽与一致性成本高 |
🚧 故障排查
- 训练整体变慢：按「GPU 利用率 → 通信占比 → 数据加载 → CPU 占用 → 存储 I/O」逐层看，别一上来就怀疑代码
- 偶发任务失败：记录失败节点与 rank，统计是否集中在某几台机器（大多是硬件问题）
- 网络抖动：看丢包与重传、PFC 反压、光模块告警；RoCE 环境下尤其要盯 ECN 配置
- 容器内看不到 GPU：device plugin 状态、驱动版本匹配、`/dev/shm` 与 cgroup 限制
- 节点失联：带外管理卡、电源、内核 panic；要有自动摘除与重建流程，不能让坏节点反复接任务
- 存储写入超时导致训练卡死：挂载参数、客户端缓存、元数据服务瓶颈
💵 成本优化
- 利用率是第一指标：集群空闲率每降 10%，等效于省下十分之一的硬件预算
- 按任务分池：大任务与小任务分开调度，避免小任务碎片化占用
- 闲时填谷：夜间跑离线评测、数据预处理等非紧急任务
- 存储分层：热 checkpoint 放高速存储，历史数据归档
- 坏卡与降频治理：性能下降的卡长期占位，是隐性浪费，要定期体检
- 容量规划：按未来半年的训练需求买卡，别按峰值一次性堆硬件
♾️ 项目经历怎么讲
基础设施岗的面试官最认数字与事故。准备这几类素材：
- 集群规模：多少节点、多少卡、什么网络、什么存储
- 优化成果：训练吞吐提升多少、集群利用率从多少到多少、任务失败率下降多少
- 一次典型故障：现象 → 定位手段 → 根因 → 修复 → 后续加固（例如「某节点网卡降速导致每次跑到该节点就变慢」）
- 你写过的工具：监控看板、自动体检脚本、坏卡自动摘除
如果能说清「我是怎么把一段慢训练拆解成通信/计算/IO 三部分并分别量化的」，比背硬件参数更打动人。
