大模型算法工程师
💵 2026 年薪资区间与平均薪资
下表口径：一线城市 · 社招 · 税前月薪（现金部分）。数字综合 2026 年公开招聘信息与薪酬报告整理，不是精确统计 —— 校招与社招、均值与中位、是否含股票期权的口径差异很大，实际请以招聘平台实时岗位为准。
| 层级 | 月薪区间 | 说明 |
|---|---|---|
| 🥉 初级（0–3 年 / 校招） | 20–35K | 看基础与动手能力，校招通常要求硕士起步 |
| 🥈 中级（3–5 年） | 35–65K | 能独立负责模块，市场上的主力区间 |
| 🥇 高级 / 专家（5 年以上） | 65–120K | 能定方案、带团队；含股票期权的总包常显著高于现金部分 |
平均月薪参考：约 48K（一线城市社招口径）。溢价点在「训过」：有千卡级训练或从零复现过开源模型的经验，报价会明显上一个台阶。
可以对照的公开锚点：2026 届校招里 AI 相关岗位月薪中位值约 2.53 万元；偏中高端的样本中 AI 岗位平均月薪约 6.07 万元；算法研究员 / 大模型算法岗位普遍在 7 万元 左右，AI 科学家 / 负责人可达 13 万元 以上。资深 AI 人才 2026 年的调薪幅度最高可达 20%–35%，高于市场平均。
地域差异明显：长三角与大湾区贡献了全国近七成的 AI 岗位需求，北京、上海、深圳、杭州、苏州的薪酬普遍高于其他城市。
🏦 岗位画像：这个岗位到底在招谁
大模型算法工程师是「把模型训出来、调得好、跑得起」的人。日常工作围绕训练而不是调用：数据怎么配、并行怎么切、显存怎么算、损失曲线为什么抖、评测集为什么涨不上去。
典型用人单位分三类，面试侧重完全不同：
- 基座/大厂研究院：从零预训练或继续预训练，考并行策略、数据工程、训练稳定性。要求有千卡级集群的实操经验。
- 垂直领域团队（金融、医疗、法律、工业）：拿开源基座做领域继续预训练 + SFT，考数据构造、领域评测、幻觉抑制。更看重你能不能把业务指标做上去。
- 应用型公司的大模型组：SFT + 偏好优化 + 蒸馏，考 LoRA/QLoRA 的取舍、数据质量、推理成本。要求能把一个模型从「能聊」做到「能上线」。
一句话判断自己匹不匹配：你能不能独立把一个 7B 模型在有限卡上训到目标指标，并说清每一步为什么这么做。
📅 岗位职责
- 预训练 / 继续预训练：数据配比、去重、课程学习、checkpoint 策略
- 监督微调（SFT）与偏好优化（DPO / PPO / GRPO）：数据构造、超参、reward 设计
- 训练框架与并行：Megatron / DeepSpeed / FSDP 的选型与调参，吞吐与显存优化
- 模型评测：离线评测集、业务场景评测、自动评测与人工评测的配比
- 与工程、产品协作：把训练产物交付到推理侧，明确精度损失与延迟预算
🗝️ 岗位技能：技术基础
必备
- Transformer 结构细节：能画出 attention 计算图，说清 MHA / MQA / GQA 的显存与吞吐差别，KV cache 随层数、头数、序列长度怎么涨
- 训练目标：AR 语言建模的 loss、teacher forcing、label smoothing 的影响面
- 并行策略：数据并行（DP）、张量并行（TP）、流水并行（PP）、专家并行（EP）、序列并行；ZeRO-1/2/3 各切什么
- 显存账：参数 + 梯度 + 优化器状态 + 激活值四块各占多少；激活重计算换显存的代价
- 微调方法：全参 vs LoRA vs QLoRA vs Adapter vs Prefix；r、alpha、target_modules 怎么定
- 数据工程：清洗、去重（MinHash / SimHash）、配比、格式化模板与 chat template 的一致性
加分
- 从零写过训练循环或改过 Megatron 源码
- 有长上下文扩展经验（RoPE 外推、NTK、YaRN、位置插值）
- 懂推理侧：量化（GPTQ/AWQ/FP8）、投机解码、PagedAttention——便于和推理团队对话
- 会用 fsdp / deepspeed 的 profiling 工具定位瓶颈
🛡️ 技术面重点：会被问什么
- 「7B 模型全参 SFT，80G 卡要几张？」——考显存账。要能拆成参数 14G（fp16）、梯度 14G、优化器状态（Adam fp32 动量+方差）56G、激活值若干；再叠加 ZeRO-3 或 TP 之后各是多少。
- 「loss 突然尖刺怎么办？」——考训练稳定性：先看是不是脏数据、再看梯度范数、学习率 warmup、Adam eps、fp16 溢出（切 bf16）、attention 的 softmax 溢出。
- 「LoRA 训完效果不如全参，差在哪？」——考对微调本质的理解：低秩假设的能力上限、target_modules 覆盖不足、学习率与秩的配合、以及数据量不匹配。
- 「怎么证明你的模型比基座好？」——考评测设计：不能只报一个总分，要说清评测集构成、是否污染、显著性、以及业务侧的人工抽检结论。
- 「继续预训练还要不要保留通用能力？」——考灾难性遗忘与数据配比（领域数据混多少通用数据）。
⚖️ 业务场景：选型与权衡
| 场景 | 常见选择 | 权衡点 |
|---|---|---|
| 领域知识注入 | 继续预训练 + SFT | 成本高但效果稳；数据量不足 10 亿 token 时优先 RAG，别硬训 |
| 指令跟随 / 风格对齐 | SFT（LoRA） | 数据质量决定上限，5k 条精标常胜过 50k 条粗标 |
| 「更好/更安全」的偏好 | DPO | 比 PPO 省资源、无需 reward model；但对偏好数据的一致性敏感 |
| 复杂推理 | GRPO / 拒绝采样 + SFT | 需要可验证的答案（数学、代码），开放域难落地 |
| 小团队、卡少 | QLoRA 4bit + 7B~14B | 省显存，代价是训练慢、精度略降；适合验证方向而非最终交付 |
🚧 故障排查
- 吞吐低：先看是不是数据加载卡住（dataloader worker、tokenize 在线做）→ 再看 PP 的 bubble、TP 的通信占比 → 最后看 attention 实现（flash-attention 是否启用）
- OOM：按「激活值 → 优化器状态 → 梯度 → 参数」的顺序排查；先开激活重计算，再上 ZeRO-3 / 序列并行
- loss 不降：学习率过大或过小、数据格式与模型预训练格式不一致（chat template 错位很常见）、标签把 padding 也算进去了
- 多卡结果对不齐：随机种子、数据分片是否重复、梯度累积与学习率缩放的配合
- 训完推理效果骤降：训练用的 dtype/模板与推理侧不一致；tokenizer 版本不同；量化引入的误差
💵 成本优化
- 先算再训：用 token 数 × 参数量估 FLOPs，换算成卡时与电费，再决定值不值得
- 用小模型验证管线：1.5B 上跑通数据与评测，再上 7B/70B，避免大集群上试错
- 数据质量优先于数据量：清洗与去重的收益通常大于再爬一批数据
- 省卡的组合：QLoRA + 梯度累积 + 短序列打包（packing），单机多卡就能跑中等规模微调
- 评测也要省钱：先小样本筛，再全量跑；自动评测打底，人工只抽检边界样本
♾️ 项目经历怎么讲
面试官最想听的不是「我用了什么框架」，而是你做了什么判断，以及判断的依据。推荐结构：
- 业务问题与约束（数据多少、卡多少、指标要求）
- 方案选型：为什么是继续预训练而不是 RAG，为什么是 DPO 而不是 PPO
- 你亲手做的事：数据构造、并行配置、超参调整
- 量化结果：指标提升多少、成本多少、有没有副作用（通用能力掉了多少）
- 复盘：哪一步走了弯路，后来怎么修的
没有真实大规模训练经历也不用编。把「小规模但完整的闭环」讲透，比堆砌名词更有说服力：一块卡、两万条数据、把 1.5B 模型在某个垂直任务上从 62% 做到 81%，只要每一步的取舍能自圆其说，就是合格的候选人。