对齐工程师

💵 2026 年薪资区间与平均薪资

下表口径：一线城市 · 社招 · 税前月薪（现金部分）。数字综合 2026 年公开招聘信息与薪酬报告整理，不是精确统计 —— 校招与社招、均值与中位、是否含股票期权的口径差异很大，实际请以招聘平台实时岗位为准。

平均月薪参考：约 52K（一线城市社招口径）。门槛高、岗位少：做过偏好数据构造与 RLHF/DPO 全流程、能解释 reward hacking 的候选人极稀缺。

可以对照的公开锚点：2026 届校招里 AI 相关岗位月薪中位值约 2.53 万元；偏中高端的样本中 AI 岗位平均月薪约 6.07 万元；算法研究员 / 大模型算法岗位普遍在 7 万元 左右，AI 科学家 / 负责人可达 13 万元 以上。资深 AI 人才 2026 年的调薪幅度最高可达 20%–35%，高于市场平均。

地域差异明显：长三角与大湾区贡献了全国近七成的 AI 岗位需求，北京、上海、深圳、杭州、苏州的薪酬普遍高于其他城市。

🏦 岗位画像：这个岗位到底在招谁

对齐工程师的工作是让模型的输出符合人的偏好与安全要求。它既不是纯算法研究，也不是纯标注管理，而是「数据 + 目标函数 + 评测」三件事一起做的人。

日常工作很具体：写标注准则、建偏好数据、训奖励模型或直接做偏好优化、做红队与安全评测、盯线上行为的退化。这个岗位最大的特点是指标之间天然冲突：安全和有用性、拒答率和误拒率、顺从和坚持正确，任何一个指标单独优化都会出问题，所以面试考的是权衡意识而不是单项分数。

三类用人单位面试侧重不同。大模型公司的对齐团队重方法论与实验能力，会追问奖励模型的偏差、训练稳定性、方法选择依据；金融、医疗、政务等强合规行业重策略落地，会追问红线怎么变成可执行规则、误拒率怎么控制、审计怎么留；做内容生成的产品公司重风格与品牌一致性，会追问怎么让模型稳定地说「我们家的口吻」、怎么防止谄媚与套话。

一句话判断自己匹不匹配：你能把一句模糊的「更好」拆成可标注、可训练、可评测的东西，并说清它和别的指标换来了什么代价——你匹配。

📅 岗位职责

• 偏好数据：设计标注准则与判定示例，建流程、做一致性校验与质量审计
• 训练：奖励模型训练、偏好优化方法实施、安全与风格微调
• 评测：有用性、无害性、诚实性、风格一致性的评测集与指标体系
• 红队与对抗：构造越狱与诱导样本，评估防御覆盖与有效性
• 策略落地：把安全策略写成可执行规则，落到数据、提示词与前置拦截
• 线上监控：拒答率、有害输出率、误拒率的持续跟踪与回归
• 与法务、合规、产品对齐红线与例外处理流程

🗝️ 岗位技能：技术基础

必备

• 对齐方法：监督微调、奖励模型、近端策略优化、直接偏好优化及其变体的原理与适用条件
• 偏好数据：标注准则设计、标注者一致性度量、冲突样本与难例的处理流程
• 评测设计：有用性与无害性如何指标化、拒答率与误拒率的配比、红队集构建与覆盖度
• 模型基础：Transformer 结构、损失函数、关键超参对训练稳定性的影响、灾难性遗忘
• 安全：常见越狱模式（角色扮演、编码绕过、多轮诱导）、提示注入、内容安全策略分层
• 工程：训练框架、分布式训练基础、评测流水线自动化与版本管理

加分

• 做过原则驱动的对齐，或规则与模型混合的安全策略
• 懂推理侧的限制手段：系统提示词、前置分类器、输出过滤与改写
• 有跨语言、跨文化的安全策略落地经验，知道不同市场红线不同
• 会用可解释性工具分析模型行为，能定位模型为什么学会某个偏差

🛡️ 技术面重点：会被问什么

• 「近端策略优化和直接偏好优化怎么选？」——考原理与工程。直接偏好优化不需要奖励模型与在线采样，更省资源、更稳定；近端策略优化上限可能更高，但工程复杂、训练容易不稳。要能说出各自的失败模式。
• 「奖励模型被钻空子怎么办？」——考对齐的核心难题。模型会学会讨好奖励模型的偏差，对策是多奖励模型、加约束项、混入人工抽检、限制优化步数、定期重训奖励模型。
• 「安全性和有用性冲突怎么办？」——考权衡意识。不能一刀切全拒答，要有分级策略与可度量指标（拒答率对误拒率），并按场景定阈值。
• 「标注者之间判断不一致怎么处理？」——考数据治理。先写清准则与判定示例、做培训与校准、度量一致性、对冲突样本做仲裁或剔除，并统计比例。
• 「怎么证明对齐没有损害基础能力？」——考评测设计。固定能力评测集做前后对比，不能只报安全指标的改善。
• 「用户越狱成功了，你的处理流程是什么？」——考响应机制。样本入库、归类模式、补防御规则、回归红队集、评估对正常请求的误伤。
• 「偏好数据要多少才够？」——考经验判断。质量与覆盖比数量重要，按场景分层采样，拿不准就说以实验为准。

⚖️ 业务场景：选型与权衡

🚧 故障排查

• 拒答率突然升高：安全策略过严或数据分布漂移。抽查误拒样本、回退阈值、按场景分层设定策略。
• 模型变得一味附和：偏好数据把顺从当成了好。重写准则，加入坚持正确、指出用户错误的正面样本。
• 训练后通用能力下降：数据配比失衡或学习率过大。混入通用数据、降低学习率、做能力回归对比。
• 奖励模型分数高但人评差：奖励模型过拟合了偏差。换评估口径、加人工抽检、扩充难例重训。
• 红队总能绕过：防御只靠字符串匹配。改用语义分类加多轮上下文审查，并把新样本回灌红队集。
• 评测结果不可比：评测集或版本变了。固定评测集与版本，变更留记录，跨版本比较前先确认口径一致。

💵 成本优化

• 先看钱花在哪：标注、训练、评测、人工审核四项，通常标注与人工审核是大头，先从这两项动手。
• 提高标注质量而不是数量：准则清晰、示例明确能显著减少返工，返工是最贵的浪费。
• 模型初筛加人工复审：用模型做初筛，人只审分歧与难例，人力集中在最有价值的地方。
• 评测集复用与版本化：一套评测集多轮使用并管理版本，不要每次重造。
• 先小后大：方法先在小模型上验证，再上大模型，减少无效的大规模训练。
• 用线上失败样本回流：真实失败样本比合成样本更值钱，定向采集比盲目扩量省钱。

♾️ 项目经历怎么讲

用三段式：对齐目标与现状 → 方法与关键设计 → 结果与代价。这个岗位的面试官一定会问代价，所以你必须在第三段主动说出「换来了什么损失」。

1. 目标与现状：哪个行为不对、当前指标多少、出问题的代价是什么
2. 方法设计：标注准则怎么写的、为什么选这个方法、评测怎么做的、红队覆盖了什么
3. 结果与代价：有害输出率、误拒率、通用能力回归情况、剩余问题与后续计划

正例：

模型在敏感话题上要么乱答要么一律拒答。我重写了标注准则并补了判定示例，用直接偏好优化在约八千条分层偏好数据上训练，同时在推理侧加了前置分类器。有害输出率从百分之三左右降到不到百分之零点五，误拒率只涨了约一个百分点，通用能力评测没有显著下降。剩余问题是多轮诱导，正在扩红队集。

反例：

我做了对齐，模型更安全了。

反例没有口径也没有代价说明。面试官问「误拒率涨了多少、通用能力掉没掉」，就断了。