大模型评测工程师

💵 2026 年薪资区间与平均薪资

下表口径：一线城市 · 社招 · 税前月薪（现金部分）。数字综合 2026 年公开招聘信息与薪酬报告整理，不是精确统计 —— 校招与社招、均值与中位、是否含股票期权的口径差异很大，实际请以招聘平台实时岗位为准。

平均月薪参考：约 30K（一线城市社招口径）。目前独立数据少、岗位在扩张；能把评测做成发布门禁而不是跑榜单的人，议价空间更大。

可以对照的公开锚点：2026 届校招里 AI 相关岗位月薪中位值约 2.53 万元；偏中高端的样本中 AI 岗位平均月薪约 6.07 万元；算法研究员 / 大模型算法岗位普遍在 7 万元 左右，AI 科学家 / 负责人可达 13 万元 以上。资深 AI 人才 2026 年的调薪幅度最高可达 20%–35%，高于市场平均。

地域差异明显：长三角与大湾区贡献了全国近七成的 AI 岗位需求，北京、上海、深圳、杭州、苏州的薪酬普遍高于其他城市。

🏦 岗位画像：给模型的能力下判断的人

大模型评测工程师要回答一个问题：这个模型到底行不行，好在哪、差在哪、能不能上线。这是一个非常容易被低估的岗位——做得浅就变成「跑跑榜单」，做得深则是决定模型迭代方向的角色。

核心难点在三处：

• 题目难出：开放任务的正确答案不唯一，「好」的标准要能被多个评估者一致地判断
• 打分难信：用模型当裁判会有偏好偏差，用人工成本高且主观
• 结论难稳：样本量小、题目被污染、解码参数不一致，都会让结论翻转

📅 岗位职责

• 评测体系设计：能力维度拆解、评测集构建与维护、指标定义
• 自动评测：规则打分、LLM-as-judge、语义相似度等方法的组合与校验
• 人工评测：标注规范、评分者一致性、抽检与复核
• 评测污染检测与数据集版本管理
• 输出评测报告：结论、置信度、失败模式归类、对迭代的建议
• 上线门禁：把关键指标做成发布前置条件

🗝️ 岗位技能：技术基础

必备

• 评测集构建：维度拆解、难度分层、分布对齐真实业务、避免模板化
• 打分方法：精确匹配/规则、语义相似、LLM-as-judge（成对比较 vs 打分）、人工评分
• LLM 裁判的坑：位置偏差、长度偏好、自我偏好（偏爱同族模型）、格式敏感；需要交换顺序、加参考、做校准
• 统计常识：样本量与置信区间、显著性、多次采样的方差；为什么 100 题的 2 分差距不能下结论
• 污染检测：n-gram 重合、改写复测、时间切分
• 解码一致性：温度、top-p、重复惩罚必须固定并记录，否则结果不可比

加分

• 做过领域评测集从 0 到 1（含标注规范与质控）
• 熟悉对抗性测试：越界提问、注入攻击、诱导违规
• 懂模型训练流程，能判断「这个能力靠提示补不回来」
• 会做误差分析自动化：把失败样本聚类、归类

🛡️ 技术面重点

• 「怎么保证你的评测结论可信？」——最高频问题。要覆盖：题目来源与去污、样本量、解码参数固定、多次采样、人工抽检校准、以及结论的适用范围。
• 「LLM 当裁判靠谱吗？」——考对偏差的理解与缓解手段：成对比较优于绝对打分、交换顺序消除位置偏差、给评分细则、与人工结果做一致性校验（如 Kappa 系数）。
• 「模型在榜单上很强但业务上很弱，为什么？」——考分布差异意识：榜单题与真实输入分布不同、缺少多轮与工具场景、业务有专有名词与格式要求。
• 「给你一个新模型，你怎么评估能不能上线？」——考流程设计：先冒烟集筛基本能力 → 领域评测集看是否达标 → 边界与安全测试 → 性能与成本 → 灰度对比。
• 「怎么测幻觉？」——考方法设计：给无答案的问题看是否拒答、给有据可查的问题看引用是否对得上、构造诱导性前提看是否跟着编。
• 「评测集要更新吗？」——考生命周期管理：模型会记住旧题，题目要轮换；但换题后历史数据不可比，需要重叠样本做锚定。

⚖️ 业务场景：选型与权衡

🚧 故障排查

• 两次评测结果差很多：解码参数变了、模型版本变了、评测集被改、服务端有缓存
• 模型分数虚高：题目污染、评测集泄露进训练数据、评分规则过于宽松
• 裁判结论与人工不符：评分细则不清、裁判模型能力不足、样本类型超出裁判能力范围
• 某个维度总是满分或零分：题目太难或太易，失去区分度；需要分层重建
• 人工标注不一致：规范歧义；先做一致性检验（多人标同一批），再扩量
• 线上效果与评测不符：评测输入与真实输入分布不一致，把线上 bad case 补进评测集

💵 成本优化

• 分层抽样：小冒烟集用于日常迭代，全量评测只在版本发布时跑
• 先规则后裁判：能用规则判定的别用大模型裁判，成本差一到两个数量级
• 缓存裁判结果：同一对回答不重复评
• 人工只用在刀刃上：抽检边界样本与裁判分歧样本，而不是全量人工
• 自动化误差分析：失败样本聚类能大幅减少人工归因的工作量

♾️ 项目经历怎么讲

评测岗位的面试官最怕听到「我跑了很多榜单」。好的项目描述长这样：

• 业务背景：要判断什么（选型？上线门禁？迭代方向？）
• 你建的评测集：多少题、怎么来的、覆盖哪些维度、怎么防污染
• 打分方案：为什么这么设计，与人工的一致性有多高（给出数字）
• 得出的结论与影响：例如「据此否决了 A 模型，选 B 后线上转人工率下降 X%」
• 局限：这个评测集测不了什么

能主动说出评测的局限，是成熟评测工程师的标志——面试官会认为你不会用分数骗人。