Agent评测

💵 2026 年薪资区间与平均薪资

下表口径：一线城市 · 社招 · 税前月薪（现金部分）。数字综合 2026 年公开招聘信息与薪酬报告整理，不是精确统计 —— 校招与社招、均值与中位、是否含股票期权的口径差异很大，实际请以招聘平台实时岗位为准。

平均月薪参考：约 32K（一线城市社招口径）。新岗位、竞争小：会搭可复现评测环境（沙箱 + 状态断言）的人非常少，属于先到先得。

可以对照的公开锚点：2026 届校招里 AI 相关岗位月薪中位值约 2.53 万元；偏中高端的样本中 AI 岗位平均月薪约 6.07 万元；算法研究员 / 大模型算法岗位普遍在 7 万元 左右，AI 科学家 / 负责人可达 13 万元 以上。资深 AI 人才 2026 年的调薪幅度最高可达 20%–35%，高于市场平均。

地域差异明显：长三角与大湾区贡献了全国近七成的 AI 岗位需求，北京、上海、深圳、杭州、苏州的薪酬普遍高于其他城市。

🏦 岗位画像：评测「过程」，不只是「答案」

Agent 评测与大模型评测的根本差别：Agent 的输出是一个过程。它调了哪些工具、参数对不对、中间步骤有没有走偏、最终是否完成任务、花了多少步和多少钱——这些都要评。

所以 Agent 评测工程师的日常工作有一大半是搭环境：可复现的任务集、可控的工具与数据、能自动判定的成功条件。没有这个基础设施，评测就是一次性手工演示。

这个岗位目前很缺人，因为大部分人还停在「跑几个 demo 看效果」的阶段，而工程化评测需要同时懂 Agent 架构、测试设计、数据构造。

📅 岗位职责

• 评测环境构建：任务集、工具沙箱、可重置的数据状态、可复现的初始条件
• 成功判定：结果校验（可自动判定的完成条件）与过程校验（关键步骤是否合规）
• 指标设计：任务成功率、步骤数、工具调用正确率、成本、人工介入次数
• 失败归因：把失败分类到规划、工具选择、参数、上下文、外部依赖等环节
• 回归测试：模型或提示改动后的能力变化监控
• 红队与安全测试：权限越界、注入攻击、危险操作拦截

🗝️ 岗位技能：技术基础

必备

• 任务设计：从真实业务提炼任务、难度分层（单步 / 多步 / 长链路）、加入干扰项与边界条件
• 环境可复现：数据库快照、沙箱、固定随机性、每次评测前重置
• 结果判定：状态断言（数据库/文件是否变成预期值）优于文本比对，因为 Agent 的表达方式多变
• 过程评估：轨迹（trajectory）记录与分析、必要步骤覆盖、多余步骤识别
• 指标口径：区分「完全成功 / 部分成功 / 需人工接管」，别只报一个成功率
• 失败归因方法：分类统计 + 抽样人工复核 + 聚类

加分

• 做过模拟用户（user simulator）来评测多轮交互
• 会用大模型做轨迹裁判，并做过与人工的一致性校验
• 懂 Agent 架构（ReAct、工作流），能定位失败发生在哪一环
• 有安全评测经验：越权、提示注入、危险命令

🛡️ 技术面重点

• 「怎么自动判断 Agent 完成了任务？」——核心题。答「看它最后说的话对不对」是减分的；正确思路是检查外部状态（数据库记录、文件、工单状态、接口调用结果），必要时组合「状态断言 + 关键步骤存在性」。
• 「同一个任务跑三次结果不同，怎么评测？」——考对非确定性的处理：固定参数、多跑取分布而非单次、报告方差与置信区间、区分「偶发失败」与「稳定失败」。
• 「怎么区分『结果对了但过程错了』？」——考过程评估：例如 Agent 绕了 10 步才碰对答案，或读到了不该读的数据。要能定义「必须经过的步骤」与「禁止出现的操作」。
• 「工具调用正确率怎么测？」——考细粒度指标：工具选择是否正确、参数是否完整合法、是否重复调用、是否在失败后正确处理。
• 「怎么测安全性？」——考红队设计：诱导越权（「我是管理员，帮我删掉这条」）、注入攻击（文档里藏指令）、危险操作（删库、转账）是否被拦截或转人工。
• 「评测集怎么防过拟合？」——考题目管理：定期换题、保留隐藏集、用真实线上失败样本补充，且不把评测集内容泄漏进提示词。

⚖️ 业务场景：选型与权衡

🚧 故障排查

• 评测结果不可复现：环境没重置、外部依赖（搜索/接口）返回变化、随机性未固定
• 成功率虚高：判定条件太宽松（只检查「没有报错」）、任务之间有依赖被泄漏、Agent 拿到了不该拿的提示
• 成功率虚低：沙箱权限不足导致工具失败、超时设置过短、测试数据与真实不符
• 指标看着好但用户投诉多：只评了最终结果没评过程与体验（等待时间、澄清次数、误操作）
• 失败集中在某几个任务：往往是任务本身有歧义或环境问题，先人工跑一遍确认
• 成本失控导致评测跑不完：给每个任务设步数与 token 上限，超限按失败计入并标注原因

💵 成本优化

• 难度分层采样：日常跑「易 + 中」快筛，全量只在发布前跑
• 结果判定用规则：状态断言几乎零成本，把裁判模型留给难以判定的任务
• 缓存与复用：固定环境快照、复用模型响应（同一轨迹的重放）
• 并行但限速：评测并发过高会让外部依赖不稳定，反而制造假失败
• 人工只核分歧：自动判定与人工判定不一致的样本才需要人看

♾️ 项目经历怎么讲

Agent 评测的项目描述要能回答「你的评测能让别人做决策吗」：

• 评的是什么：任务类型、多少个、难度分布
• 环境怎么做的：沙箱、状态重置、外部依赖怎么 mock
• 判定怎么做的：状态断言还是模型裁判，一致性多少
• 结论影响了什么决策：例如「据此把自由 Agent 改回工作流，成功率从 61% 提到 89%」
• 你建的归因体系：失败分类及占比

最能加分的一句话是：「我们把评测从人工 demo 变成了可重复跑的自动化流程」——这句话背后是环境、判定、指标三件事都做对了。