大模型测评工程师

✅[适合人群]

📅1对1指导周期

🙋[AI人才助力]

📜[指导收费]

✅1、把「效果好」拆成可测量、可复现的指标
✅2、构造评测集：分布设计、难度分层、脏数据识别
✅3、做自动评测：规则断言、模型打分、人工抽检的组合
✅4、搭盲测集并守住它——参与调优的评测集会失效
✅5、做评测门禁：把评测接进发布流程，不达标不许上
✅6、评多模态：图文、语音的一致性怎么测
✅7、评 Agent：端到端任务成功率、步骤级正确率、工具调用正确率
✅8、做安全与合规评测：越狱、偏见、隐私泄露
✅9、把评测结果讲成结论：给业务方看的那一页怎么写
✅10、项目生产部署：服务器原生部署、Docker 部署

1、Python

2、pytest

3、DeepEval

4、RAGAS

1、独立岗位、竞争小：能把评测做成发布门禁的人非常少

2、主线是「可复现」：不确定的输出怎么变成可自动断言的对象

3、评测集构造单独成章——这是评测质量的天花板

4、配套 Agent 与多模态的评测方法，覆盖面比传统测试宽