学习型 Agent

🏦 场景与客户

某电商的客服应答。初期话术靠人写，效果不错，但咨询类型每个月都在变，话术库总在追着跑。客户手上有一笔被忽略的资产：每天客服对草稿的修改记录。

客户要的是系统能从这个修改动作里学，越用越贴身，而不是每季度请人重写一遍话术。

📅 实施节奏

• 第 1–2 周：埋点采集修改记录，明确记录的是「改了什么」而不只是「好不好」
• 第 3–4 周：先做检索记忆层，用改写后的成稿覆盖旧话术
• 第 5–6 周：上灰度对照，新旧策略同口径比人工改写率
• 第 7 周起：按周迭代，每次迭代跑固定回归集

🗝️ 方案要点

• 先记忆，后微调：案例与话术进检索库的成本远低于训练，迭代快还可回退
• 反馈要结构化：记录「改了什么」比记录「满不满意」信息量大得多
• 灰度对照：新策略先小流量，与旧策略同口径比，避免凭感觉上线
• 反馈去噪：差评不等于策略错，可能是商品本身的问题，需先分离归因

⚖️ 选型与权衡

🚧 实施难点与排查

• 冷启动：上线初期没有反馈，效果平淡。先用存量工单与历史改写预热
• 反馈偏差：只有被改的才进样本，学出来偏保守。补采样未被改动的正常样本
• 分布漂移：大促期间问题类型突变。加监控与手动干预开关
• 过拟合到个别人：某位客服的改写习惯被当成标准。需多人交叉确认后再沉淀

💵 成本与收益

• 成本：主要在反馈闭环的工程投入，模型调用费占比不高
• 收益：核心指标是人工改写率，它随时间下降即收益
• 注意：学习型系统收益曲线前期平缓，需要给它积累反馈的时间

🛡️ 风险与保障

• 数据：只使用脱敏后的会话，去除个人信息
• 权限：策略变更需审批，不允许模型自动改规则
• 兜底：新策略异常时一键回滚到上一版本
• 评测：每次迭代跑固定回归集，防止改好一处坏一处

♾️ 可复用与演进

• 可复用到工单分派、营销文案、审核判例等有反馈信号的场景
• 演进方向：从被动等反馈，到主动挑不确定样本请人标注
• 再进一步：把学到的东西显性化成规则，交给人审阅确认