Transformers 生产落地案例

五、生产落地案例

案例一：客服工单自动分类与摘要

业务背景：某公司客服每天有上千条工单，人工分类（咨询/投诉/退款/技术）耗时且不一致，主管无法按类做统计。

怎么用：先用 pipeline 做零样本分类快速验证可行性；确认可行后，用历史工单标注数据做一次 LoRA 微调；推理侧把模型常驻在服务里，批量处理，每批 16 到 32 条；输出分类标签与一句话摘要，写回业务库。

关键配置：用模型自带对话模板；分类任务的候选标签数量控制在个位数，标签太多准确率会掉；批量推理时统一 padding 与截断长度，避免长短句混批导致显存抖动。

效果指标：人工抽检的分类一致率较原有关键词规则大幅提升（具体数值取决于标注质量与数据分布，以自家抽检结果为准）；主管侧的按类统计第一次变得可信。

踩过的坑：一是标签体系反复变，第一次微调完业务方改了分类口径，模型白训，后来先冻结标签体系再训练；二是推理服务每次请求都重新加载模型，响应时间高得不可用，改成常驻后恢复正常；三是输出没做格式约束，模型偶尔输出解释性文字而非纯标签，后处理加了白名单校验。

案例二：内网离线部署一个领域问答模型

业务背景：一家制造企业，知识文档不能出内网，但希望在内部检索系统里加一个问答入口。

怎么用：在外网环境把基座权重与分词器下载完整，拷进内网并放到统一缓存目录；内网设置离线环境变量，禁止任何联网尝试；推理用常驻服务，先做检索、再把检索到的片段拼进 prompt；对模型输出做引用溯源，让答案带出处。

关键配置：缓存目录与离线开关要在容器镜像里写死，避免有人本地调试时误触发下载；模型的上下文长度决定了能塞进多少检索片段，超长要截断而不是硬塞；对无答案的情况要有兜底话术，不能让模型自由发挥。

效果指标：检索命中率与回答可用性取决于知识库切分与检索质量，模型本身只负责组织语言；上线后减少了大量重复的人工问答。

踩过的坑：一是离线环境变量没配全，服务启动时仍然尝试联网，导致启动超时；二是上下文超长被静默截断，检索片段全被切掉，模型答非所问，后来在拼 prompt 前先做长度预算；三是没有拒绝回答的机制，检索为空时模型照样编，加入了「无检索结果则固定回复」的分支。