多源数据自动汇总清洗

🏦 场景与客户

一家 800 人左右的制造企业，总部加三个分厂。每月经营分析要汇总五套来源：ERP 的订单与成本、MES 的产量与工时、WMS 的库存、财务的手工台账、经销商回传的销售报表。财务和计划部各汇总一遍，两边的数字经常对不上，会上先花半小时核对口径。

客户的诉求很直白：让汇总这件事不再靠人熬夜拼表，而且拼出来的数经得起对账。

📅 实施节奏

• 第 1–2 周：盘点数据源，每个源定一个责任人，写清导出方式与更新时点
• 第 3–4 周：建字段映射与清洗规则，先做主数据统一
• 第 5–6 周：做定时汇总任务与每日对账报表
• 第 7 周起：分厂逐个接入，同步培训业务方看对账差异

🗝️ 方案要点

• 先治主数据：物料、客户、组织编码不统一，后面所有汇总都是白做。这一步最枯燥，也最不能省
• 规则配置化：清洗与映射规则写在配置里而不是代码里，业务方能自己加一条映射，不必排开发
• 贴源层与清洗层分离：原始数据原样落一份，清洗结果另一份。数字对不上时能回到原始层看是谁的问题
• 差异对账：汇总结果与各系统自带报表比对，差额超阈值就告警，而不是等人月底发现

⚖️ 选型与权衡

🚧 实施难点与排查

• 一物多码：同一物料在 ERP 和 MES 里编码不同，汇总时被算成两个。做法是建一张对照表，由采购与工艺共同确认，新物料入库时同步登记
• 手工台账格式每月微调：有人加一列、改个表头，解析就崩。锁定模板并加校验，解析失败当天告警，不静默跳过
• 两套口径打架：财务与计划对「产量」的统计范围理解不同。不强行统一，而是把差异显式记录在口径表里，两套都能出
• 截止时点不一致：有的系统按自然日切，有的按班次切，跨零点就错位。汇总前统一归到同一时点，源头无法改的做换算并标注

💵 成本与收益

• 成本：数据治理与开发约 2 人 × 6 周；之后每月维护约半个人力
• 收益：月度汇总从两三天人工拼表变成自动跑批，两个部门各自省下数人日
• 隐性收益：对账差异显式化之后，扯皮从「你数不对」变成「这条差异怎么处理」，讨论效率提升

🛡️ 风险与保障

• 源系统变更：上游改字段不通知，链路静默出错。加结构监控，字段缺失当天报错
• 权限：成本、毛利类字段按角色可见，分厂只看自己的数据
• 数据质量：给每个来源打质量分，长期低分的源优先整改
• 可回滚：每次汇总保留版本，发现错误可切回上一版并重跑

♾️ 可复用与演进

• 「贴源 + 清洗 + 对账」这套骨架可以复制到销售、人力、能耗等数据域
• 后续做数据质量看板，把各源的缺失率、异常率摆在明面上，推动源头整改
• 再进一步把汇总结果直接供给经营看板与预测模型，避免各口径各做一套