盘点与目录
梳理数据源、表、文件与接口，标明责任主体、更新频率和敏感级别。
- 数据源清单
- 数据目录与责任记录
Data Governance
数据治理：盘点、标准、清洗与质量管理
新泽数智以业务对象和模型任务为主线，梳理数据源、表、文件与接口，统一字段和标签口径，处理重复、缺失、异常与跨源对齐问题，并建立质量规则、版本、血缘和处理记录。
治理工作与交付物
标准与语义
统一命名、编码、字段、术语与标签定义，整理跨系统的映射关系。
- 字段字典与标准库
- 口径及语义映射
清洗与整合
处理缺失、重复、异常和格式问题，完成跨源对齐、主数据与关系关联。
- 治理后的数据
- 规则和处理日志
质量与版本
建立质量规则、阈值和抽检方式，记录问题、变更、版本与血缘。
- 质量报告与问题台账
- 版本及血缘记录
围绕使用边界配置控制
来源与授权
明确数据来自哪里、用于什么任务、哪些主体可以使用，保留相应来源和授权记录。
分类与脱敏
识别敏感字段，依据场景约定去标识化、字段裁剪及必要访问范围。
加工与交付
明确作业环境、受控工具、传输和保存方式，归档处理、交付与处置记录。
治理从样本验证开始
01
现状盘点
确认数据对象、样本、已有标准与目标用途，识别优先问题。
02
规则设计
定义字段、清洗、脱敏与质量规则，约定输出格式。
03
样本试跑
检查规则效果与异常数据，校准阈值并记录取舍。
04
批量与维护
批量处理后复核质量，提交版本、日志及后续更新要求。
治理成果衔接数据集与资产化准备
完成治理后，可按任务构建数据集；进入资产化准备时，同步整理目录、来源、质量与版本资料，并与业务用途和成本记录对应。
数据治理常见问题
治理前需要准备哪些资料？
先说明数据源、现有标准、更新方式和已知问题。确认处理权限与交换渠道后，再提供用于验证规则的必要样本。
怎样判断治理工作完成？
按约定检查目录与字段覆盖、重复缺失等质量问题、规则执行结果和问题闭环，并核对数据、质量报告、处理日志及版本清单是否一致。
已有标准和数据平台还需要重做吗？
先评估现有标准、质量规则、权限和版本机制是否满足当前任务，复用可用部分，补齐直接影响使用和验收的环节。
高质量数据集：按模型任务组织与迭代
任务与分布
明确预训练、指令、业务任务或评测用途，确定样本范围、覆盖要求和划分规则。
数据与说明
形成数据集、数据卡、字段字典、质量报告及版本说明，保留来源与加工记录。
反馈与更新
根据评测或使用反馈定位数据问题，安排修复和增补，记录变更后发布新版本。