什么是数据治理?
数据治理是一套体系化的管理机制,目标是让企业数据 找得到、看得懂、信得过、用得好。它通过对数据从产生到消费的全链路进行规范和管理,把”杂乱的数据”转化为”可信赖的资产”。
数据治理不是单一工具,而是一套由多个模块协同组成的体系。
1. 接入数据源
- 在进行数据治理前,需要进入【系统管理】-【数据源管理】添加数据源。


2. 元数据管理
通过对”描述数据的数据”进行管理,让企业清楚知道有哪些数据、数据什么含义、数据从哪来到哪去、归谁管。
元数据分类:技术元数据、业务元数据、管理元数据。
2.1 采集与维护
元数据采集负责采集技术元数据。
元数据维护负责维护技术元数据(技术元数据包括数据库信息、表信息、字段信息、血缘关系等),展示业务元数据、管理元数据,并进行版本管理。
进入【元数据管理】-【元数据采集】,在已添加的数据源下新增采集任务。

点击【立即执行】,当采集状态为【完成】时,元数据采集成功。

进入【元数据管理】-【元数据维护】,可维护元数据的基本信息。

配置血缘关系
方法一:直接选择需要配置的数据表。

方法二:输入SQL语句或上传SQL文件进行解析。
SQL语句格式:insert into table1(t1) select table2(t2);
最终指向:t2 -> t1
查看全链分析

版本管理
版本管理可以查看和比对不同版本之间的差异。


2.2 元数据完善
负责补充和完善:业务元数据、管理元数据。
进入【元数据管理】-【元数据信息完善】,选择新建或导入完善任务。

步骤一:任务信息,添加需要完善信息的表。

步骤二:元数据补充,填写表级和字段级的业务元和管理元。


预览确认后,提交审核或保存为草稿。

提交审核后,相应负责人进入【元数据信息审核】审核。

审核通过后,补充的元数据信息展示在【元数据维护】中。

2.3 元数据标准
为元数据核检制定一系列标准。
进入【元数据管理】-【元数据标准】,点击新增,填写标准信息。

新增的标准默认为草稿状态,点击发布/批量发布。

负责部门/负责人进入【元数据标准审核】,点击审核/批量审核,输入审核意见进行同意或驳回。


已发布的标准,可以进行修订、废止和下发。

已发布的标准下发给元数据,作为核检的标准。点击【发布】


下发后,下发情况变更为【已下发】

2.4 元数据核检
负责对已采集入库的元数据,与实际标准进行比对校验,确认元数据是否准确、完整、一致。
进入【元数据管理】-【元数据核检】,新增元数据标准核检任务,核检以数据源为单位,只检查被下发标准的字段。


执行后,点击历史查看核检结果。


3. 数据质量
负责对数据全链路进行质量监控,确保数据满足准确性、完整性、一致性、及时性、唯一性、有效性六大维度要求。
3.1 数据标准
为数据制定一系列标准,主要用在【数据质量核检】和【主数据管理】中。
进入【数据质量】-【数据标准】-【标准管理】,点击新增,保存默认为草稿状态。

勾选草稿标准,点击发布/批量发布,进入审批流程。

责任部门/责任人进入【标准审核】,在待审核tab页中审核,填写审核意见,通过或驳回。

通过审核的标准状态变更为【已发布】,此时可进行修订、废止和映射。

点击映射,将标准下发给字段,即可通过数据质量核检导入【推荐规则】的方式,导入到质检任务中。


3.2 数据质量核检
负责定义规则、执行数据检查。
进入【数据质量】-【数据质量管控】-【质量规则库】,切换通用/SQL/库表规则,点击新增,选择规则类型。




详情参见:[质量规则库]进入【数据质量管控】-【质量核检任务】,光标移动到新增。

新建库表规则时,需要选择数据源和核检表,进入规则配置。

导入通用规则:
导入库表规则:
导入推荐规则:
告警配置,低于填写的阈值时发送系统消息给负责人。



进入预览页,设置是否开启自动调度。

点击立即执行,当执行结果不为空时,说明执行完成。

存在执行结果时,点击【历史】查看核检结果。



详情参见:[执行历史]
3.3 问题整改
执行完成任务后,核检出的问题记录会展示在【问题整改管理】-【问题记录】中。点击创建工单,自动关联所属任务,若一个任务含多个规则,可合并为一条工单处理。

数据整改可通过数据处理、或其他方式修改完成,负责人进入【问题整改管理】-【待办工单】,点击处理可转办或关闭工单。

告警工单,和待办工单操作相同。

4. 数据服务
负责将治理好的数据资产封装为标准服务,对外提供数据能力,是数据治理成果的最终出口。
创建数据服务,需要先进入【系统管理】-【数据模型管理】,添加数据集。



详情参考:[数据集]进入【数据服务】-【数据服务目录】,选择数据集,确定。

进入【数据服务开发】,在对应的服务目录下新建接口,点击需要创建的类型接口。



若需要导出接口文档,点击【导出文档】即可。
5. 数据资产
负责把治理好的数据当作企业资产来管理,实现数据”可见、可管、可估值、可流通”。
数据资产包括:元数据、数据服务。
进入【数据资产】-【资产目录】,新增对应的资产目录后,进入目录下,点击【注册入目】。

左上角切换资产类型,在相应数据源或服务目录下选择元数据/数据服务,设置属性,点击保存。



若注册资产时未设置责任部门/责任人,进入【资产认责】的相应目录或资产详情下,点击【添加认责】。



用户申请查看资产时,进入【资产检索】,光标移动到资产行,点击【申请】。

资产责任人进入【资产审核】进行审核。

审核通过的资产,状态变更为【已通过】,可以查看资产的详细信息。

6. 数据安全
负责保障数据在数据治理过程中不被泄露、篡改和滥用。
6.1 分级管理
进入【系统管理】-【分级管理】,系统提供六种敏感级别,可分别修改名称和描述。

6.2 数据脱敏
进入【系统管理】-【脱敏规则库】,除了系统内置的规则,点击【新建】,还提供了八种脱敏方式(敏感级别来自分级管理)。


详情参见:[脱敏规则库]元数据脱敏标记
进入【元数据管理】-【元数据脱敏标记】,为元数据配置脱敏规则。


脱敏规则主要应用于数据服务查询接口,以及主数据服务查询。

详情参见:[脱敏规则应用]
6.3 业务域管理
负责按业务大板块归类,把数据表划分到对应业务领域,方便资产归类、统一管理,比如:用户域、订单域。
进入【系统管理】-【业务域管理】,点击新建业务域。
编辑元数据完善信息时,可以选择业务域。
6.4 分类管理
负责给表定义数据的类型,例如:普通个人信息、系统运行日志。
进入【系统管理】-【数据分类管理】,点击新建。
编辑元数据完善信息时,可以选择数据分类。
7. 主数据管理
负责对企业跨系统共享的核心实体(客户、产品、组织、物料等)建立唯一、准确、标准的”黄金记录”,确保各系统引用同一份数据。
进入【主数据管理】-【模型管理】,点击新建,填写基本信息和模型字段。



勾选草稿模型,进行发布。

负责人进入【模型审核】,填写审核信息,通过审核的模型状态修改为【已发布】。

已发布的模型,可进行修订、废止、版本管理、填报设计和列表设计。

点击【填报设计】,进行表单填报设计。

点击【列表设计】,进行数据管理列表设计。

填报数据前,需要授权能够填报的用户。进入【填报授权】菜单,点击添加授权。

拥有授权的用户,进入【主数据管理】,可对数据进行填报和发布。

新增的数据默认为草稿状态,点击发布,进入审核流程。
主数据责任人进入【主数据审核】,进行审批。


已发布的主数据,可进行修订、废止、冻结和导出等操作。
