理论教育 数据质量管理的设计方法和流程详解

数据质量管理的设计方法和流程详解

时间:2023-06-06 理论教育 版权反馈
【摘要】:数据质量管理的设计方法和流程包括:数据质量管理总体规划、数据质量管理的解决办法和数据质量管理的执行等。然后制定数据质量的管控规范和管理办法。事前防范是对数据质量问题尽可能地进行规避和防范。

数据质量管理的设计方法和流程详解

数据质量管理的设计方法和流程包括:数据质量管理总体规划、数据质量管理的解决办法和数据质量管理的执行等。

(1)数据质量管理总体规划

数据质量管理总体规划主要包括总体规划的指导原则、数据质量管理基本制度及规范、数据质量管理规范和管理办法、数据质量管理组织和数据质量管控流程等内容。

(2)数据质量管理的解决办法

数据质量管理的解决办法主要包括定义、发现、分析、反馈、整改和监控。

(3)数据质量管理的执行

数据质量管理的执行主要包括提供考核指标问题查询、相关IT部门进行数据提升和数据质量管理人员进行管理操作等内容。

一、数据质量管理总体规划

1.数据质量管理总体规划的指导原则

数据质量管理总体规划的指导原则主要包括:完整性原则、正确性原则、一致性原则、及时性原则和适当性原则。

●完整性原则

所有的信息、属性是否按照系统和业务规则完整填写。

●正确性原则

是否准确地收集到相关信息,并如实在系统中进行录入和处理。

●一致性原则

不同系统、业务之间关联的数据是否一致,包括一致的定义、含义、取值及操作规则等。

●及时性原则

数据是否能够及时地被获取,是否能够反映当前业务运营状况,以满足对数据进行加工、查询和分析的业务需求。

●适当性原则

数据是否适当地进行了发布和使用,以确保数据的安全性。

2.数据质量管理基本制度及规范

无论是事前防范、事中监控还是事后改进,必须遵循数据质量管理制度和规范。

3.数据质量管控规范和管理办法

对数据质量的管控包括以业务需求为导向,选取对数据质量要求最为紧迫的数据,并且设定相应的数据质量指标。然后制定数据质量的管控规范和管理办法。

4.数据质量管理组织

数据质量管理组织主要落实管理的组织架构和相应的岗位职责,从而保证事前防范、事中监控和事后改进的落地执行。当这三个流程发生变化的时候,可能会调整相应的管理组织架构。

数据质量管理组织举例如下:

●数据质量管控委员会

●数据质量主管

主持数据质量管理全面工作,并对数据质量管理的各项工作结果负责。

●数据质量管理员

指导相关业务部门和技术部门对数据质量管理的执行;组织和协调相关部门对于数据质量检查规则的制定;保证数据质量管理建设方法顺利执行,同时进行日常的监督和管理

数据质量管理组织包括数据管控办公室、数据责任人和系统责任人三个角色。

●数据管控办公室:数据质量主管和数据质量管理员。

●数据责任人:数据质量负责人、数据录入人员和数据报送机构。

●系统责任人:数据质量负责人、系统负责人和系统运维人员。

5.数据质量管控流程

数据质量管控流程主要包括事前防范、事中监控、事后改进。

(1)事前防范(www.daowen.com)

事前防范数据质量问题主要包括数据质量问题的总结、数据质量问题的分析和汇总、数据质量防范方案规划、数据质量防范方案评审、数据质量防范方案实施和数据质量防范方案最后评估等内容。

事前防范是对数据质量问题尽可能地进行规避和防范。数据质量事前防范流程如图6-47所示。

978-7-111-50289-0-Chapter06-50.jpg

图6-47 数据质量事前防范

(2)事中监控

数据质量事中监控主要包括监控数据质量的问题、问题分析、数据质量问题的解决、重新分析数据质量问题、生成质量分析报告,关于事中监控的流程,如图6-48所示。

事中监控的主要目的是为了快速地解决数据质量问题。

978-7-111-50289-0-Chapter06-51.jpg

图6-48 数据质量事中监控

(3)事后改进

数据质量事后改进包括问题的收集、质量问题分析、质量改进方案设计、方案审核、方案实施、方案效果评估。事后处理数据质量问题是对已经存在的质量问题进行优化和改进。相关人员可以包括数据质量管理员、业务数据质量负责人、技术数据质量负责人、数据质量主管,数据质量事后改进流程,如图6-49所示。

978-7-111-50289-0-Chapter06-52.jpg

图6-49 数据质量事后改进

二、数据质量管理的解决办法

数据质量管理的解决办法主要包括定义、发现、分析、反馈、整改、监控等。

●定义

对数据质量问题进行分类,制定相关的检查规则。

●发现

可以使用相关质量管理工具,根据检查规则去配置检查任务,从而发现问题。

●分析

当发现问题后,对问题进行分析,判断是自身问题还是数据源的问题。

●反馈

根据处理流程,由负责人将质量问题反馈至相关系统。

●整改

由数据质量管理小组负责对问题的修改。

●监控

数据质量管理系统对质量问题持续监控,保证数据的正确性,形成一个闭环结构,经过不断修正、循环,逐步提高数据的质量,如图6-50所示。

三、数据质量管理的执行

举例来说,某日,某银行员工张三发现数据质量问题,并把该问题记录下来,同时反馈到该银行的IT部门进行数据提升。

处理过程:由各机构进行结果反馈,对于不能提升的数据,由数据质量管理人员进行数据忽略,结果体现在系统中,如图6-51所示。

978-7-111-50289-0-Chapter06-53.jpg

图6-50 数据质量管理的解决办法

978-7-111-50289-0-Chapter06-54.jpg

图6-51 数据质量管理的执行

总结来说,在数据质量管理平台中建立数据质量监测体系,使得数据质量问题得到根本解决,最终形成数据质量闭环的提升流程,如图6-52所示。

978-7-111-50289-0-Chapter06-55.jpg

图6-52 建立数据质量监测体系

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈