数据质量管理的设计方法和流程包括:数据质量管理总体规划、数据质量管理的解决办法和数据质量管理的执行等。
(1)数据质量管理总体规划
数据质量管理总体规划主要包括总体规划的指导原则、数据质量管理基本制度及规范、数据质量管理规范和管理办法、数据质量管理组织和数据质量管控流程等内容。
(2)数据质量管理的解决办法
数据质量管理的解决办法主要包括定义、发现、分析、反馈、整改和监控。
(3)数据质量管理的执行
数据质量管理的执行主要包括提供考核指标问题查询、相关IT部门进行数据提升和数据质量管理人员进行管理操作等内容。
一、数据质量管理总体规划
1.数据质量管理总体规划的指导原则
数据质量管理总体规划的指导原则主要包括:完整性原则、正确性原则、一致性原则、及时性原则和适当性原则。
●完整性原则
所有的信息、属性是否按照系统和业务规则完整填写。
●正确性原则
是否准确地收集到相关信息,并如实在系统中进行录入和处理。
●一致性原则
不同系统、业务之间关联的数据是否一致,包括一致的定义、含义、取值及操作规则等。
●及时性原则
数据是否能够及时地被获取,是否能够反映当前业务运营状况,以满足对数据进行加工、查询和分析的业务需求。
●适当性原则
数据是否适当地进行了发布和使用,以确保数据的安全性。
2.数据质量管理基本制度及规范
无论是事前防范、事中监控还是事后改进,必须遵循数据质量管理制度和规范。
3.数据质量管控规范和管理办法
对数据质量的管控包括以业务需求为导向,选取对数据质量要求最为紧迫的数据,并且设定相应的数据质量指标。然后制定数据质量的管控规范和管理办法。
4.数据质量管理组织
数据质量管理组织主要落实管理的组织架构和相应的岗位职责,从而保证事前防范、事中监控和事后改进的落地执行。当这三个流程发生变化的时候,可能会调整相应的管理组织架构。
数据质量管理组织举例如下:
●数据质量管控委员会
●数据质量主管
主持数据质量管理全面工作,并对数据质量管理的各项工作结果负责。
●数据质量管理员
指导相关业务部门和技术部门对数据质量管理的执行;组织和协调相关部门对于数据质量检查规则的制定;保证数据质量管理建设方法顺利执行,同时进行日常的监督和管理
数据质量管理组织包括数据管控办公室、数据责任人和系统责任人三个角色。
●数据管控办公室:数据质量主管和数据质量管理员。
●数据责任人:数据质量负责人、数据录入人员和数据报送机构。
●系统责任人:数据质量负责人、系统负责人和系统运维人员。
5.数据质量管控流程
数据质量管控流程主要包括事前防范、事中监控、事后改进。
(1)事前防范(www.daowen.com)
事前防范数据质量问题主要包括数据质量问题的总结、数据质量问题的分析和汇总、数据质量防范方案规划、数据质量防范方案评审、数据质量防范方案实施和数据质量防范方案最后评估等内容。
事前防范是对数据质量问题尽可能地进行规避和防范。数据质量事前防范流程如图6-47所示。
图6-47 数据质量事前防范
(2)事中监控
数据质量事中监控主要包括监控数据质量的问题、问题分析、数据质量问题的解决、重新分析数据质量问题、生成质量分析报告,关于事中监控的流程,如图6-48所示。
事中监控的主要目的是为了快速地解决数据质量问题。
图6-48 数据质量事中监控
(3)事后改进
数据质量事后改进包括问题的收集、质量问题分析、质量改进方案设计、方案审核、方案实施、方案效果评估。事后处理数据质量问题是对已经存在的质量问题进行优化和改进。相关人员可以包括数据质量管理员、业务数据质量负责人、技术数据质量负责人、数据质量主管,数据质量事后改进流程,如图6-49所示。
图6-49 数据质量事后改进
二、数据质量管理的解决办法
数据质量管理的解决办法主要包括定义、发现、分析、反馈、整改、监控等。
●定义
对数据质量问题进行分类,制定相关的检查规则。
●发现
可以使用相关质量管理工具,根据检查规则去配置检查任务,从而发现问题。
●分析
当发现问题后,对问题进行分析,判断是自身问题还是数据源的问题。
●反馈
根据处理流程,由负责人将质量问题反馈至相关系统。
●整改
由数据质量管理小组负责对问题的修改。
●监控
数据质量管理系统对质量问题持续监控,保证数据的正确性,形成一个闭环结构,经过不断修正、循环,逐步提高数据的质量,如图6-50所示。
三、数据质量管理的执行
举例来说,某日,某银行员工张三发现数据质量问题,并把该问题记录下来,同时反馈到该银行的IT部门进行数据提升。
处理过程:由各机构进行结果反馈,对于不能提升的数据,由数据质量管理人员进行数据忽略,结果体现在系统中,如图6-51所示。
图6-50 数据质量管理的解决办法
图6-51 数据质量管理的执行
总结来说,在数据质量管理平台中建立数据质量监测体系,使得数据质量问题得到根本解决,最终形成数据质量闭环的提升流程,如图6-52所示。
图6-52 建立数据质量监测体系
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。