理论教育 数据仓库建设的有效方法

数据仓库建设的有效方法

时间:2023-06-06 理论教育 版权反馈
【摘要】:图9-9 数据仓库建设的方法论制定数据标准制定数据标准时,可参考金融数据模型,同步设计标准参考模型,直接构成数据仓库逻辑数据模型的“骨架”和核心内容。然后是完全将业务需求作为数据仓库系统建设的驱动,最终让数据仓库的分析系统和业务系统能够互相交互和影响,形成一个闭环的结构。

数据仓库建设的有效方法

1.数据仓库建设的方法论

“制定数据标准,建立数据管控机制,以数据、应用驱动为主”是数据仓库基本的建设方法论。如图9-9所示,对于数据仓库的建设应该首先建立分析类数据标准和基础类数据标准,同时成立数据管控机制,最后以数据、应用驱动为主,建立数据仓库系统。其中数据仓库可以分成基础数据层、汇总数据层和库内集市层。基础数据层的数据是以主题域的方式进行划分,汇总数据层在基础数据层的基础上按照时间或者机构等维度进行汇总。库内集市层一般是在汇总数据层或者基础数据层的基础上建立起来的。应用可以建立在库内集市层或者库外集市层中。

978-7-111-50289-0-Chapter09-9.jpg

图9-9 数据仓库建设的方法论

(1)制定数据标准

制定数据标准时,可参考金融数据模型,同步设计标准参考模型,直接构成数据仓库逻辑数据模型的“骨架”和核心内容。同时推进数据标准化的工作,保证基础信息项的名称、定义、口径一致。在此基础上,逐步建立数据仓库,将各个系统的数据分类汇集到数据仓库中,实现数据管理的规范化和标准化。例如,将客户、产品、机构等基础信息建立统一的数据标准,以确保名称、定义、口径和来源的一致性,然后在数据仓库的建设过程中遵循这些统一的标准。

(2)建立数据管控机制

以元数据管理为基础,以管控流程为手段,使数据仓库成为可信、可控的数据源。

(3)以数据、应用驱动为主

提升经营管理决策分析和监管报送水平。

2.数据仓库规划的原则

数据仓库满足高效、灵活的多层次的数据应用需求,以更高的效率和质量来支持复杂的分析应用。数据仓库能够整合各类数据源,提高数据架构的灵活性、数据处理高效性和数据加工的自动化水平,使系统设计更具前瞻性和易扩展性,保证系统安全稳定性的提高。明确各个部门管理职责,指定信息管理岗位职责,完善数据管理技术岗位,制定管理岗位绩效考核等指标。

3.数据仓库的实现方式

一般来说,数据仓库的实现方式可以分成两类:数据驱动的实现方式和业务驱动的实现方式,如图9-10所示。

978-7-111-50289-0-Chapter09-10.jpg(www.daowen.com)

图9-10 数据仓库的实现方式

(1)数据驱动的实现方式

当业务需求不明确的时候,按照这种方式,首先进行全企业的数据建模,并且按照E/R模型建立数据仓库,然后根据业务部门的需求建立相应的数据集市,数据仓库作为数据集市的唯一来源。从整体的角度进行总体规划,例如6~8个月搭建基础数据平台,形成初步成果,采用循环式的开发方式,向业务部门提供切实的成果。可以边开发、边投产、边推广、边收益。

(2)业务驱动的实现方式

当业务需求非常明确的时候,按照业务需求迭代地建设数据仓库,在建设数据仓库的过程中,有什么样的业务需求就抓取什么数据。

两种方式的不同点如图9-11所示。

数据驱动的实现方式需要将数据仓库的模型在前期做扎实,使得大部分的人力集中在数据仓库的基础上开发应用,数据仓库的模型只需要微调就可以满足应用。特点是前期建立数据仓库模型需要的时间周期长,见效慢,但是一旦数据仓库模型建立扎实后,后期的基于数据仓库的应用开发时间就会大大缩短,数据仓库模型只需进行微调就可以满足应用需求。

978-7-111-50289-0-Chapter09-11.jpg

图9-11 两种方式的不同点

业务驱动的实现方式是在业务需求很明确的情况下,按照业务需求迭代地建立数据仓库模型,即有什么样的业务需求就为数据仓库抓取什么样的数据。特点是前期建立数据仓库需要的时间周期较短,对项目来说,具有“短、平、快”的特点。但是对于后期如果需要增加新的应用,那么数据仓库模型需要有较大的调整。简单来说,业务驱动就是有什么业务需求就抓取什么数据,而对于数据驱动来说,是当很多业务需求讲不清楚的时候,先把所有有用的数据全部都放进数据仓库中。

总结来说,数据仓库的整体建设思路主要是:

首先是整体规划和分步实施,也就是先设立分阶段的目标,再逐步实施。

然后是完全将业务需求作为数据仓库系统建设的驱动,最终让数据仓库的分析系统和业务系统能够互相交互和影响,形成一个闭环的结构。

最后还可以采用齐头并进的方式建设数据仓库。例如,以数据为驱动的系统分析和以业务需求为驱动的系统分析同时进行。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈