理论教育 电力行业数据仓库的数据架构设计优化方案

电力行业数据仓库的数据架构设计优化方案

时间:2023-06-06 理论教育 版权反馈
【摘要】:图9-52 电力行业数据仓库的数据架构设计1.具体说明1)电力公司总部ODS的组成与省级单位的ODS相同,主要区别在于数据源的不同,电力公司总部ODS主要的数据源来自于总部的业务系统,而省级单位ODS主要数据源来自于省级单位的业务系统。图9-53 ODS缓冲区数据抽取到数据仓库区数据仓库区数据抽取到数据集市区数据集市是针对某个主题域、部门的数据集合。而数据仓库的数据模型满足第三范式。

电力行业数据仓库的数据架构设计优化方案

电力行业数据仓库的数据架构设计如图9-52所示。

978-7-111-50289-0-Chapter09-58.jpg

图9-52 电力行业数据仓库的数据架构设计

1.具体说明

1)电力公司总部ODS的组成与省级单位的ODS相同,主要区别在于数据源的不同,电力公司总部ODS主要的数据源来自于总部的业务系统,而省级单位ODS主要数据源来自于省级单位的业务系统。

2)电力公司总部数据仓库的数据来源包括业务明细和汇总的数据,省级电力公司数据仓库的数据是以中度或者高度汇总的数据进行存放。

3)电力公司总部的数据集市主要针对公司整体发展分析,跨系统和跨省地对数据进行全面挖掘。

4)省级电力公司的数据仓库主要覆盖多个主题域的企业信息,这些信息主要是低级别的、细粒度的数据,同时根据分析需求建立一定粒度的汇总数据。它们主要为数据集市提供整合后的、高质量的数据。省级数据仓库和总部的数据仓库存在数据交换的功能,同时将一部分数据下发到地市级中。

5)省级电力公司的数据集市是一组特定的、针对某个主题域的、部门的数据集合。这些数据需要针对用户需求进行快速访问,数据集市可以保障数据仓库的高可用性可扩展性和高性能。

2.数据移动说明

(1)ODS缓冲区数据抽取到数据仓库区

数据仓库区是核心的数据存储区域,它支持大部分的数据应用。

数据仓库内的数据一般按照面向主题的方式进行组织和存放。数据模型满足第三范式,这些数据在线存储的周期一般较长,而ODS缓冲区中的数据结构和业务系统相似,它起到缓冲的作用。从ODS缓冲区,数据经过转换、映射、清洗,最后加载到数据仓库区中。中间的过程包含了合并、匹配、数据的追加(覆盖、更新)等操作,如图9-53所示。

978-7-111-50289-0-Chapter09-59.jpg

图9-53 ODS缓冲区数据抽取到数据仓库区(www.daowen.com)

(2)数据仓库区数据抽取到数据集市区

数据集市是针对某个主题域、部门的数据集合。这些数据需要被快速访问。数据集市的数据模型可以是星形结构和雪花形结构。而数据仓库的数据模型满足第三范式。从数据仓库到数据集市的数据迁移,应该重点考虑从规范化建模到多维建模的映射关系,包括实体表和事实表、维表之间的映射关系以及转化过程。主要的过程包含了汇总、缓慢变化维等操作,如图9-54所示。

978-7-111-50289-0-Chapter09-60.jpg

图9-54 数据仓库区数据抽取到数据集市区

(3)总部数据仓库和省级数据仓库之间的数据交换

总部数据仓库的数据源主要包含两部分的内容:一部分是总部的业务系统数据,另外一部分是省级电力公司数据仓库的数据。省级电力公司定时向总部数据仓库上传数据以供分析使用,同时总部数据仓库也会定期将汇总的数据下发到省级电力公司,如图9-55所示。

978-7-111-50289-0-Chapter09-61.jpg

图9-55 总部数据仓库和省级数据仓库之间的数据交换

一般来说,总部的数据仓库只抽取部分省级电力公司的数据,同时存储跨系统、高度汇总和集成的数据。

(4)省级数据仓库和地市级综合数据库的数据交换

省级数据仓库会定期将相关数据加载到地市级综合数据库,如图9-56所示。对于地市综合数据库来说,它的数据主要来源于省级数据仓库下发的数据和部署在地市级别的业务系统的数据。地市级综合数据库也可以看作地市级的数据仓库。

978-7-111-50289-0-Chapter09-62.jpg

图9-56 省级数据仓库和地市级综合数据库的数据交换

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈