关于某商业银行ODS系统数据架构规划的设计思路,主要包括以数据源作为驱动、统一管理和规范、完善共性加工层等几个方面的内容。
●以数据源作为驱动
对数据源系统进行分析,按照模型贴近源系统的原则,确定源系统的增量层和标准增量层。
●统一管理和规范
我们可以基于银行的数据统一标准,在源系统分析基础上,对标准增量层的数据进行整合,然后按照业务主题重新组织,形成基础数据层。
●完善共性加工层
根据业务需求,整理共性加工层,以满足公共加工的要求。
某商业银行ODS系统的数据架构规划设计如下:
ODS系统的架构设计可以分成几个层次:源数据增量层、标准增量层、基础数据层、共性加工层。每个应用系统都独立设计各自的数据集市。
其中源数据增量层和标准增量层与源系统结构类似,对数据进行标准化处理,以避免源系统的变化对基础数据层的影响。基础数据层按照业务主题进行整合,在设计过程中,考虑业务发展的需求,为分析类应用提供标准化的基础数据。共性加工层根据业务特点,结合实际应用,对一些指标进行统计分析,为集市提供统计数据。一般来说,共性加工层只进行简单的汇总计算,随着应用系统的不断扩充,可以整理出相关的共性指标。
最后在基础数据层和共性加工层的基础上为分行和总行的应用系统提供数据,或者为每个应用系统建设独立的数据集市。
基于以上思路,关于某商业银行ODS系统的数据架构规划如图10-1所示。(www.daowen.com)
图10-1 关于某商业银行ODS系统的数据架构规划
对各个层次的描述主要包括源数据增量层、标准增量层、基础数据层和共性加工层。
●源数据增量层
源数据增量层存放各个业务系统的增量文件,可以由ETL工具进行增量抽取。源数据增量层可以将数据保存一周左右。
●标准增量层
标准增量层是介于源数据增量层和基础数据层之间的模型,它的数据结构是贴源的,是经过清洗和标准化后的数据。
●基础数据层
基础数据层是ODS系统的核心,对业务数据进行轻度的整合,该模型贴近源系统,同时保证数据的标准化。该层需要保留必要的历史数据,可能是几个月,也可能是若干年。
●共性加工层
共性加工层是ODS系统的重要组成部分之一,目的是提高数据查询的效率,对查询请求频率较高的数据做进一步的整合。方便对共性基础指标进行统计分析,该层只包含基本的汇总数据。共性加工层将共性指标提炼出来,减少系统的重复处理。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。