理论教育 数据生命周期管理的重要性及实施技术

数据生命周期管理的重要性及实施技术

时间:2023-06-06 理论教育 版权反馈
【摘要】:25)数据生命周期管理:数据生命周期管理根据数据在生命周期各个阶段的使用情况和需求特点,采用技术手段,对数据的存储、迁移和销毁进行统一管理,以提高系统运行的效率。数据标准是数据治理中基本的业务和技术层面的保障。

数据生命周期管理的重要性及实施技术

1)企业战略:企业战略是对企业发展目标,包括达成目标的方法和途径的总体谋划。

2)企业业务战略:企业的业务战略是指企业拥有的所有资产,通过多种方式进行有效的运营,以实现利润的最大化和资本的增值。它强调了企业在各自的生产领域中的发展之道,包括如何创造价值,并且以更好的服务去满足客户,这是企业业务战略的核心和重点。

3)企业IT战略:企业的IT战略是指在充分研究企业的发展愿景、业务策略和管理的基础上,形成信息系统的远景、组成架构、逻辑关系等,以支撑企业战略目标的实现。

4)企业架构:企业架构实质上就是对企业多角度的一种描述,它反映了企业的业务流程、技术的组织和安排,是对企业关键性业务和技术的整体性描述。

5)IT架构:IT架构是对企业系统的IT规划,是建立企业信息化系统的综合性的蓝图,IT架构可以帮助企业获得最优的投资回报,同时实现业务和技术接口之间的标准化,保证企业运营和企业战略之间的一致性,IT架构又是承接IT战略与IT项目执行的桥梁,它主要包含应用架构、数据架构和技术架构。

6)业务架构:广义的业务架构包括产品、销售、财务、人力资源、客户服务等企业核心的业务功能和职责。并且将企业战略转化成企业运营的目标和形式,同时明确相关人员、企业资源、IT资源和服务如何协调和部署的。我们可以说由企业战略决定了业务架构的模式,同时业务架构又是企业战略实现的手段。而狭义的业务架构包含了企业运营活动中的业务策略、组织、关键业务流程、组织架构以及人员结构等内容。

7)数据架构:数据架构是数据在信息系统中的布局与流向的框架和与数据相关的架构组件的摆放。数据是指系统所处理的所有信息和数据。而架构组件负责数据的存储、交互和应用等功能。主要内容包括数据的流向,是指数据从源系统经过各类处理、加工而到达目标系统的过程。数据架构的核心包括对数据层次的划分、数据的分布、各层次的数据模型和数据的转换等。数据架构是企业架构中最重要的组成部分之一。

8)数据分类:数据分类是按照选定的属性(或特征)区分分类对象,将具有某种共同属性(或特征)的分类对象集合在一起的过程。

9)数据大类:数据大类是从宏观的角度理解企业全局的业务情况。

10)数据小类:数据小类是在同一大类内,按照业务的特性做进一步的细分。

11)数据模型:数据模型是对数据特征的抽象,它一般分为概念模型、逻辑模型和物理模型。概念模型是以数据分类的形式体现,而逻辑模型以ER图的形式体现。

12)概念模型:概念模型是从业务的角度对数据进行抽象,包括业务层面上主题域的划分,以及各个主题域下的数据分类和基于分类的非功能属性。

13)逻辑数据模型:逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图”,由一系列表和实体详细描述组成,是通用的业务语言,便于业务与业务之间的功能理解,遵循第三范式,包括主题域的设计、基本实体的设计和主要属性的设计,是IT人员和业务人员沟通的工具和桥梁。

14)物理模型:物理模型是对逻辑模型针对具体实现环境的物理化,可以不遵循第三范式,主要包括实体属性的物理化,属性的长度、类型、主键、外键、索引等详细设计。物理模型主要是描述模型实体的细节,对列的属性进行明确的定义。物理模型的建设过程是在逻辑模型的基础上,为应用生产环境选取一个合适的物理结构的过程,包括存储结构和存储方法。

15)数据分布:数据分布主要分析业务数据在多个系统之间和多个环节之间的分布情况。

16)数据流转:数据流转是描述业务分类在各个逻辑库之间的流转情况。

17)数据归档:数据归档是定期将基础数据存储、应用的数据进行归档保存,它的目的是为了保存原始数据。原则上数据归档对中间数据或者临时数据不进行归档操作。

18)数据质量管理:数据质量管理是对每个阶段里可能引发的各种数据质量问题进行识别、监控和预警等一系列的活动,通过业务管控以及技术手段,保证数据的一致性、完整性和准确性,使其数据能够准确地反映当前的业务状况。

19)技术架构的定义:技术架构是IT架构中比较底层的架构,它定义了如何建立一个IT运行环境来支持数据架构和应用架构。技术架构主要描述业务、数据、应用服务部署的基础设施能力,通过技术架构可以建立一个IT平台,涉及对技术的采用、基础设施的建立、产品的选择、系统的管理等方面。

20)应用架构的定义:应用架构是对实现业务能力、支撑业务发展的应用功能结构化的描述方法。系统的应用架构可以从功能和应用两个不同的视角描述系统各组件构成以及组件之间的关系。功能组件模型侧重于业务功能角度,应用组件模型侧重于应用系统设计角度。

21)数据治理分析框架的定义:数据治理分析框架主要包含两个部分,一个是数据治理管控机制,如政策、组织、流程和技术工具,另一个是数据治理涉及的领域,如数据质量管理、数据标准管理、数据生命周期管理和元数据管理

22)数据治理的定义:数据治理是一套包含策略、原则、组织结构、管理制度、流程,并由各种相关技术工具所支撑的管理框架。数据治理是对数据管理与应用行使权力和控制的活动集合,在数据管理与应用层面上进行规划、监督和控制。数据治理为数据管理、数据应用与服务提供保障。

23)数据治理现状分析框架:主要用于帮助系统对数据治理现状进行分析,一般包括数据治理机制和数据治理领域两个部分。

24)数据治理领域:数据治理领域可以包括数据质量管理、数据生命周期管理、数据标准管理和元数据管理。

25)数据生命周期管理:数据生命周期管理根据数据在生命周期各个阶段的使用情况和需求特点,采用技术手段,对数据的存储、迁移和销毁进行统一管理,以提高系统运行的效率。数据生命周期管理的目的是对数据进行统一管理,降低数据的安全隐患和存储压力

26)元数据管理:元数据管理是描述数据的数据,它可以帮助企业了解数据、认识数据和管理数据。

27)数据标准管理:数据标准管理是一套完整的数据规范,是数据在使用和交换过程中,为了保持数据一致性和准确性而制定的规范,它主要包括数据分类、业务标准和技术标准的详细定义。数据标准是数据治理中基本的业务和技术层面的保障。(www.daowen.com)

28)大数据:大数据就是通过快速的采集、挖掘和分析,从大数据量的、多样化的数据中提取价值。形象地说,大数据就是“沙里淘金”的过程。

29)商业智能:商业智能就是利用数据仓库、数据分析和挖掘技术,以抽取、转换、查询、分析和预测为主的技术手段,帮助企业完成决策分析的一套解决方案

30)数据仓库:数据仓库是一个面向主题的、集成的、非易失的、历史的、随着时间的流逝发生变化的数据集合,它主要用来支持企业管理人员的决策分析。

31)数据集市:数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。数据仓库体系结构中增加了数据集市,数据集市可以看作部门级的小型数据仓库。

32)分析类数据集市是通过数据挖掘等方法帮助企业发现业务趋势,提高企业运营效率,深度挖掘数据的价值。分析类数据集市包括文本分析、数据挖掘、预测分析和可视化分析等。

33)管理类数据集市是指为了企业运营管理需要而进行的数据整合分析。管理类数据集市面向企业内部的人员,对于数据的实时性要求不高。主要包括管理驾驶舱、固定报表、OLAP分析和KPI。管理类数据集市主要支持对业务运营的分析。

34)研发类数据集市主要支撑各个业务部门的应用系统,满足分析需要的数据集合。

35)金融:金融就是在日常经济生活中,通过银行证券机构等中介,从市场主体中募集资金,然后再借贷给其他市场主体的活动。可以把金融看作融资、投资和资金募集这3种经济活动。

36)ODS:ODS是一个面向主题的、集成的、可变的、反映当前细节的数据集合。它主要用于支持企业处理业务应用和存储面向主题的、即时性的集成数据,为企业决策者提供当前细节性的数据,通常作为数据仓库的过渡阶段。

37)ETL:ETL是数据抽取(Extract)、转换(Transform)、加载(Load)的英文简写。它的一般过程是指:将源数据抽取出来,中间经过数据的清洗、转换,最后加载到目标表中。

38)OLTP:OLTP(在线联机事务处理)系统主要面向细节性的数据,存储的都是当前的数据,用来支持日常业务运作。这些数据都是可以更新的,数据处理量相对较小。

39)OLAP:OLAP(在线联机分析处理)系统主要是综合的、并且经过提炼的数据,它的数据主要是历史数据,不可修改,数据处理量相对较大,主要面向决策分析处理。

40)内容管理:内容管理主要提供对非结构化数据的存储、访问和管理的能力,包括一些凭证影像、所有格式的办公文档、XML、HTML、各类报表、图像和音频/视频信息等。

41)数据归档:数据归档就是将旧的以及不需要的数据,从数据库中复制到其他地方。

42)维度:是指人们观察事物的角度,如地区维度、时间维度、产品维度等。

43)层:根据维度细节程度的不同,划分数据在逻辑上的等级关系,用来描述维度的各个方面。例如,时间维度包括年、季度、月、日等层次,地区维度包括国家、省、市、县等层次。

44)维度的成员:维度的取值,即维度中的各个数据元素的取值。例如,地区维度中具体的成员有英国、法国、德国

45)钻取:通过变换维度的层次,改变粒度的大小。它包括向上钻取(Drill Up)和向下钻取(Drill Down)。向上钻取是将细节数据向上追溯到最高层次的汇总数据。向下钻取是将最高层次的汇总数据深入到最低层次的细节数据中。

46)旋转:通过变换维度的方向,重新安排维的位置,例如行列互换。

47)切片和切块:在一个或者多个维度上选取固定的值,分析其他维度上的度量数据。如果其他维度剩余两个,则是切片;如果是3个,则是切块。

48)度量:多维数据的取值。例如,销售额、利润。

49)ROLAP:是基于关系数据库的OLAP,以关系型数据库为基础,对多维数据的存储。

50)MOLAP:是基于多维数据库的OLAP,其中切片、切块是主要技术。

51)HOLAP:是基于关系型和多维矩阵型等混合型的OLAP实现。

52)数据挖掘:数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。

53)流数据:流数据是一组顺序、大量、快速、连续到达的数据序列。一般情况下,数据流可视为一个随时间延续而无限增长的动态数据集合。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈