理论教育 从数据库到数据仓库的优化经验分享

从数据库到数据仓库的优化经验分享

时间:2023-05-30 理论教育 版权反馈
【摘要】:近些年来,随着数据库技术的应用和发展,人们尝试对数据库中的数据进行再加工,构建一个综合的、面向分析的环境,以更好地建设商务智能支持企业决策,从而形成了数据仓库技术。数据仓库系统包括多维数据仓库、联机分析处理OLAP或商务智能、数据挖掘等多个方面。

从数据库到数据仓库的优化经验分享

目前的商业企业管理数据处理大致可以分成两类,即在线交易处理(On-Line Transactional Process,OLTP)和在线分析处理(On-Line Analysis Process,OLAP)。交易处理也称为事务性处理,一般针对非常具体的业务,是对数据库联机的日常操作,通常是对一个或一组记录的查询和修改,主要为特定的应用场景服务。人们关心的是响应时间、数据的完整性和安全性,在线分析处理一般是针对某个主题,在时间上有比较大的跨度,它操作的是大量,甚至是海量的数据,这些数据是操作性数据的一种积累和遴选,它主要面向业务分析和决策支持。

数据库系统在相当长的时间内作为数据管理的主要手段,从其诞生的第一天起,就被主要用于事务处理,经过数十年的发展,在这些数据库中已经保存了大量的日常业务数据。随着技术的进步,人们也试图让计算机执行更多的任务,而数据库技术也一直力图能使自己胜任从事务处理、批处理到分析处理等不同类型的信息处理任务。后来人们逐渐意识到,在目前计算机处理的能力上,根本无法完全实现这些功能,而在另一方面,在线事务处理和在线分析处理具有极不相同的性质,直接用事务处理环境来支持分析和决策在很多方面具有先天的缺陷。

在线交易处理不适宜决策应用的原因如下:

首先,在在线交易处理环境中,用户一般是具体的操作人员,他们的行为特点是数据的存取操作,并不用去理会数据对决策的用处,操作频率高且每次操作的时间短,但对系统的响应速度有极高的要求;而对在线分析处理而言,用户是企业的管理人员或数据分析师,属于信息的探索者,他们的目的是要将产生的数据抽象为信息,以便于决策。其行为模式和在线交易处理完全不同,他们可能会使一个决策支持系统(Decision-making Support System,DSS)应用程序联机工作几小时,从而消耗大量的系统资源,进而影响到业务操作的高效运行。(www.daowen.com)

其次,DSS过程需要集成的、历史的、综合的数据,全面而正确的数据是有效分析和决策的首要前提。相关数据收集得越完整、反映的信息面越广、清洗得越干净,最后得到的结果就越可靠。目前,绝大多数企业数据的实际分布情况都是以信息孤岛的形式存在,在具体的在线交易环境中,部分数据记录甚至被“束之高阁”,在降低交易系统性能的同时,也使宝贵的信息资源被白白浪费。

近些年来,随着数据库技术的应用和发展,人们尝试对数据库中的数据进行再加工,构建一个综合的、面向分析的环境,以更好地建设商务智能支持企业决策,从而形成了数据仓库技术。数据仓库系统包括多维数据仓库、联机分析处理OLAP或商务智能(Business Intel-ligence,BI)、数据挖掘(Data Mining,DM)等多个方面。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈