商业智能(Business Intelligence,BI)是最能体现大数据真正价值的领域之一。在大数据时代,由于拥有更丰富、更充足的数据源,人们已经不再像“小数据”时代痴迷数据的精确性,也不再需要对一个现象刨根问底,现在只要掌握大体的发展方向即可。当数据规模越变越大,企业除了要处理内部的经营交易数据,还要面对大量外部数据源,如互联网世界中人与人的交互信息和位置信息、物联网世界中的商品和物流信息、社交媒体信息等,其中大量的数据还是非结构化的,这就大大增加了处理这些数据的难度。大数据商业智能技术适应了非格式化数据的发展与需求,相应的软件和技术迎合了大数据商业智能的发展。
商业智能缘起于决策支持系统,由郝伯特·西蒙在1958年提出,在经历了多年的发展后,如今大数据商业智能的相关技术和应用环境已经日臻成熟,不同的商业智能厂商提供了各种商业智能解决方案的产品。商业智能的发展真正实现了数据的价值,它能够更好地利用数据提高决策质量,实现了从海量的数据中按维度攫取信息与知识的过程。在大数据时代,大数据商业智能真正做到了让数据说话,实现了业务、数据和数据价值三者完美的结合。正如图3-1所示,大数据商业智能技术根据“业务逻辑”利用“数据”,借助数据挖掘或数据分析工具进行“大数据价值提取”,实现“信息发现”驱动并帮助决策部门管理层快速决策。
图3-1 商业智能的数据价值流
商业智能的发展历程体现了传统架构与大数据架构的演变过程。应用促进创新,在大数据时代,最重要的应用是对海量格式化数据、非格式化数据和半格式化数据进行综合利用,进行大数据分析与大数据可视化展现。
如图3-2所示,大数据商业智能的发展过程是伴随着相关的技术进步而发展的:“关系型数据库”的出现促进了“数据仓库”技术的实现,“数据仓库”的出现让商业智能有了基本的立足点,也就是对海量数据进行处理与分析的核心物理架构;数据仓库出现之后,商业智能的下一个产业链——联机分析(OLAP)也就水到渠成了;联机分析技术的推广,又促进了“数据挖掘”技术的广泛应用,即从海量的数据矿山中挖掘有用信息;而数据挖掘技术又使“数据可视化展现”技术的需求量大增,数据可视化展现技术满足了人们对数据即视感的需求,而这项技术更能有效地帮助决策层、管理层快速理解数据信息,应用数据信息,以作出正确的决策和判断。目前商业智能的最高层级是数据可视化展现,这也是商业智能在未来一个阶段的主要发展方向。
图3-2 商务智能的发展过程
●可视化软件已经成熟,大数据可视化服务将在未来占有一席之地,同时这些可视化信息展现可以发布到Web和移动终端设备(如iPad、智能手机等移动设备)进行交互式信息展现,实现交互操作,真正实现在正确的时间向正确的人员提供正确的信息,提高了企业的生产效率和知识发现水平。数据可视化展现满足了人们的视觉感,更好地把数据背后的信息直观、形象、漂亮、动态、实时地展现。目前业界比较成熟的数据可视化产品如QlikTech公司的QlikView工具展现、MicroStrategy、SAS的insights模块工具、SAP等。
商业智能依托大量的数据原始资料,借助商业智能化工具实现对海量数据的分析报告、数据查询、在线分析处理、报表生成、数据可视化等服务。对于商业智能产出的数据信息,帮助企业决策,发展有用的价值信息。整个商业智能的逻辑架构图如图3-3所示,“数据源”层是大数据之母,各类数据源通过“ETL过程”进行抽取、转换、过滤和加载到数据共享平台的数据仓库,保障了数据质量;“数据管理”层是数据存储、交互处理的核心层,借助于数据共享平台的数据仓库为“数据应用”层提供有效的、高质量的数据需求;对业务人员而言,“数据应用”层是发挥数据的真正价值的地方,更多业务需求实现“模型应用”、“数据挖掘”、“报表应用”、“管理驾驶舱”和“即席分析与查询”等应用。
(www.daowen.com)
图3-3 商业智能的逻辑架构
●ETL(Extraction Transformation Load)过程:实现对数据源层各类数据处理。ETL过程是一个动态的过程,选择合适的ETL工具可以提高数据处理的效率,现在主流的ETL数据处理工具如Ascential公司的DataStage工具、Informatica公司的Powercenter、NCR Teradata公司的ETL Automation、SAS语言数据处理等ETL工具。通过ETL过程把满足业务需求的数据装载到目标数据仓库系统。
●数据仓库(Data Warehouse)。数据仓库是指适应数据支持决策分析的需求而发展起来的数据库应用技术,但它与数据库技术存在较大的不同,数据库技术只是数据仓库的基础。数据仓库在需求、客户、体系结构与运行机制等方面都与数据库存在巨大差异。数据仓库就是数据仓储。伴随着数据仓库应用的成熟,越来越多的行业都在建立自己的数据仓库,如今数据仓库已经在银行、证券、税务、保险和电信等行业得到了广泛的应用。数据仓库为商业智能发展提供数据支撑,伴随着商业智能的发展,了解数据仓库的发展历史,更能深刻理解商业智能中数据仓库在当今信息化时代所具有的地位。数据仓库从诞生到成熟为商业智能的发展奠定了基础。1981年NCR(National Cash Register Corporation)公司为沃尔玛建立了第一个数据仓库,总容量超过100TB。伴随着商业智能的发展,数据仓库这一术语真正提出是在1988年,IBM公司的研究员巴里·德夫林(BarryDevlin)和保罗·墨菲(Paul Murphy)创造性地提出了一个新的术语:数据仓库(Data Warehouse)。数据仓库真正普遍被接受的定义是在20世纪80年代,比尔·恩门(Bill Inmon)在其出版的书《如何构建数据仓库》(Building the Data Warehouse)中第一次对数据仓库给出了清晰定义,数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、非易失的(Non-volatile)、随时间变化的(Time variant)、用于进行战略决策的数据集合。自此真正拉开了数据仓库的大规模应用。
现在,数据仓库已成为商业智能由数据到知识,由知识转化为利润的基础和核心技术。在国内,数据仓库如今在金融、电信和保险等行业得到了很好的应用,多维的处理海量数据已成为信息时代企业发展所必需的工作,数据仓库技术已得到了广泛的应用,为商业智能的发展提供了强大的数据支撑。如今各行业都在研究和应用数据仓库,数据仓库将成为21世纪的信息化核心技术。
数据应用层:
●模型应用。数据模型作为对现实世界的抽象,通过一系列科学标准的建模过程,可以有效地对数据特征进行抽象,获取关键信息和指标。目前,数据模型被广泛应用于金融、电子商务、电信等行业,其中在信用卡行业应用颇具代表性。模型应用的重点是预测未来,它主要是基于历史数据,开发各种预测模型,对客户和业务未来发展作出预测,进一步设计和优化策略方案,实现企业未来效益的最优化。即回答了“未来会怎么样?如何做才是最优?”的问题。模型级可以进一步细分为预测建模和策略设计优化。
●数据挖掘(Data Mining)。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有价值信息的过程。主要是从海量的数据中借助统计学知识、机器学知识、人工智能知识、模式识别知识、数据库知识、通信技术和计算机技术等交叉学科的知识通过对提取海量数据中的数据进行分析,发现有用信息的过程,对未来作出科学预测。目前最为流行的三大数据挖掘工具为SAS公司的SAS/EM(Enterprise Miner)、IBM公司的Intelligent Miner和SPSS公司的Clementine.
●报表技术。报表应用的重点是回顾历史,它主要是利用数据对企业历史上的经营情况进行回顾和总结,并且定期或不定期生成报表。通过这些报表可以回答某段时间内某个领域发生了什么事情,有多少次,多大数量等问题。同时这些报表兼具一定的查询功能。报表可以进一步细分为常规报表和即席查询两部分。常用报表工具如IBM的Cogonos、SAS公司的PORTAL等。
●管理驾驶舱。管理驾驶舱是帮助管理层看到数据背后的信息,实现把报表、分析层指标关联等数据信息动态、形象、时时交互、界面最友好的展现给管理层,通过动画、图形、趋势线、最美观的界面等更直观的展现报表层、分析层等信息,从而帮助管理层掌握各项经营指标情况,为未来作出合理的决策与风险评估等提供信息依据。
●即席分析与查询。即席分析与查询是一个面向关系数据库的应用,实现为企业级数据分析提供了高性能、高效率的灵活查询系统。即席分析与查询主要专注于业务信息查询与用户定义报表,实时洞察业务数据的变化,敏捷响应。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。