【摘要】:选择合适的ETL工具是实际数据仓库项目中必须要考虑的问题,选择的因素包括使用成本、技术人员对此工具的熟练程度、ETL工具开发商业智能项目的成功案例和工具厂商强有力的技术支持。ETL工具的功能如图7-40所示。图7-40 ETL工具的功能数据转换是ETL工具提供的最强大的功能之一,也是ETL开发人员面临的难度最大的问题之一。随着ETL工具的发展,ETL的管理和调度功能得到了加强。管理功能包括ETL程序的备份与恢复,版本升级和管理。
选择合适的ETL工具是实际数据仓库项目中必须要考虑的问题,选择的因素包括使用成本、技术人员对此工具的熟练程度、ETL工具开发商业智能项目的成功案例和工具厂商强有力的技术支持。在实际项目中,常用的工具是PowerCenter和DataStage,一些公司也会用开源的ETL工具,如Kettle。
从本质上来说,ETL工具的功能都是相同的,都提供了一个全面的数据集成解决方案。ETL工具的功能如图7-40所示。
ETL工具可以使用通用的接口(JDBC、ODBC)或者自己厂商的专用接口去抽取源数据,实现了ETL对不同数据源的支持。
(www.daowen.com)
图7-40 ETL工具的功能
数据转换是ETL工具提供的最强大的功能之一,也是ETL开发人员面临的难度最大的问题之一。一般来说,ETL工具提供了各种组件来实现不同的转换功能,有行列转换、过滤、排序、汇总、分组、计算等常用的转换方式;同时可以实现代理主键的生成,Mapping的调试功能,抽取远程源数据,各种数据增量加载方式;在转换过程中还可以支持数据比较、类型转换、字段拆分等功能,数据预览,数据的批量装载,性能监控,自动调度ETL程序,程序出错处理,按行、按列的聚合汇总等功能。
随着ETL工具的发展,ETL的管理和调度功能得到了加强。管理功能包括ETL程序的备份与恢复,版本升级和管理。调度功能包括命令触发方式、事件触发方式和时间触发方式。目前很多公司都在拓展ETL的集成性;在原有的基础上嵌入了公共的API,增加了JavaScript语言脚本和存储过程的调用功能,增强了ETL工具的灵活性。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。
有关数据架构与商业智能的文章