ELT
数据仓库
ELT是数据仓库中的非常重要的一环,它是承前启后的必要的一步。
区别
在搭建数据仓库的过程中,ETL设计和实施的工作量一般要占总工作量的60%以上,而且业务部门会不断提出新的业务需求,任何前端业务模型的改变都会涉及到ETL设计,数据仓库日常运维效率的好坏也依赖ETL设计,因此ETL工具的选择对于整个数据仓库项目的成功是非常重要的。
架构
ELT是利用数据库的处理能力,E=从源数据库抽取数据,L=把数据加载到目标库的临时表中,T=对临时表中的数据进行转换,然后加载到目标库目标表中。
在ELT架构中,ELT只负责提供图形化的界面来设计业务规则,数据的整个加工过程都在目标和源的数据库之间流动,ELT协调相关的数据库系统来执行相关的应用,数据加工过程既可以在源数据库端执行,也可以在目标数据仓库端执行(主要取决于系统的架构设计和数据属性)。当ETL过程需要提高效率,则可以通过对相关数据库进行调优,或者改变执行加工的服务器就可以达到。一般数据库厂商会力推该中架构,像OracleTeradata都极力宣传ELT架构。
优点
1. ELT主要通过数据库引擎来实现系统的可扩展性(尤其是当数据加工过程在晚上时,可以充分利用数据库引擎的资源)
2. ELT可以保持所有的数据始终在数据库当中,避免数据的加载和导出,从而保证效率,提高系统的可监控性
3. ELT可以根据数据的分布情况进行并行处理优化,并可以利用数据库的固有功能优化磁盘I/O。
4. ELT的可扩展性取决于数据库引擎和其硬件服务器的可扩展性。
5. 通过对相关数据库进行性能调优ETL过程获得3到4倍的效率提升一般不是特别困难。
工具
和基于ETL架构的工具(KettleTalendDatastageInformatica)相比,基于ELT架构的工具目前并不多(OWB、HaoheDI)。
最新修订时间:2024-01-26 23:58
目录
概述
区别
架构
参考资料