早期的EtL解决方案通常以固定的周期运行批处理工作Y从平面文件和

    

    关系数据库中捕捉数据Y并把这些数据整合到数据仓库中最近这几年Y

    

    商业EtL工具供应商已经对产品做了很大的改进Y对产品功能进行了扩

    

    展Y具体如下x

    

    1额外的数据源

    

    2额外的目标

    

    3改进的数据转换功能

    

    4更好的管理

    

    5更好的性能

    

    6改进的可用性

    

    7增强的安全性

    

    8支持基于数据联邦的数据集成方法

    

    数据抽取模块的功能x

    

    1确定数据源Y即从哪些源系统进行数据抽取。

    

    2定义数据接口Y对每个源文件及系统的每个字段进行详细说明。

    

    3确定数据抽取的方式x是主动抽取还是由源系统推送Y是增量抽取。

    

    还是全量抽取Y是每日抽取还是每月抽取。

    

    数据清洗与切换

    

    数据清洗与转换x

    

    数据清洗主要是对不完整数据错误数据重复数据进行处理

    

    数据转换包括如下操作