方法能解决某个特定的问题Y但不够灵活Y特别是在清理过

    

    程需要反复进行时?一般来说,数据清理一遍就达到要求的很少?Y程序

    

    复杂Y清理过程变化时工作量大而且Y这种方法也没有充分利用目前

    

    数据库提供的强大的数据处理能力。

    

    数据清洗主要是对缺失值重复值异常值和数据类型有误的数据

    

    进行处理Y数据清洗的内容主要包括四点

    

    ?

    

    1?缺失值处理由于调查编码和录入误差Y数据中可能存在

    

    一些缺失值Y需要给予适当的处理常用的处理方法有X估算

    

    整例删除变量删除和成对删除

    

    ?

    

    2?异常值处理根据每个变量的合理取值范围和相互关系Y检

    

    查数据是否合乎要求Y发现超出正常范围逻辑上不合理或者相

    

    互矛盾的数据。

    

    数据清洗主要是对缺失值重复值异常值和数据类型有误的数据

    

    进行处理Y数据清洗的内容主要包括四点

    

    ?

    

    3?数据类型转换数据类型往往会影响到后续的数据处理分析

    

    环节Y因此Y需要明确每个字段的数据类型Y比如Y来自A表的

    

    学号是字符型Y而来自B表的字段是日期型Y在数据清洗的时候

    

    就需要对二者的数据类型进行统一处理

    

    ?

    

    4?重复值处理重复值的存在会影响数据分析和挖掘结果的准

    

    确性Y所以Y在数据分析和建模之前需要进行数据重复性检验Y

    

    如果存在重复值Y还需要进行重复值的删除。

    

    在进行数据清洗时Y需要注意如下事项X

    

    ?

    

    1?数据清洗时优先进行缺失值异常值和数据类型转换的操作Y最后进

    

    行重复值的处理

    

    ?

    

    2?在对缺失值异常值进行处理时Y要根据业务的需求进行处理Y这些

    

    处理并不是一成不变的Y常见的填充包括X统计值填充?常用的统计值有

    

    均值中位数众数?前/后值填充?一般使用在前后数据存在关联的情

    

    况下Y比如数据是按照时间进行记录的?零值填充。

    

    在进行数据清洗时Y需要注意如下事项X

    

    ?

    

    3?在数据清洗之前Y最为重要的对数据表的查看Y要了解表的结构和发

    

    现需要处理的值Y这样才能将数据清洗彻底

    

    ?

    

    4?数据量的大小也关系着数据的处理方式

    

    ?

    

    5?在导入数据表后Y一般需要将所有列一个个地进行清洗Y来保证数据

    

    处理的彻底性Y有些数据可能看起来是可以正常使用的Y实际上在进行处

    

    理时可能会出现问题?比如某列数据在查看时看起来是数值类型Y但是其

    

    实这列数据的类型却是字符串Y这就会导致在进行数值操作时无法使用?。

    

    数据处理常常涉及数据集成操作Y即将来自多个数据源的数

    

    据Y结合在一起形成一个统一的数据集合Y以便为数据处理

    

    工作的顺利完成提供完整的数据基础

    

    在数据集成过程中Y需要考虑解决以下几个问题X

    

    ?

    

    1?模式集成问题

    

    ?

    

    2?冗余问题

    

    ?

    

    3?数据值冲突检测与消除问题。