，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为中的
数据是面向某一主题的数据的集合，，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为中的
数据是面向某一主题的数据的集合，这些数据从多个业务系统数据仓库中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为脏数。我们要按照一定的规则把洗掉，这就是数据清洗。而数据清洗的脏数据据任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的
数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。
主要类型残缺数据叠折这一类数据主要是一些应该有的信息缺失，如供应商的名称、
分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对
于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要
求在规定的时间内补全。补全后才写入数据仓库。
折叠错误数据1/4在接收输入后没有进行判断直这一类错误产生的原因是业务系统不够健全，字符串数据后面有比如数值数据输成全角数字字符、接写入后台数据库造成的，一个
回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似语句
的方式找出SQL于全角字符、数据前后有不可见字符的问题，只能通过写日期格式不正确的或者是日期越界来，然后要求客户在业务系统修正之后抽取。SQL
的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。折叠重复数据将重复数据记录的所有对于这一类数据--特别是维表中会出现这种情况--字段导出来，让客户确认并整理。数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写开发的初期可以每天向业务单ETLExcel文件或者将过滤数据写入数据表，在入同时也可以做为将来验证数,位发送过滤数据的邮件，促使他们尽快地修正错误对于每个过滤规则据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，认真进行验证，并要用户确认。提取有用信息和形成结数据
分析是指用适当的统计分析方法对收集来的大量数据进行分析，在实的支持过程。质量管理体系
论而对数据加以详细研究和概括总结的过程。这一过程也是断，以便采取适当行动。2/4用中，数据分析可帮助人们作出判
类型在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证
其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则性数据分析
;侧重
于已有假设的证实或证伪。
探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一
种方法，是对传
命名。统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基
数据清洗数据分析数据挖掘 来自淘豆网m.daumloan.com转载请标明出处.
