数据分析中的数据探索.docx

: .
数据
集中
某个缺或某失些属值性的处理方法：删除数据、数据补齐(统计补充，统一补充)、不处理
: .
数据
集中
某个缺或某失些属值性的处理方法：删除数据、数据补齐(统计补充，统一补充)、不处理
值是
不完
全的
异常值数据服从正态分布，一组测定值中与平均值的偏差超过两倍标准差的测定定义值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。
箱型图箱型图提供了一个识别异常值的标准，即大于或小于箱型图设定的上下界的数分析值即为异常值3倍标准差原则
根据正态分布的定义可知，距离平均值3a之外的概率为P(|x-|>3a)<=,这属于极小概率事件，在默认情况下我们可以认定，距离超过平均值3a的样本是不存在的。因此，当样本距离平均值大于3a,则认定该样本为异常值。
据质量分
析
异常值分析
简单
统计
量分
析
对属性值进行一个描述性的统计，从而查看哪些值是不合理的
，交给缺失值处理方法来处理
，比如城市和对应的邮编，也可能是同属一性的单位不一致，或数据类型不一致等等。
致这个问题大多数情况还是可以批量解决的，像数据类型转换，字符串的规范化，遇到值城市和邮编的这种状况也可以用对应的邮编列表来更正重重复这个问题也是需要对数据做一个初步的判断，有些重复数据是无用的，需要查重复并删除，但是有些情况，比如主题模型当中，需要统计词频，此时不但不能去重，而值且相同词根的词也要做出处理，使其在统计时叠加，否则主题概率会出现问题。
特殊符号
骤
步布分
分布分析用来解释数据的分布特征和分布类型，显示其分布情况。分布分析主要分为两种：对定量数据的分布分析和对定性数据的分布分析。
1:求极差2:决定组距与组数。3:决定分点。4:得到频率分布表。5:绘制频率分布直方图对比分析通常是把两个相互关系的指标数据进行比较，运用数字展示和说明研究对象规模的大小，水平的高低，速度的快慢，以及各种关系是否协调。
数据特征分析
类
分
分析
对比分析可分为同比、环比和定基比分析，三者均用百分数和倍数表示
统计量分析
用统计学指标对定量数据进行描述性分析，例如均值，中位数，众数；极差,标准差，四分位数间距等。
周期性分析
周期性分析是探索某个变量是否随着时间变化而呈现出某种周期变化趋势。时间尺度相对较长的周期性趋势有年度周期性趋势、季节性周期性趋势、相对较短的有季度周期性趋势、周度周期性趋势、甚至更短的天、小时周期性趋势。
贡献度分析
散点图矩阵
散点图
Spearman秩相关系数
相
关
性
分
析简单
相关
分析
总结上述两
者：
贡献度分析又称为帕累托分析，他的原理是帕累托法则又称20/80定律，为什么称为20/80定律，因为对于一个公司来说，80%的