从逻辑回归到神经网络.doc

从回归到神经网络人类对于事物的认识过程大致是先通过听、闻或者感知在大脑储存相关描述信息,描述信息包含对事物形态如尺寸,颜色等。以后当我们再次看见同样东西时候一下子能根据之前大脑所记忆关于它的特征来识别它是什么,例如当看见如下事物:我们通过颜色,大小,外形等特征很快就能分别出“它”是什么。这些信息通过视觉转化(由光信信转化为生物电信息)交由大脑分析比对。然而,对于机器而言上面的事物是一堆数据。机器要做的事情是从一大堆数据中找到事物规律,建立和认知模型和分析预测等能力。在机器学习领域,从大量数据中探知知识的过程称为数据挖掘。数据挖掘可以看成是信息技术自然进化的结果,在该进化过程中近年出现的一种数据存储结构叫数据仓库,数据仓库是一种多个异构数据源在单一站点以统一的模式组织,并且支持管理决策功能的存储模式。●回归分析我女朋友是教小学数学,一次我看见她们班试卷上有这么一个题:给出一列数字0,2,4,6,8,?。请问?代表数值几?当然你一眼就看出来其中的规律,都是偶数,并且递增,答案是10。那么再来看一个实际中的问题:下图是某地的2009年到2014年的财政收入表,预测2015年财政收入值。单位(亿)200920102011201220**********.?       这就不那么容易看出来了吧。把这些点对应映射到坐标轴上如下图:沿着曲线的走势能够推算出2015年值约为7亿。这便是一个简单回归问题。我们做了一条曲线,并且让曲线平滑按照走势延伸。当然如果该地区发展是平稳的,那么曲线会一直平滑下去。应当指出的是,所推算出的7亿是可能存在一定误差的,而且随着推算时间的延长如要基于以上数据预测2020年收入,2020预测值误差势必大于2015年预测的误差。实际上,回归问题可以定位为一个曲线拟合问题,即让一条平滑曲线能够穿过尽量多的数据点。也就是能够找出一个可接受误差范围内的方程式能够让我提供输入数据后计算出可信赖的结果。可是,对于机器而言要能建立这么一个方程式,它需要通过一些算法。首先我们引入简单一元线性回归,其表达式y=kx+b。k,b是参数,x代表了变量因子,y则是输出结果。如果对于任意的(x,y)满足y=kx+b这便是严格的线性关系。然而生活中更多的我们会遇到如下的情况:对于该图,我们可以建立一个简单的线性方程y=kx+b。可以看见图中并不是所有点集中在一条直线上,因此建立出来的线性方程必然存在一定误,目标是让所有点尽量均匀分布在直线附近,从而减小与真实值得误差。换句话说,如果我们能建立一种误差体系,使误差控制在一个极低可接受的范围,那么我们就拟合了一条曲线,它能够表达x与y的关系。假定对于某一个点(Xn,Yn)。其误差为。又被叫做n的残差。依据最小二乘法原理对于总体误差即:该问题就变成了总体误差最小既最小的问题了,和由历史数据可以得到。是一个二元二次函数,其三维曲面图如下:如何求解是一个纯数学问题,为此我将说明最小二乘法的原理。从整体上考虑近似函数同所给数据点(i=0,1,…,m)误差(i=0,1,…,m)的大小,常用的方法有以下三种:一是误差(i=0,1,…,m)绝对值的最大值,即误差向量的∞—范数;二是误差绝对值的和,即误差向量r的1—范数;三是误差平方和的算术平方根,即误差向量r的2—范数;前两种方法简单、自然,但不便于微分运算,后一种方法相当于考虑2—范数的平方,因此在曲线拟合中常采用误差平方和来度量误差(i=0,1,…,m)的整体大小。这便是在使用平方值得原因。数据拟合的具体作法是:对给定数据(i=0,1,…,m),在取定的函数类中,求,使误差(i=0,1,…,m)的平方和最小,即从几何意义上讲,就是寻求与给定点(i=0,1,…,m)的距离平方和为最小的曲线 (下图示)。函数 称为拟合函数或最小二乘解,求拟合函数的方法称为曲线拟合的最小二乘法。例子:某次实验得到了四个数据点 :、、、。我们希望找出一条和这四个点最匹配的直线 ,即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的  和 :最小二乘法采用的手段是尽量使得等号两边的方差最小,也就是找出这个函数的最小值:最小值可以通过对  分别求  和  的偏导数,然后使它们等于零得到。如此就得到了一个只有两个未知数的方程组,很容易就可以解出:也就是说直线  是最佳的。知道了最小二乘法原理,算出拟合曲线方程只是一个计算过程而已。上面的例子可以推广到多元线性回归,在此将不再阐述。一般来说,回归不用在分类问题上,因为回归是连续型模型,而且受噪声影响比较大。如果非要应用进入,可以使用logistic回归。logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,即先把特征线性求和,然后使用函数g(z)将最为假设函数