线性回归与逻辑回归.docx

线性回归与逻辑回归 1 、在描述 Logistic 回归之前,我们先要讨论下线性回归( linear regression )。线性回归假设特征和结果满足线性关系。那什么是回归呢?回归其实就是对已知公式的未知参数进行估计。如, 其中 x 是参数( 特征), 用实际已存在的样本估计出θ的值,(θ为参数) ,令,有。我们得到了 h(x), 但却不知道 h 函数能否有效的表示出真实情况, 因此需要对 h 函数进行评估,得到损失函数( cost function ): 为什么要选择 J(θ) 这样的形式作为损失函数呢?我们用概率的角度分析下: 假设预测结果和实际偏差为ε则; 一般假设误差ε为均值为 0 的正态分布,则 x,y 的概率分布如下: 我们期待的是 h(x )预测最准,也就是求最大似然函数最大,因此对最大似然估计公式求导,求导结果是由上知,当 J(θ) 取得最小值的时候就是最佳回归,求解的算法有很多,最小二乘法、梯度下降法等等。梯度下降法是按下面的流程进行的: 1 )首先对θ赋值,这个值可以是随机的,也可以让θ是一个全零的向量。 2 )改变θ的值,使得 J(θ) 按梯度下降的方向进行减少。最终求得为: 2 、简述完线性回归,再聊下 Logistic 回归; 对数回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,即先把特征线性求和, 然后使用函数 g(z) 将最为假设函数来预测。 g(z) 可以将连续值映射到 0和1 上。同样,这里为什么选择 g(z)( sigmoid 函数)这样的形式呢?同样以概率的角度讨论下: 首先要引入一般概率模型;那什么是一般概率模型呢? 伯努利分布 bernoulli (Φ), 高斯分布当改变Φ或者μ的值, 伯努利分布和高斯分布就会发生改变,不同的Φ和μ就形成了分布族;这些分布都是指数分布族的特例, 如果一个概率