线性回归与逻辑回归.docx

线性回归与逻辑回归
1、在描述Logistic回归之前，我们先要讨论下线性回归（linear regression）o
线性回归假设特征和结果满足线性关系。那什么是回归呢？回归其实就是对已知公式的未知
参数进行估计。如知SY*咕*，其线性回归与逻辑回归
1、在描述Logistic回归之前，我们先要讨论下线性回归（linear regression）o
线性回归假设特征和结果满足线性关系。那什么是回归呢？回归其实就是对已知公式的未知
参数进行估计。如知SY*咕*，其中x是参数（特征），用实际已存在的
（5） .=1 H对我驻二风
样本 , -'估计出。的值，（。为参数），令七 ，有 H o 我们得到了 h （x）,但却不知道h函数能否有效的表示出真实情况，因此需要对h函数进行
评估，得到损失函数（cost function）：
切对a产y
为什么要选择J（e）这样的形式作为损失函数呢？我们用概率的角度分析下：
假设预测结果和实际偏差为£贝贝
一般假设误差£为均值为0的正态分布，则x，y的概率分布如下：
Jz 切 2b
我们期待的是h （x）预测最准，也就是求最大似然函数最大，因此对最大似然估计公式求 导，求导结果是
傀缨）-俨T
由上知，当j（e）取得最小值的时候就是最佳回归，求解的算法有很多，最小二乘法、梯度 下降法等等。
梯度下降法是按下面的流程进行的：
1） 首先对e赋值，这个值可以是随机的，也可以让e是一个全零的向量。
2） 改变e的值，使得j（e）按梯度下降的方向进行减少。
最终求得为：
乌=乌+以产-砌W）肉）
2、简述完线性回归，再聊下Logistic回归；
对数回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把 特征线性求和，然后使用函数g（z）将最为假设函数来预测。g（z）可以将连续值映射到0和1 上。
础对=欢正。=日^
同样，这里为什么选择g (z) (sigmoid函数)这样的形式呢？同样以概率的角度讨论下:
首先要引入一般概率模型；那什么是一般概率模型呢？
伯努利分布bernoulli (④)，高斯分布 当改变④或者p的值，伯努利分布和
高斯分布就会发生改变，不同的④和P就形成了分布族；这些分布都是指数分布族的特例， 如果一个概率分布可以表示成
p(wi) = Ky)诳(矿T 60一响))
这就是一般概率模型。
n :称为特性(自然)参数(natural parameter)
T(y):充分统计量(sufficient statistic)通常 T(y)=y；
固定a、b、T，那么就