线回归中的模型选择ppt课件.ppt

线性回归中的模型选择
多元回归分析中,输入特征可能有许多,这些特征对模型都是必须的?
否
因为:
预测准确性:当回归模型中变量增多时,预测的偏差的低但方差高(过拟合)
可解释性:当回归模型中的预测子数目很多时,模型很难解释
希望找到效果更明显的少数预测子
1
模型选择
模型选择
模型评估:用一些指标来衡量每个模型
解析计算:AIC/BIC/MDL
模拟计算:交叉验证/bootstap
模型搜索:在模型空间中搜索,找到在某个衡量指标下最优的模型
模型空间不大:穷举搜索
否则:贪心搜索
前向/后向/双向逐步
上述模型选择是离散的,亦称子集选择。另一类方法为连续的收缩方法
岭回归
Lasso
2
回顾:线性回归模型
假定不依赖于x:
其中

模型类型:参数模型
损失:平方误差损失
参数选择:训练数据上的最小平方误差(最小二乘,在高斯噪声假设下,= 极大似然)
计算:矩阵求逆/QR分解
模型选择:AIC/BIC
3
回顾:线性回归模型
最小二乘参数估计的结果:
点估计:
偏差:
方差:
的无偏估计为:
4
回顾:线性回归模型
预测结果:
点估计:
偏差:
方差
其中是固有的,与参数的估计无关。对不同的估计,得到的预测的方差不同( 不同)
5
AIC:Akaike Information Criterion
当假设高斯噪声时,
这样导出AIC另一种表示:
其中为从一个低偏差估计的MSE估计
低偏差估计:复杂模型,即包括所有特征的模型
8
BIC :Bayesian Information Criterion
类似AIC,可用于极大对数似然实现的拟合中
所以
最小化BIC,等价于最大化
最小描述长度(MDL)的结论同BIC
Schwarz, G. 1978. Estimating the dimension of a model. Annals of Statistics, 6, 461-464.
9
前向逐步回归
从截距开始,每次增加一个特征
计算增加特征后每个模型的AIC,假设当前模型有k个输入特征,则其AIC为:
选择AIC最小的模型
直到AIC不再变小
10