统计学复习答案1-5.docx

传统的统计模式识别体系是什么?
基于确定性推理
一分类方法
回归分析(基于最小二乘法)
线性分类器(感知机,logistic回归,支持向量机)
非线性分类器(多层感知机,核支持向量机)
二特征生成(无监督学习)
流形学习(把维数降低)稀疏表示(把维数增高)
深度学习(卷积神经网络,自解码神经网络)
聚类算法
三、理论分析
复杂度分析
泛化能力分析
基于概率原理
一分类算法
基于贝叶斯决策理论(基于分类损失最小角度)
二特征生成
深度学习(基于玻尔兹曼机方法)
具有概率的PCA(概率神经网络)
三数据的概率表达
含参模型(EM算法),不含参模型(数据独立)
概率图模型(马尔可夫链)
【附加】物理环境、数据获取/感知、预处理、特征提取、训练数据、特征提取/选择、模型学习/估计、后处理、分类、决策。
什么是生成模型?判别模型?及其他们各自的特点?
【附加】生成模型又叫产生式模型,估计的是联合概率分布。通过学习联合概率分布P(x,y),然后求出条件概率分布P(Y|X)作为预测模型,P(Y|X)= P(x,y)/P(X)模型表达了输入X,与产生Y的生成关系。
(用于随机生成的观察值建模,特别是在给定某些隐藏参数情况下。在机器学习中,或用于直接对数据建模(用概率密度函数对观察到的draw建模),或作为生成条件概率密度函数的中间步骤。通过使用贝叶斯rule可以从生成模型中得到条件分布。)
判别模型又可以称为条件模型,或条件概率模型,估计的是条件概率分布。判别模型由数据学习决策函数f(x)或者条件概率分布P(Y|X)作为预测模型,即判别模型。(又可以称为条件模型,或条件概率模型。估计的是条件概率分布(conditional distribution), p(class|context)。利用正负例和分类标签,focus在判别模型的边缘分布。目标函数直接对应于分类准确率。)
生成模型的特点:可以还原联合概率分布P(x,y);当样本容量增加时,学到的模型更快收敛到真实模型;存在隐变量,还可以学习;
(网上资料: 一般主要是对后验概率建模,从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度。只关注自己的inclass本身(即点左下角区域内的概率),不关心到底 decision boundary在哪。)
判别模型特点:直接面对预测学习,通常准确率高;可以对数据进行各种程度上的抽象、定义特征和使用特征。(网上资料:寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。)
讨论线性回归模型中参数向量的最大后验估计和最大似然估计之间的基本差别?
最大后验估计是根据经验数据获得对难以观察的量的点估计,与最大似然估计类似,但是最大的不同是,最大后验估计融入了要估计量的先验分布,故最大后验估计可以看做是规则化的最大似然估计。
最大似然估计提供了一种给定观察数据来评估模型参数的方法,即“模型已定,参数未知”。最大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独立同分布。通过采样,获取部分数据,然后通过最大似然估计来获取满足假设中的正态分布的均值和方差。最大似然估计只考虑某个模型能产生某个给定观察序列的概率,而未考虑该模型本身的概率。
最大似然估计的一般求解过程:1、写出似然函数;2、对似然函数取对数