机器学习复习总结.docx

第一章 基本设计方法和学习途径 选择训练经验 选择目标函数 选择目标函数的表示 选择函数逼近算法 最终设计 选择训练经验 第一个关键属性，训练经验能否为系统的决策提供直接或间接的反馈 第二个重要属性，学习器在多大程度上控制样例序列 第三个重些规 则来分类后来的实例
第四章
解决反向传播算法中的过度拟合问题的方法：
权值衰减
■它在每次迭代过程中以某个小因子降低每个权值，这等效于修改E的定义，加 入一个与网络权值的总量相应的惩罚项，此方法的动机是保持权值较小，从而 使学习过程向着复杂决策面的反方向偏置
验证数据
■ 一个最成功的方法是在训练数据外再为算法提供一套验证数据，应该使用在验 证集合上产生最小误差的迭代次数，不是总能明显地确定验证集合何时达到最 小误差
k-fold 交叉方法
把训练样例分成 k 份，然后进行 k 次交叉验证过程，每次使用不同的一份作为验证集合， 其余 k-1 份合并作为训练集合。
每个样例会在一次实验中被用作验证样例，在k-1次实验中被用作训练样例 每次实验中，使用上面讨论的交叉验证过程来决定在验证集合上取得最佳性能的迭代次 数，然后计算这些迭代次数的均值 _
最后，运行一次反向传播算法，训练所有m个实例并迭代i次
前馈网络的表征能力 布尔函数：任何布尔函数可以被具有两层单元的网络准确表示，尽管在最坏情况下所需隐藏 单元的数量随着网络输入数量的增加成指数级增长。
连续函数：每个有界的连续函数可以由一个两层的网络以任意小的误差逼近。这个结论适用 于在隐藏层使用 sigmoid 单元、在输出层使用（非阈值）线性单元的网络。所需的隐藏单元 数量依赖于要逼近的函数。
任意函数:任意函数可以被一个有三层单元的网络以任意精度逼近。两个隐藏层使用sigmoid 单元，输出层使用线性单元，每层所需单元数不确定。
第五章
error (h)(l — error (h)) error (h) 土 z s s
s n n
G8%
00%
03%
08%
00%

1 00
1 .28

1 .96
2,33
2,58
对有限数据样本集的采样方法
k-fold 方法
随机抽取至少有 30 个样例的测试集合，剩余样例组成训练集合，重复这一过程 直到足够的次数
随机方法的好处是能够重复无数次，以减少置信区间到需要的宽度
k-fold 方法受限于样例的总数
随机方法的缺点是，测试集合不再被看作是从基准实例分布中独立抽取
k-fold交叉验证生成的测试集合是独立的，因为一个实例只在测试集合中出现一次
概括而言，统计学模型在数据有限时很少能完美地匹配学习算法验证中的所有约束。然 而，它们确实提供了近似的置信区间
贝叶斯学习方法的特性
口观察到的每个训练样例可以增量地降低或升高某假设的估计概率
口先验知识可以与观察数据一起决定假设的最终概率
■每个候选假设的先验概率
■每个可能假设在可观察数据上的概率分布
口 贝叶斯方法可允许假设做出不确定性的预测
口 新的实例分类可由多个假设一起做出预测，用它们的概率来加权
口 即使在贝叶斯方法计算复杂度较高时，它们仍可作为一个最优的决策标准衡量其他 方法
一致学习器定义：如果某个学习器输出的假设在