牛顿法与修正牛顿法 ppt课件.ppt

牛顿法与修正牛顿法
1
牛顿法与修正牛顿法
6、评价
4、优缺点
5、修正牛顿法
3、迭代步骤
1 、思想来源
2、基本思想
牛顿法和
修正牛顿法
2
牛顿法与修正牛顿法
精品资料
你怎么称呼老师？
如果老师最后没有总结一节课的重点的难点，你是否会认为老师的教学方法需要改进？
你所经历的课堂，是讲座式还是讨论式？
教师的教鞭
“不怕太阳晒，也不怕那风雨狂，只怕先生骂我笨，没有学问无颜见爹娘 ……”
“太阳当空照，花儿对我笑，小鸟说早早早……”
1、思想来源
梯度法相邻两次搜索方向总是相互正交，搜索路线呈锯齿形，使得其在极小点附近，收敛速度越来越慢。人们试图找到这样一种方向：它直接指向最优点，使得从任意选定的初始点出发，沿此方向迭代一次就能达到极小点。
5
牛顿法与修正牛顿法
2、基本思想

在求目标函数 的极小值时，先将它在 点附近展开
成泰勒级数的二次函数式，然后求出函数的极小值点，并以此点作
为欲求目标函数的极小值点 的一次近似值。
设目标函数是连续二阶可微的，将函数在点 按泰勒级数
展开，并取到二次项：
6
牛顿法与修正牛顿法
对x求导，其极值点必满足一阶导数为零，所以，
得到
式中， 为Hessian矩阵的逆矩阵。
7
牛顿法与修正牛顿法
在一般情况下， 不一定是二次函数，因而 也不可能是 的极值点。但是在 点附近，函数 和 是近似的，所以可以用 点作为下一次迭代，即得 
如果目标函数 是正定二次函数，那么 是个常矩阵，逼近式[1] 是准确的。因此由 点出发只要迭代一次既可以求 的极小点。
8
牛顿法与修正牛顿法
式与一维搜索公式 比较，则有搜索 方 向 ， 步长因子
牛顿法的迭代算式
其中 称为牛顿方向。
9
牛顿法与修正牛顿法
3、迭代步骤
一 给定初始点 ，计算精度ε，令k=0；
二 计算 点的梯度 、
及其逆矩阵 。
三 构造搜索方向
10
牛顿法与修正牛顿法