§10, 使用导数的最优化方法
最优化理论与算法
第十章使用导数的最优化方法
最速下降法
牛顿法
共轭梯度法
拟牛顿法
信赖域法
考虑无约束问题 min f(x), xRn ()
其中 f(x)具有一阶连续偏导数。
在处理这类问题时,一般策略是,希望从某一点出发,选择
一个目标函数值下降最快的方向,沿此方向搜索以期尽快达
到极小点,基于这一思想,Cauchy于1847年提出了最速下降
法。这是无约束最优化中最简单的方法。
-1
函数f(x)在点x处沿方向d的变化率可用方向导数表示,当函数可微时有,方向导数
求函数f(x)在点x处下降最快的方向,归结为求
-2
()所定义的方向变化率最小,即负梯度方向为最速下降方向.
注意:在不同的尺度下最速下降方向是不同的.
-3
最速下降算法
最速下降算法的迭代公式为
-4
算法描述
用最速下降法求解下列问题
第一次迭代
目标函数f(x)在点x处的梯度
令搜索方向
令
在直线上的极小点
第二次迭代
10使用导数的最优化方法 来自淘豆网m.daumloan.com转载请标明出处.
