最优化之最速下降法 ppt课件.ppt

最优化之最速下降法最优化—最速下降法最优化之最速下降法最速下降法的由来最速下降法的方向选择最速下降法的算法步骤最速下降法的实例最速下降法由Nordri®()设计提供最优化之最速下降法LOGO最速下降法的由来由Nordri®()设计提供考虑无约束问题其中,函数法f(x)具有一阶连续偏导数。人们在处理这类问题时,总希望从某一点出发,选择一个目标函数值下降最快的方向,以利于尽快达到极小点,基于此种愿望,早在1847年法国数学家Cauchy提出了最速下降法。后来,Curry等人作了进一步研究,得出现在众所周知的一种最基本算法。最优化之最速下降法最速下降法的由来其主要思想每次沿负梯度方向进行搜索●●等值线(面)●最优化之最速下降法LOGO最速下降法的方向选择最速下降法用负梯度为方向作为搜索方向。设f(x)在XK附近连续可微,dk为搜索方向向量,.由泰勒展开式得那么目标函数f(x)在Xk处沿方向dk下降的变化率为由Nordri®()设计提供最优化之最速下降法LOGO最速下降法的方向选择其中为gk与dk的夹角。要使得变化率最小,只有当cos值为-1时,才能达到,也即dk应取得负梯度方向。,容许误差。令k:=。若,停算,输出Xk作为近似最优解。=-gk。。,转步长1。最速下降法的步骤最优化之最速下降法由式得,即新点xk+1处的梯度是正交的,也就是说,迭代点列所走的路线是锯齿型的,故收敛速度是很慢的。最优化之最速下降法步长因子步4中,步长因子的确定即可以采用精确线搜索又可以采用非精确线搜索。采用精确线搜索时那么应该满足由此我们可以求出步长因子。最优化之最速下降法