无约束最优化直接方法和间接方法的异同.docx

无约束最优化直接方法和间接方法的异同
一、什么是无约束最优化
最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法 研究各种系统的优化途径及方案， 为决策者提供科学决策的依据。 最优化方法的 主要研究对象是各种有组织系统的管理问题及其生产经营活动。 其的目的在于针 对所研究的系统， 求得一个合理运用人力、 物力和财力的最佳方案， 发挥和提高 系统的效能及效益， 最终达到系统的最优目标。 实践表明， 随着科学技术的日益 进步和生产经营的日益发展， 最优化方法已成为现代管理科学的重要理论基础和 不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等 各个领域，发挥着越来越重要的作用。
最优化问题分为无约束最优化和约束最优化问题， 约束最优化问题是具有辅 助函数和形态约束条件的优化问题， 而无约束优化问题则没有任何限制条件。 无 约束最优化问题实际上是一个多元函数无条件极值问题。
虽然在工程实践中，大多数问题都是具有约束的优化问题，但是优化问题的 处理上可以将有约束的优化问题转化为无约束最优化问题， 然后按无约束方法进 行处理。或者是将约束优化问题部分转化为无约束优化问题， 在远离极值点和约 束边界处按无优化约束来处理， 在接近极值点或者约束边界时按照约束最优化问 题处理。所以无约束优化问题的解法不仅是优化设计方法的基本组成部分， 也是 优化方法的基础。
无约束最优化方法大致分为两类：一类是使用导数的间接方法，即在计算过 程中要用到目标函数的导数； 另一类是直接方法， 即只要用到目标函数值， 不需 要计算导数。这里我们比较这两类方法的异同。
二、无约束最优化方法
使用导数的间接方法
最速下降法
函数的负梯度方向是函数值在该点下降最快的方向。 将 n 维问题转化为一系 列沿负梯度方向用一维搜索方法寻优的问题， 利用负梯度作为搜索方向， 故称最
速下降法或梯度法
无约束优化问题的数学模型可以表示为： min f x x Rn，我们假设函数
x
f x具有一阶连续偏导数。最速下降法在处理这一类问题时，从初始迭代点 X1 出发，选择一个目标函数值下降最快的方向 dk，以利于尽快达到极小点。最速 下降法的迭代公式为：
1） 给定初点x 1 Rn，允许误差 0 ,置k 1 ；
2） 计算搜索方向dk f xk ；
3） 若dk ，则停止计算；否则，从xk出发，沿着dk进行一维搜索，求k，
使得：f （x k kd k） min f （x k d k）
4） 令 x k 1 x k kd k，置 k k 1,转步骤 2。
梯度下降法有如下特点：
•理论明确，程序简单，对初始点要求不严格。
•对一般函数而言，梯度法的收敛速度并不快（线性收敛），因为最速下 降方向仅仅是指某点的一个局部性质。
3•梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯
齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。
4•梯度法的收敛速度与目标函数的性质密切相关。对于等值线 （面）为同心
圆（球）的目标函数，一次搜索即可达到极小点。

牛顿法在xk邻域内用一个二次函数来近似代替原目标函数，并将的极小点 作为对目标函数求优的下一个迭代点。经多次迭代，使之逼近目标函数的极小