2优化方法的数学基础1.ppt

第二章 优化方法的数学基础
§2-1 方向导数与梯度
§2-2 凸集、凸函数与凸规划
§2-3 二次函数及正定矩阵
§2-4 无约束优化问题的极值条件
§2-5 有约束优化问题的极值条件
§2-1 方向导数与梯度
数f1(X），f2(X)，其和
f（X）=f1（X）十f2（X）亦必为该凸集上的一个凸函数；
1）若f（X）为定义在凸集D上且具有连续一阶导数的函数，则f（X）为凸函数的充分必要条件为：
对任意两点X（1），X（2），不等式
三、凸性条件
恒成立
2）设f（X）为定义在凸集R上具有连续二阶导数的函数，则f（X）在R上为凸函数的充分必要条件是海赛矩阵G(X)在R上处处半正定。
四、凸规划
对于约束优化问题
式中若F（X）、 均为凸函数，则称此问题为凸规划。
不论是无约束或有约束的优化问题，在实际应用中，要证明一个优化问题是否为凸规划，一般比较困难，有时甚至比求解优化问题本身还要麻烦。尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难实现。因此，在优化设计的求解中，就不必花精力进行求证，而通常是从几个初始点出发，找出几个局部最优解，从中选择目标函数值最好的解。
注意：
外，最简单最重要的一类就是二次函数。
在n元函数中，除了线形函数：
或 f(X)=aX+c
§2-3 二次函数及正定矩阵
其中 均为常数。
若 ，X≠0 ，均有 ＞0 ，则称矩阵Q是正定的。
在代数学中将特殊的二次函数 称为二次型。
对于二次函数，我们更关心的是Q为正定矩阵的情形。
若 ，且X≠0，均有 ＜0，则称Q是负定的。
定义：设Q为n×n对称矩阵
其中 Q= b= Q为对称矩阵
其向量矩阵表示形式是：
二次函数的一般形式为：
解：对称矩阵Q的三个主子式依次为：
例：判定矩阵Q= 是否正定
一个n×n对称矩阵Q是正定矩阵的充要条件是矩阵Q的各阶主子式都是正的。
一个n×n对称矩阵Q是负定矩阵的充要条件是矩阵Q的各阶主子式的值负、正相间。
因此知矩阵Q是正定的。
定理： 若二次函数 中Q正定，则它的等值面是同心椭球面族，且中心为
证明：作变换 ，代入二次函数式中：
根据解析几何知识，Q为正定矩阵的二次型 的等值面是以坐标原点 为中心的同心椭球面族。由于上式中的 是常数，所以 的等值面也是以 =0为中心的同心椭球面族，回到原坐标系中去，原二次函数就是以 为中心的同心椭球面族。
前面已说过，一般目标函数的等值面在极小点附近近似地呈现为椭球面族。由此可见对于二次目标函数有效的求极小点的算法，当用于一般目标函数时，至少在极小点附近同样有效。因此在最优化理论中判定一个算法好坏的标准之一，是把该算法用于Q为正定的二次目标函数，如能迅速找到极小点，就是好算法；否则就不是太好的算法。
特别地若算法对于Q为正定的二次目标函数能在有限步内找出极小点来，就称此算法为二次收敛算法，或具有二次收敛性。
另外，这族椭球面的中心 恰是二次目标函数的唯一极小点。
例：把二次函数 化为矩阵向量形式并检验Q是否正定，如正定，试用公式 求这个函数的极小点。
极小点是 = =
解：展开
=
=
与题中函数比较各项系数为：Q= b=
由前例知Q正定
一、 多元函数的泰勒展开
§2-4 无约束优化问题的极值条件
二元函数：
二元函数：在点X0处
多元函数泰勒展开
海色矩阵
（Hessian）
对二次函数：
为二次函数的海色（Hessian）矩阵，常量矩阵。
二次函数的梯度为：
例：求目标函数f（X）=