Optimization_Algorithm

大三上最优化学习内容

最优化课程

[TOC]

一维搜索

精确一维搜索：

1 Fibonacci法

​

2 黄金分割法

​

3 进退法

​

4 平分法

​

5 抛物线法——二次插值法

​ 当等距时

​

不精确一维搜索：

Wolfe算法

二 无约束最优化方法

1 最速下降法

1.1 理论推导

1.2 算法描述

1.3 收敛性

1 整体收敛性

最速下降法有着很好的整体收敛性，即使对一般的目标函数也是整体收敛的。

2 用于二次函数的收敛速度

最速下降法仅是线性收敛的，并且有时是很慢的线性收敛。

2 牛顿法

2.1理论推导

2.2 算法

2.3 收敛性

Newton法具有二阶收敛性。

2.4 优缺点与改进

3 共轭梯度法

理论推导

算法

FR共轭梯度法

N步重新开始的PRP共轭梯度法

4 拟牛顿法

5 Powell方向加速法

三 凸二次规划问题

拉格朗日法

理论推导

有效集法

理论推导

算法步骤

罚函数法

1 外部罚函数法

2 内部罚函数法

乘子法

四 线性规划问题

对偶问题

对偶单纯形法

五 整数线性规划

分支定界法

割平面法