数优化

数值最优化方法

字数统计: 584字   |   阅读时长: 2分
, ,

摘要: 《数值最优化方法》，以算法为主。

【对数据分析、人工智能、金融科技、风控服务感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：潮汐朝夕
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

详细推导可以结合这本书一起看: 数值最优化（第二版）

1 引论

2 无约束最优化方法的基本结构

  • 2.1 最优性条件
  • 2.2 方法的特性
  • 2.3 线搜索准则
  • 2.4 线搜索求步长
  • 2.5 信赖域方法
  • 2.6 常用最优化方法软件介绍

3 负梯度方法与Newton 型方法

  • 3.1 最速下降方法
  • 3.2 Newton 方法
  • 3.3 拟Newton 方法
  • 3.4 拟Newton 方法的基本性质
  • 3.5 DFP 公式的意义
  • 3.6 数值试验
  • 3.7 BB 方法

4 共轭梯度方法

  • 4.1 共轭方向及其性质
  • 4.2 对正定二次函数的共轭梯度方法
  • 4.3 非线性共轭梯度方法
  • 4.4 数值试验
  • 4.5 Broyden 族方法搜索方向的共轭性

5 非线性最小二乘问题

  • 5.1 最小二乘问题
  • 5.2 Gauss-Newton 方法
  • 5.3 LMF 方法
  • 5.4 Dogleg 方法
  • 5.5 大剩余量问题
  • 5.6 数值试验

6 约束最优化问题的最优性理论

  • 6.1 一般约束最优化问题
  • 6.2 约束规范条件
  • 6.3 约束最优化问题的一阶最优性条件
  • 6.4 约束最优化问题的二阶最优性条件

7 罚函数方法

  • 7.1 外点罚函数方法
  • 7.2 障碍函数方法
  • 7.3 等式约束最优化问题的增广Lagrange函数方法
  • 7.4 一般约束最优化问题的增广Lagrange函数方法
  • 7.5 数值试验

8 二次规划

  • 8.1 二次规划问题
  • 8.2 等式约束二次规划问题
  • 8.3 起作用集方法

9 序列二次规划方法

  • 9.1 序列二次规划方法的提出
  • 9.2 约束相容问题
  • 9.3 Lagrange 函数Hesse矩阵的近似
  • 9.4 价值函数
  • 9.5 SQP 算法
Share