研究生最优化课程部分笔记

字数统计: 1.3k字 | 阅读时长: 4分

2022-01-30

摘要: 最优化最优化课程笔记：仅含基本概念、线性规划、单纯形、对偶原理四部分

【对数据分析、人工智能、金融科技、风控服务感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：潮汐朝夕
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

这是当年研究生上最优化时的教材，定理的证明和算法的推导主要以数学分析和线性代数为基础。

现在看的话有更好的书，并且本书有点老了，没有新算法。本书其实没必要看了，这里是一部分当时的笔记，是基于这本书的。

书名: 最优化理论与算法
作者: 陈宝林
豆瓣链接

书中包括以下内容，其中加粗的是笔记上有的内容，笔记共 56 页。其它内容其它更好的书里一般会有，如果没有但是又需要了解的话，翻回来看也不迟。

基础概念
- 线性与非线性规划问题
- 几个数学概念
- 凸集和凸函数
线性规划的基本性质
- 标准形式及图解法
- 基本性质
单纯形方法
- 单纯形方法原理
- 两阶段法与大M法
- 退化情形
- 修正单纯形法
- 变量有界的情形
- 分解算法
对偶原理及灵敏度分析
- 线性规划中的对偶理论
- 对偶单纯形法
- 原始-对偶算法
- 灵敏度分析
- 含参数线性规划
运输问题
- 运输问题的数学模型与基本性质
- 表上作业法
- 产销不平衡运输问题
线性规划的内点算法
- Karmarkar算法
- 内点法
- 路径跟踪法
最优性条件
- 无约束问题的极值条件
- 约束极值问题的最优性条件
- 对偶及鞍点问题
优化算法
- 算法概念
- 算法收敛问题
一维搜索
- 一维搜索概念
- 试探法
- 函数逼近法
使用导数的最优化方法
- 最速下降法
- 牛顿法
- 共轭梯度法
- 拟牛顿法
- 信赖域方法
- 最小二乘法
无约束最优化的直接方法
- 模式搜索法
- Rosenbrock方法
- 单纯形搜索法
- Powell方法
可行方向法
- Zoutendijk可行方向法
- Rosen梯度投影法
- 既约梯度法
- Frank Wolfe方法
惩罚函数法
- 外点罚函数法
- 内点罚函数法
- 乘子法
二次规划
- Lagrange方法
- 起作用集方法
- Lemke方法
- 路径跟踪法
整数规划简介
- 分支定界法
- 割平面法
- 0-1规划的隐数法
- 指派问题
动态规划简介
- 动态规划的一些基本概念
- 动态规划的基本定理和基本方程
- 逆推解法和顺推解法
- 动态规划与静态规划的关系
- 函数迭代法