最优化-建模,算法与理论

字数统计: 1.4k字 | 阅读时长: 4分

2021-12-26

摘要: 《最优化：建模，算法与理论》

【对数据分析、人工智能、金融科技、风控服务感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：潮汐朝夕
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

本书是 2020 年出的关于最优化的理论与算法方面的书，作者是中国人。优化计算这块可以参考数值最优化方法

另外这个凸优化的课也可以参考 Convex Optimization。

最优化-建模算法与理论

最优化问题

最优化问题概括
- 最优化问题的一般形式
- 最优化问题的类型与应用背景
实例: 稀疏优化
实例: 低秩矩阵恢
实例: 深度学习
- 多层感知机
- 卷积神经网络
最优化的基本概念
- 连续和离散优化问题
- 无约束和约束优化问题
- 随机和确定性优化问题
- 线性和非线性规划问题
- 凸和非凸优化问题
- 全局和局部最优解
- 优化算法

基础知识

范数
- 向量范数
- 矩阵范数
- 矩阵内积
导数
- 梯度与海瑟矩阵
- 矩阵变量函数的导数
- 自动微分
广义实值函数
- 适当函数
- 闭函数
凸集
- 凸集的相关定义
- 重要的凸集
- 保凸的运算
- 分离超平面定理
凸函数
- 凸函数的定义
- 凸函数判定定理
- 保凸的运算
- 凸函数的性质
共轭函数
- 共轭函数的定义和例子
- 二次共轭函数
次梯度
- 次梯度的定义
- 次梯度的性质
- 凸函数的方向导数
- 次梯度的计算规则

优化建模

建模技术
- 目标函数的设计
- 约束的设计
回归分析
- 线性回归模型
- 正则化线性回归模型
逻辑回归
支持向量机
概率图模型
相位恢复
主成分分析
矩阵分离问题
字典学习
K-均值聚类
图像处理中的全变差模型
小波模型
强化学习

典型优化问题

线性规划
最小二乘问题
复合优化问题
随机优化问题
半定规划
矩阵优化
整数规划

最优性理论

最优化问题解的存在性
无约束可微问题的最优性理论
- 一阶最优性条件
- 二阶最优性条件
无约束不可微问题的最优性理论
- 凸优化问题一阶充要条件
- 复合优化问题的一阶必要条件
- 非光滑非凸问题的最优性条件
对偶理论
- 拉格朗日函数与对偶问题
- 带广义不等式约束优化问题的对偶
一般约束优化问题的最优性理论
- 一阶最优性条件
- 二阶最优性条件
带约束凸优化问题的最优性理论
- Slater 约束品性与强对偶原理
- 一阶充要条件
- 一阶充要条件:必要性的证明
约束优化最优性理论应用实例
- 仿射空间的投影问题
- 线性规划问题
- 基追踪
- 最大割问题的半定规划松弛及其非凸分解模型

无约束优化算法

线搜索方法
- 线搜索准则
- 线搜索算法
- 收敛性分析
梯度类算法
- 梯度下降法
- Barzilar-Borwein
次梯度算法
- 次梯度算法结构
- 收敛性分析
牛顿类算法
- 经典牛顿法
- 收敛性分析
- 修正牛顿法
- 非精确牛顿法
拟牛顿类算法
- 割线方程
- 拟牛顿矩阵更新方式
- 拟牛顿法的全局收敛性
- 有限内存 BFGS 方法
信赖域算法
- 信赖域算法框架
- 信赖域子问题求解
- 收敛性分析
非线性最小二乘问题算法
- 非线性最小二乘问题
- 高斯 – 牛顿算法
- Levenberg-Marquardt 方法
- 大残量问题的拟牛顿法

潮汐朝夕的生活实验室 \Doge 陪伴一个算法工程师的职业生涯

数优化

最优化-建模,算法与理论

最优化问题

基础知识

优化建模

典型优化问题

最优性理论

无约束优化算法

约束优化算法

复合优化算法

凸优化