最优化的数学基础

摘要: 最优化数学基础：线性代数、计算数学、概率

【对数据分析、人工智能、金融科技、风控服务感兴趣的同学，欢迎关注我哈，阅读更多原创文章】
我的网站：潮汐朝夕的生活实验室
我的公众号：潮汐朝夕
我的知乎：潮汐朝夕
我的github：FennelDumplings
我的leetcode：FennelDumplings

---

最优化是机器学习的一个重要的基础知识。理论可以参考 最优化-建模,算法与理论 ，计算可以参考 数值最优化方法。

本文盘点一下最优化本身需要的数学基础。主要分为线性代数，计算数学，概率三大块。

---

---

线性代数基础

• 矩阵内积与迹
• 正交矩阵与(半)正定矩阵
• 矩阵的秩
• 像空间和零空间
• 行列式
• 特征值与特征向量
• 广义逆
• Sherman-Morrison-Woodbury 公式
• Schur补

数值代数基础

• 解线性方程组
• 系数矩阵为特殊矩阵的方程组解法
• 特征值分解与奇异值分解
• 数值代数软件

概率基础

• 概率空间
• 随机变量
• 条件期望
• 随机变量的收敛性
• 随机过程
• 概率不等式

---