1. 最优化问题

1.1. 凸函数

目标函数是否光滑（Smooth）或者是否强凸（Strongly Convex）对算法是否适用有着很大的影响。一般来说，部分算法在强凸的条件下，收敛率会有进一步的提升。强凸是一个锦上添花的性质。但是，光滑不光滑就会决定着算法是否适用，因为不光滑的话，一般情况下，导函数是不存在的，那么就需要修正成近似算法（SubGradient， Proximal）来解决。还有部分算法（Newton）除了要求光滑可导，还要求导函数光滑可导，也就是二阶可导（quadratic）。

凸优化问题

逻辑回归（分类）
支持向量机、线性回归等线性模型

特点：
1.好求解一点

非凸优化问题**

低秩模型（矩阵分解）
深度神经网络
主成分分析

特点：
较难求解

1.2. 标准优化问题

标准的优化问题格式如下：

minimize   f0(x)
subject to:
fi(x) ≤ 0, i = 1, . . . , m
hi(x) = 0, i = 1, . . . , p

机器学习中，结构风险SRM最小的框架下，给定了优化目标

2. 参考资料

http://www.dscademy.com/optimization/newton/index.php?from=header
最优化原理笔记（推荐） https://wulc.me/2017/02/01/%E6%9C%80%E4%BC%98%E5%8C%96%E8%AE%A1%E7%AE%97%E8%AF%BE%E7%A8%8B%E6%80%BB%E7%BB%93/
An overview of gradient descent optimization algorithms(经典) https://arxiv.org/pdf/1609.04747.pdf
Adam那么棒，为什么还对SGD念念不忘 http://wulc.me/2019/03/18/Adam%E9%82%A3%E4%B9%88%E6%A3%92%EF%BC%8C%E4%B8%BA%E4%BB%80%E4%B9%88%E8%BF%98%E5%AF%B9SGD%E5%BF%B5%E5%BF%B5%E4%B8%8D%E5%BF%98/