凸优化

凸优化

数值优化算法面临两个方面的问题：局部极值，鞍点。前者是梯度为0的点，也是极值点，但不是全局极小值；后者连局部极值都不是，在鞍点处Hessian矩阵不定，即既非正定，也非负定。

凸优化通过对目标函数，优化变量的可行域进行限定，可以保证不会遇到上面两个问题。

凸优化是一类特殊的优化问题，它要求：

• 优化变量的可行域是一个凸集
• 目标函数是一个凸函数

凸优化最好的一个性质是：所有局部最优解一定是全局最优解。

机器学习中典型的凸优化问题有：

线性回归

岭回归

LASSO回归

Logistic回归

支持向量机

Softamx回归