稀疏核机（上）—SVM回顾

作者：stephenDC

本文想讨论的是稀疏核机，包括稀疏性和核方法两个方面。

提起机器学习中模型的稀疏性，估计很多人第一时间想到的是L1正则。但这里说的稀疏性，不是指L1产生的稀疏特征，而是指有些模型的预测推断只依赖于训练集中少量的样本点。

核方法，和基函数方法一样，是对线性模型进行容量扩展的重要手段，但核方法通用性更好且会带来计算上的优势。

不过，作者发现想讨论稀疏核机，需要先回顾一下SVM的导出。

不仅因为从SVM可以方便地引出稀疏核机，还因为只有在同一语境之下（相同的符号和公式表达），才更容易把问题跟说明清楚。

因此，本文先试图把一些相关概念讲清楚，下一篇文章会基于这些概念进行引申推广。

最优分隔超平面问题

模型建立

优化问题

松弛变量的引入

下图是松弛变量情形下的分类示意：

SVM的计算

本文帮大家回顾一下SVM的导出过程，介绍了以下相关概念：

1) Margin

2) 最优分隔超平面

3) 松弛变量

4) SVM的带约束优化问题

5) SVM的拉格朗日对偶问题

下篇文章，我们将基于这些基础概念继续讨论稀疏核机，重点说明稀疏性和核方法，敬请期待。