超详细 SVM（支持向量机）知识点
一. 简单概括一下SVM：
SVM 是一种二类分类模型。它的基本思想是在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类，具体来讲，有三种情况（不加核函数的话就是个线性模型，加了之后才会升级为一个非线性模型）：
- 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；
- 当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；
- 当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。
二. SVM 为什么采用间隔最大化（与感知机的区别）：
当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开。感知机利用误分类最小策略，求得分离超平面，不过此时的解有无穷多个。线性可分支持向量机利用间隔最大化求得最优分离超平面，这时，解是唯一的。另一方面，此时的分隔超平面所产生的分类结果是最鲁棒的，对未知实例的泛化能力最强。
三. SVM的目标（硬间隔）：
有两个目标：第一个是 使间隔最大化 ，第二个是 使样本正确分类， 由此推出目标函数：
稍微解释一下，w是超平面参数，目标一是从点到面的距离公式化简来的，具体不展开，目标二就相当于感知机，只是把大于等于0进行缩放变成了大于等于1，为了后面的推导方便。有了两个目标，写在一起，就变成了svm的终极目标：
四. 求解目标（硬间隔）：
从上面的公式看出，这是一个有约束条件的最优化问题，用拉格朗日函数来解决。
上式的拉格朗日函数为：
在满足Slater定理的时候，且过程满足KKT条件的时候，原问题转换成对偶问题：
先求内部最小值，对和 b 求偏导数=0可得
将其带入到上式中可以得到
此时需要求解 α ， 利用SMO（序列最小优化）算法 ：
五. 软间隔：
不管直接在原特征空间，还是在映射的高维空间，我们都假设样本是线性可分的。虽然理论上我们总能找到一个高维映射使数据线性可分，但在实际任务中，寻找一个合适的核函数核很困难。此外，由于数据通常有噪声存在，一味追求数据线性可分可能会使模型陷入过拟合，因此， 我们放宽对样本的要求，允许少量样本分类错误 。这样的想法就意味着对目标函数的改变，之前推导的目标函数里不允许任何错误，并且让间隔最大，现在给之前的目标函数加上一个误差，就相当于允许原先的目标出错，引入松弛变量
，公式变为：
那么这个松弛变量怎么计算呢，最开始试图用0，1损失去计算，但0，1损失函数并不连续，求最值时求导的时候不好求，所以引入合页损失（hinge loss）：
函数图张这样：
理解起来就是，原先制约条件是保证所有样本分类正确，
，现在出现错误的时候，一定是这个式子不被满足了，即
，衡量一下错了多少呢？因为左边一定小于1，那就跟1比较，因为1是边界，所以用1减去
来衡量错误了多少，所以目标变为（正确分类的话损失为0，错误的话付出代价）：
但这个代价需要一个控制的因子，引入C>0，惩罚参数，即：
可以想象，C越大说明把错误放的越大，说明对错误的容忍度就小，反之亦然。当C无穷大时，就变成一点错误都不能容忍，即变成硬间隔。实际应用时我们要合理选取C，C越小越容易欠拟合，C越大越容易过拟合。
所以软间隔的目标函数为：
其中：
六. 软间隔求解：
与硬间隔类似：
上式的拉格朗日函数为：
在满足Slater定理的时候，且过程满足KKT条件的时候，原问题转换成对偶问题：
求偏导并令其等于
将其代入到上式中去可得到，注意 β被消掉了：
此时需要求解α ，同样 利用SMO（序列最小优化）算法。
七. 核函数：
为什么要引入核函数：
当样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。而引入这样的映射后，所要求解的对偶问题的求解中，无需求解真正的映射函数，而只需要知道其核函数。核函数的定义：K(x,y)=<ϕ(x),ϕ(y)>，即在特征空间的内积等于它们在原始样本空间中通过核函数 K 计算的结果。一方面数据变成了高维空间中线性可分的数据，另一方面不需要求解具体的映射函数，只需要给定具体的核函数即可，这样使得求解的难度大大降低。
用自己的话说就是，在SVM不论是硬间隔还是软间隔在计算过程中，都有X转置点积X，若X的维度低一点还好算，但当我们想把X从低维映射到高维的时候（让数据变得线性可分时），这一步计算很困难，等于说在计算时，需要先计算把X映射到高维的的ϕ(x)，再计算ϕ(x1)和ϕ(x2)的点积，这一步计算起来开销很大，难度也很大，此时引入核函数，这两步的计算便成了一步计算，即只需把两个x带入核函数，计算核函数，举个列子一目了然（图片来自：从零推导支持向量机）：
个人对核函数的理解： 核函数就是一个函数，接收两个变量，这两个变量是在低维空间中的变量，而 核函数求的值 等于 将两个低维空间中的向量映射到高维空间后的内积 。
八. SVM的优缺点：
优点：
- 由于SVM是一个凸优化问题，所以求得的解一定是全局最优而不是局部最优。
- 不仅适用于线性线性问题还适用于非线性问题(用核技巧)。
- 拥有高维样本空间的数据也能用SVM，这是因为数据集的复杂度只取决于支持向量而不是数据集的维度，这在某种意义上避免了“维数灾难”。
- 理论基础比较完善(例如神经网络就更像一个黑盒子)。
缺点：
- 二次规划问题求解将涉及m阶矩阵的计算(m为样本的个数), 因此SVM不适用于超大数据集。(SMO算法可以缓解这个问题)
- 只适用于二分类问题。(SVM的推广SVR也适用于回归问题；可以通过多个SVM的组合来解决多分类问题)