(3条消息) 【回故系列】线性回归的矩阵推导

线性模型（Linear Model），是机器学习中的一类算法的总称，其形式化定义为：通过给定的样本数据集

，线性模型试图学习到这样的一个模型，使得对于任意的输入特征向量

，模型的预测输出

能够表示为输入特征向量

的线性函数，即满足：

也可以写成矩阵的形式：

其中，

和

称为模型的参数。

为了求解线性模型的参数

和

，首先我们定义损失函数，在回归任务中，常用的损失函数是均方误差：

优化损失函数就是我们的目标，基于均方误差损失函数来求解模型参数的方差，也就是我们熟悉的最小二乘法，最小二乘法的思想其实就是寻找一个超平面，使得训练数据集

中的所有样本点到这个超平面的欧式距离最小。

OK，接下来就是优化问题了，如何取优化该损失函数，从而获得最优模型参数

和

,因为该损失函数是凸函数，根据极值存在的必要条件，我们可以运用解析法进行求解。

下面我们将给出详细的推导求解

和

的过程：

1. 首先将参数

和

进行合并，用

来进行表示：

, 容易知道

是

维度。

对输入特征向量进行改写，

，则全体训练集，可用矩阵进行如下表示：

对输入特征向量的输出标签，可以改写为：

2. 根据1.我们可以知道

是一个

的矩阵，这样模型在训练集上所有预测结果可以写成矩阵形式：

3. 根据1和2，损失函数可以转化为矩阵形式：

根据极值存在的必要条件，下面进行对参数

的求导：

对上一步结果进行展开

转换为迹运算

对上一步结果进行展开

根据常见矩阵求导公式

,可知

根据常见矩阵求导公式

，可知

根据常见矩阵求导公式

，可知

综上可知，

令

，可得

，求解得到

需要注意，要保证对称矩阵

是可逆的，如果不可逆，则解析法求解失效。

完，脊回归的推导也很相似。