机器学习干货,一步一步通过Python实现梯度下降的学习

Gradient Descent - 梯度下降

梯度下降法(英语:Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法

以上是维基百科对梯度下降的解释。

下面我们来一步一步的学习一遍:

什么是 梯度下降?

为了方便,我们准备一些数据,并通过Python绘制出图像。

图1:数据准备和图像

如图1所示,我们准备了一组数据,x轴为体重(Weight)数据,y轴是身高(Height)数据,通过Python中 matplotlib 包,将数据图像话。

此时,图像中的点似乎呈现出线性的关系。

问题来了,我们怎么样去找到最匹配的直线关系式呢?

有的同学会直接上手 线性回归。自然没错,但是今天的主角是 梯度下降

那么,我们一起来用梯度下降的方式来解决这个问题吧!

第一步:假设函数关系 h(x)

既然上述图像可以被看成是线性关系,我们就可以假设一个线性的函数关系式:h(x);

Predicted Height = Intercept + Slope * Weight

身高的预测值 = y轴截距 + 斜率 * 体重

找到最优化线性关系的问题就转化成了:找到最优的 y轴截距 和 斜率的问题

用数学的方法来表示如下:

图2:数学公式

在数据中,真实存在的 y值 和 预测值 h是存在误差的。这个误差可以用残留误差(Residual Error)来表示。

图3

图4:残留误差(Residual Error)

在图4中,数据点(红球)的y值与直线给出的预测值之间的误差显示为蓝色的虚线

  • 在统计中,我们将所有误差的平方和称为Sum of the Squared Residuals 残值平方和;
  • 在机器学习中,所有误差的平方和称为 损失函数 Loss Function ~ J;

为什么损失函数里要用距离的平方而不是距离的绝对值?

大家有想过这个问题吗?误差是| 预测值_i - 实际值_i | ,那我取误差绝对值的和的最小值不也可以称为一个损失函数嘛。

千万不要以为这个平方是随随便便来的。背后是有道理的。

误差 = 预测值_i - 实际值_i

这个误差是符合一定概率分布的。看过我之前的文章介绍海量数据的中心极限定理的朋友,应该知道这个误差 可以被假定为:

平均值 u = 0,方差为σ 的正态分布。

图5:正态分布

那么在已知正太分布的情况下,每一个数据点都会对应一个误差,而误差出现的概率,准确的说是Likelihood是可以通过 正态分布的函数求得的。

图6:likelihood(概率)

所有数据点 误差概率相加

当我们对上述函数取对数可得:

取对数

最大似然分析,不懂得看我之前的文章。我们要保证 L 最大,只要保证上式 右边值最大。

式子右边 第一项和第二项是定值,只要保证第三项最小就可以使 L最大。

由于 u = 0,只要 sum((误差值_i)^2) 最小就可以啦!

这就是为什么 损失函数 J要采用平方的数学解释啦!

目标:找到β0 和 β1使得 损失函数 J 最小!!!

图7:给出y和x的定义

在Python中,我们首先给β0 和 β1赋值为0,当然可以赋值成任何值。

图8:梯度下降

为什么叫梯度下降?

在图8中,如果我们将每一个β0 和 β1 对应的的 残值平方和 作图表示出来,就能发现局部最低点,也就是残值平方和最小的点。图8是只考虑斜率的情况下。如果同时考虑β0 和 β1,则是三维图像,如图9.

图9

第二步:将β0 和 β1 插入相关函数和导数中;

介绍了这么多梯度下降,接着我们就进入如何使用梯度下降 找到β0 和 β1 吧!

小范围的极小值点,我们会想到 函数的一阶导数 = 0 对应的 x 值

图10:一阶导数

接下来,我们要定义一个重要的概念 学习效率(Learning Rate): a梯度下降对于 Learning Rate的选择非常敏感。

图11:梯度下降

当我们在当前的β0 和 β1 下无法使得 损失函数对于β0 和 β1 的偏微分为0。

损失函数对于β0 和 β1 的偏微分可以理解成β0 和 β1 变化的梯度方向(如图11)。那么,我们在这个梯度下降的方向上给β0 和 β1 做一个微小的移动。

图12

通过对β0 和 β1 最终找到是的损失函数 J 最小的β0 和 β1。

Python实现梯度下降

图13

先从β0 和 β1 都为0开始,图13中蓝线。

我们运行1000次,并且将直线的演变过程画出来:

为了有些同学想自己试试,我把代码复制如下:

import numpy as npfrom matplotlib import pyplot as plt%matplotlib inlinex_data = [1, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]y_data = [1, 2, 3, 1, 4, 5, 6, 4, 7, 10, 15, 9]plt.plot(x_data, y_data, 'ro')plt.title('Height vs Weight')plt.xlabel('Weight')plt.ylabel('Height')# y = β0 + β1 * xβ0 = 0β1 = 0y = lambda x : β0 + β1 * xdef plot_line(y, data_points): x_values = [i for i in range(int(min(data_points)) - 1, int(max(data_points)) + 2)] y_values = [y(x) for x in x_values] plt.plot(x_values, y_values, 'b') plot_line(y, x_data)learning_rate = 0.001def summation(y, x_data, y_data): slope_β0 = 0 slope_β1 = 0 for i in range(1, len(x_data)): slope_β0 += y(x_data[i]) - y_data[i] slope_β1 += (y(x_data[i]) - y_data[i]) * x_data[i] return slope_β0 / len(x_data), slope_β1 / len(x_data)for i in range(1000): slope_β0, slope_β1 = summation(y, x_data, y_data) β0 = β0 - learning_rate * slope_β0 β1 = β1 - learning_rate * slope_β1 plot_line(y, x_data) plt.plot(x_data, y_data, 'ro')

总结

以上就是梯度下降的过程,以及如何通过python来实现梯度下降。

最后,我们可以得到我们想要的线性关系函数了。

y = 0.058 + 1 * x

希望大家喜欢我的文章。

“逃学博士”:理工科直男一枚,在冰天雪地的加拿大攻读工程博士。闲暇之余分享点科学知识和学习干货。

(0)

相关推荐

  • 神经网络如何学习的?

    像下山一样,找到损失函数的最低点. 毫无疑问,神经网络是目前使用的最流行的机器学习技术.所以我认为了解神经网络如何学习是一件非常有意义的事. 为了能够理解神经网络是如何进行学习的,让我们先看看下面的图 ...

  • 深度学习三十问!一位算法工程师经历30+场CV面试后总结的常见问题合集(含答案)

    作者丨灯会 来源丨极市平台 编辑丨极市平台 极市导读 作者灯会为21届中部985研究生,凭借自己整理的面经,去年在腾讯优图暑期实习,七月份将入职百度cv算法工程师.在去年灰飞烟灭的算法求职季中,经过3 ...

  • 最小二乘法小结

    公众号后台回复"python",立刻领取100本机器学习必备Python电子书 最小二乘法是用来做函数拟合或者求函数极值的方法.在机器学习,尤其是回归模型中,经常可以看到最小二乘法 ...

  • 干货分享:3步破解招生难

    诸葛君说:随着互联网的高速发展,普及度逐年增高,以及国人对于教育越来越重视,在线教育行业得到快速的发展,如今,在线教育行业是消费升级下的万亿级市场,市场前景广阔.但是,竞争日益激烈,随着互联网渠道的成 ...

  • 实用干货:大神教你一步一步画水彩建筑,轻松易上手,你值得拥有

    又到了周末啦, 小伙伴们有计划去哪儿旅行吗? 虽只是短暂的两天时间, 也是可以去周围地方转转悠, 呼吸一下自然清新空气哒~ 而喜爱画画的小伙伴, 何不带上一个画本, 一支钢笔,一份水彩颜料工具, 将沿 ...

  • 【干货】简单几步规避暴雷股

    龙虎榜广州系游资代表人,百万实盘,每月10%的复利之旅.不玩虚的,绝无'马后炮',实时公开操作,共同感受穿越牛熊的魅力! - - -暴龙 说实话,我以前不怎么写干货,原因在于: 1.同质化的公众号很多 ...

  • 干货 | 只需九步,完美邮寄法律文件

    高云合同写审改集训营 下半年课程出炉啦! 作者:刘海亮律师 来源:今海瑞律师事务所 在执业过程中,律师经常需要自己或者帮助客户寄送法律文书,如通知.异议.申请书.上诉状.证据材料等.有的法律文书对于是 ...

  • 【干货】庞大的DCS系统是如何一步一步调试成功的?

    【干货】庞大的DCS系统是如何一步一步调试成功的?

  • 编程干货|轻松几步,掌握快速注释、查看源码小技巧!

     #你是否经历过这样的场景 打开编辑器写代码的同时 想在「百度」搜索源码作为参考 不断来回切换页面 而经常搜不到想要的结果 耗时又费力 #不慌,这里就有一份指南! 其实,只需要一些简单的技巧 轻松几步 ...

  • 编程干货|轻松几步,帮你解决文件乱码困扰!

     #你是否经历过这样的场景 临时需要处理一件急活儿 打开关键的文件 结果发现全是乱码 完全打乱了工作节奏 #不慌,这里就有一份指南! 其实,出现乱码 是因为编码不一致 导致计算机在"交流&q ...

  • 重磅干货:装修第一步,水深的装修公司到底怎么选?

    记得给"装小蜜装修监理"点个关注哦~分享各种装修知识和干货,带你避开那些装修里的坑! 装修第一步,往往从选装修公司开始. 但往往,很多装修人一迈这第一步,就一脚跌进深坑中. 如何选 ...

  • 来说点干货,如何一步一步寻找到理想中的跟踪标的(一)

    导读:在投资中,我始终认为,略和道是最重要的,即对这个世界,对这个市场的认知的角度,只有在正确认知的道路上才能有所收获和成绩.但在略和道之下,术却是加速器,如果方法可行,有可能获得相对超额收益.市场上 ...