【原创】机器学习从零开始系列连载(4)——​逻辑回归

辑回归-Logistic Regression‍

逻辑回归恐怕是互联网领域用的最多的模型之一了,很多公司做算法的同学都会拿它做为算法系统进入模型阶段的baseline。

模型原理

逻辑回归是一种判别模型,与线性回归类似,它有比较强的先验假设 :
逻辑回归是判别模型,所以我们直接学习,以高斯分布为例:

整个原理部分的推导过程如下:

采用 MLE 或者 MAP 做参数求解:

损失函数

损失函数3 —— Cross Entropy Loss

简单理解,从概率角度:Cross Entropy损失函数衡量的是两个概率分布与之间的相似性,对真实分布估计的越准损失越小;从信息论角度:用编码方式对由编码方式产生的信息做编码,如果两种编码方式越接近,产生的信息损失越小。与Cross Entropy相关的一个概念是Kullback–Leibler divergence,后者是衡量两个概率分布接近程度的标量值,定义如下:

当两个分布完全一致时其值为0,显然Cross Entropy与Kullback–Leibler divergence的关系是:

关于交叉熵及其周边原理,有一篇文章写得特别好:Visual Information Theory(在后期我们公众号将会推出)


1.机器学习原来这么有趣!【第一章】

2.【原创】机器学习从零开始系列连载(1)——基本概念

3.【原创】机器学习从零开始系列连载(2)——线性回归

扫描个人微信号,

拉你进机器学习大牛群。

福利满满,名额已不多…

(0)

相关推荐