神经网络背后的简单数学
> Image by Alina Grubnyak on Unsplash
神经网络是将数据映射到信息的通用逼近器。这是什么意思？神经网络可以解决任何问题吗？神经网络是一种经过验证的解决方案，可用于按场景/逐帧分析，股票价格预测，零售，以及许多其他目的。我们中的许多人在企业级别使用它，但是我们当中有多少人真正理解它呢？
要回答'神经网络可以解决任何问题吗？'的问题，让我们从基础上进行探讨。NeuralNet由称为层的垂直堆叠组件组成：输入，隐藏和输出。每层由一定数量的神经元组成。输入层具有数据集的属性（特征）。根据问题陈述，可以存在具有多个神经元的多个隐藏层，而输出层可以具有多个神经元。
了解感知器和激活功能
感知器（或神经元）是神经网络的基本粒子。它根据阈值化原理工作。令f（x）是一个阈值为40的求和函数。
> Fig 1. Firing of Neurone (Image by Author)
在两种情况下，定义的函数都返回两个输入x 1和x 2的加法。在情况1中，函数返回小于阈值的30。在情况2中，该函数返回大于阈值的50，并且神经元将触发。现在，此功能变得比这复杂。典型神经网络的神经元接收输入值的总和乘以其权重和增加的偏差，该函数（也称为激活函数或步进函数）有助于做出决策。
> Fig 2. Perceptron (Image by Author)
激活函数将节点的输出转换为二进制输出。如果加权输入超过阈值，则为1，否则为0（取决于激活功能）。共有三种最常用的激活功能：
Sigmoid
Sigmoid是一种广泛使用的激活函数，有助于捕获非线性关系。
> Fig 3. Sigmoid Curve (source)
对于任何z值，函数Φ（z）将始终返回二进制（0/1）输出。因此，它被广泛用于基于概率的问题中。
tanh（Tangent双曲线）
它或多或少像Sigmoid函数，但tanh的范围是-1到1，这使其适合分类问题。它是非线性的。
> Fig 4. tanh curve (Image by Author)
ReLu（整流线性单位）
它是深度学习中最常用的激活函数，因为它不像其他激活函数那样复杂。f（x）返回0或x。
> Fig 5. ReLu curve (Image by Author)
由于ReLu函数的导数返回0或1，这使计算变得容易。
神经网络
为了理解神经网络的黑匣子，让我们考虑一个具有三层的基本结构。输入层，密集/隐藏层（连接在神经元的两侧）和输出层。
> Fig 6. A simple Neural Network (Image by Author)
权重和偏差是随机初始化的。神经网络输出的准确性在于通过不断更新权重和偏差来找到最佳值。让我们考虑一个方程，y = wx其中' w'是权重参数，' x'是输入特征。简而言之，权重定义了赋予特定输入属性（功能）的权重。现在，方程y = wx的解将始终通过原点。因此，增加了一个截距以提供自由度，以适应被称为偏差的完美拟合，并且方程式变为我们都熟悉的ŷ= wx + b。因此，偏置可以使激活函数的曲线向上或向下调整轴。
现在让我们看看神经网络会变得多么复杂。对于我们的网络，输入层有两个神经元，密集层有四个神经元，输出层有一个。每个输入值都与其权重和偏差相关联。输入特征与权重和偏差的组合通过密集层，在该层中，网络借助激活函数学习特征，并且网络具有自己的权重和偏差，最后进行预测（输出）。这就是正向传播。那么，我们的网络有多少个总参数？
> Fig 7. Total Parameter calculation of a Neural Network (Image by Author)
对于这样一个简单的网络，总共需要优化17个参数才能获得最佳解决方案。随着隐藏层数量和其中神经元数量的增加，网络获得了更大的功率（达到特定点），但是随后我们需要指数级的参数进行优化，这可能最终会占用大量的计算资源。因此，需要进行权衡。
更新网络
在一次正向传播迭代之后，通过获取实际输出与预测输出之间的（平方）差来计算误差。在网络中，输入和激活功能是固定的。因此，我们可以更改权重和偏差以最小化误差。可以通过注意两点来最大程度地减少错误：通过少量更改权重来更改错误，以及更改的方向。
成本函数
一个简单的神经网络根据线性关系value = wx + b来预测值，其中ŷ（预测）是y（实际）的近似值。现在，可以有几条拟合linear的直线。为了选择最佳拟合线，我们定义了成本函数。
令ŷ=θ₀+xθ₁。我们需要找到θ₀和θ₁的值，以使ŷ与y尽可能接近。为此，我们需要找到θ₀和θ₁的值，以使以下定义的误差最小。
> (Image by Author)
误差，E =实际值和预测值之间的平方差=（=-y）²
因此，Cost =（1 / 2n）（θ₀+xθ₁-y）²，其中n是用于计算均方差的总点数，并且将其除以2以减少数学计算量。因此，我们需要最小化此成本函数。
梯度下降
通过最小化成本函数，该算法有助于找到θ₀和θ₁的最佳值。我知道C =（1 / 2n）（θ₀+xθ₁— y）²。对于分析解决方案，我们将C相对于变量（θ）（称为梯度）进行了部分微分。
这些梯度表示斜率。现在，原始成本函数是二次函数。因此，该图将如下所示：
> Fig 8. Gradient Descent curve (Image by Author)
更新θ的公式为：
如果我们在点P1处，则斜率为负，这使梯度为负，整个方程为正。因此，该点沿正方向向下移动，直到达到最小值。类似地，如果我们在点P2处，则坡度为正，这使梯度为正，整个方程为负，使P2沿负方向移动，直到达到最小值。此处，η是点趋于极小值的速率，称为学习速率。所有θ都会同时更新（对于某些时期），并计算误差。
附带说明
通过这样做，我们可能会遇到两个潜在问题：1.在更新θ值时，您可能会陷入局部最小值。一种可能的解决方案是使用具有动量的随机梯度下降（SGD），这有助于越过局部极小值。2.如果η太小，收敛将花费很长时间。或者，如果η太大（或什至中等偏高），它将继续围绕最小值振荡，并且永远不会收敛。因此，我们不能对所有参数使用相同的学习率。为了解决这个问题，我们可以安排一个例程，该例程会随着梯度向最小值移动（例如余弦衰减）而调整η的值。
后向传播
使用梯度下降算法优化和更新NeuralNet中的权重和偏差的一系列操作。让我们考虑一个具有输入，单个隐藏层和输出的简单神经网络（图2）。
设x为输入，h为隐藏层，σ为S型激活，w权重，b为偏置，wᵢ为输入权重，wₒ为输出权重，bᵢ为输入偏置，bₒ为输出偏置，O为输出，E为误差和μ是线性变换（（∑wᵢxᵢ）+ b）。
现在，我们通过堆叠从输入到输出所需的一系列操作来创建图2的计算图。
> Fig 9. Computation Graph (Image by Author)
这里，E依赖于O，O依赖于μ2，μ2依赖于b 1，w 3和h，h依赖于μ1，并且μ1依赖于x，w 1和b 5。我们需要计算权重和偏差的中间变化（相关性）。由于只有一层隐藏层，因此存在输入和输出权重和偏差。因此，我们可以将其分为两种情况。
案例1：w.r.t.输出权重和偏差
> Fig 10. Computation Graph for case 1 (Image by Author)
因此，通过将导数的值放在上述两个误差变化方程中，可以得到如下的梯度
我们可以通过以下公式更新权重和偏差：
此计算用于隐藏层和输出。同样，对于输入和隐藏层如下。
情况2：w.r.t。输入权重和偏差
> Fig 11. Computation Graph for case 2. (Image by Author)
我们可以使用以下方法更新这些渐变：
两种情况同时发生，并且计算错误直到重复的次数称为时期。对神经网络进行监督。在运行了一定数量的时间后，我们为数据集的选定要素设置了一组优化的权重和偏差。当在此优化网络中引入新输入时，将使用权重和偏差的优化值来计算它们，以实现最大精度。
神经网络可以解决任何问题吗？
如上所述，神经网络是通用逼近器。从理论上讲，它们能够代表任何功能，因此可以解决任何问题。随着网络的增长（更多的隐藏层），它会获得更多的功能，但是要优化的参数数量呈指数级增长，这会占用大量资源。
可以在这里找到实现。
(本文由闻数起舞翻译自Shubham Dhingra的文章《Simplified Mathematics behind Neural Networks》，转载请注明出处，原文链接：
https://towardsdatascience.com/simplified-mathematics-behind-neural-networks-f2b7298f86a4)