DL之DNN：基于神经网络(从1层~50层)DNN算法实现对非线性数据集点进行绘制决策边界

输出结果

设计代码

首先查看数据集

import numpy as np
from sklearn.datasets import make_moons  #make_moons数据集可以生成一些非线性数据点
import matplotlib.pyplot as plt

# 手动生成一个随机的平面点分布，并画出来
np.random.seed(0)
X, y = make_moons(200, noise=0.20)
plt.scatter(X[:,0], X[:,1], s=40, c=y, cmap=plt.cm.Spectral)
plt.title('make_moons generating nonlinear data points')
plt.show()

#设计一个简单的人工神经网络：输入两个值，输出0或1，即第一类还是第二类，但DNN其实获得是概率，如属于0的概率是42% 。只包含一层隐藏层，即只对样本点做交集而不做并集
#激活函数选择tanh函数，采用softmax分类器(LR的多分类)，并且用互熵损失作为损失函数。BP计算梯度采用SGD算法

num_examples = len(X) # 样本数
nn_input_dim = 2      # 输入的维度
nn_output_dim = 2     # 输出的类别个数

# 梯度下降参数
epsilon = 0.01     # 学习率
reg_lambda = 0.01  # 正则化参数

# 定义损失函数，以便使用梯度下降算法
def calculate_loss(model):
    W1, b1, W2, b2 = model['W1'], model['b1'], model['W2'], model['b2'] #因为隐藏层有500个神经元，故b1是500维
    # 向前推进，前向运算
    z1 = X.dot(W1) + b1
    a1 = np.tanh(z1)
    z2 = a1.dot(W2) + b2
    exp_scores = np.exp(z2)
    probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True) #计算的属于哪一类的是概率
    # 计算损失
    corect_logprobs = -np.log(probs[range(num_examples), y])
    data_loss = np.sum(corect_logprobs)
    # 也得加一下L2正则化项
    data_loss += reg_lambda/2 * (np.sum(np.square(W1)) + np.sum(np.square(W2)))
    return 1./num_examples * data_loss

# 建立3个隐层的神经网络
model = build_model(3, print_loss=True)

# 然后再把决策/判定边界画出来
plot_decision_boundary(lambda x: predict(model, x))
plt.title("Decision Boundary for hidden layer size 3")  #即是由500个神经元(段直线)，去交集得出的曲线
plt.show()

# 然后观察不同的隐藏层个数(1, 2, 3, 4, 5, 20, 50)对结果的影响
plt.figure(figsize=(16, 32))
hidden_layer_dimensions = [1, 2, 3, 4, 5, 20, 50]
for i, nn_hdim in enumerate(hidden_layer_dimensions):
    plt.subplot(5, 2, i+1)
    plt.title('Hidden Layer size %d' % nn_hdim)
    model = build_model(nn_hdim)
    plot_decision_boundary(lambda x: predict(model, x))
plt.show()

DL之DNN：基于神经网络(从1层~50层)DNN算法实现对非线性数据集点进行绘制决策边界

输出结果

设计代码

相关推荐