DL之DNN优化技术:神经网络算法简介之数据训练优化【mini-batch技术+etc】
DL之DNN优化技术:神经网络算法简介之数据训练优化【mini-batch技术+etc】
1、mini-batch技术
输出结果
实现代码
# coding: utf-8
#DL之mini-batch:理解深度学习算法中的优化技术【mini-batch技术+etc】
import numpy as np
from DIY_module.mnist import load_mnist
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)
#设定参数one_hot_label=True,可以得到one-hot 表示(即仅正确解标签为1,其余为0 的数据结构)。
print(x_train.shape) # (60000, 784)
print(t_train.shape) # (60000, 10)
#从训练数据中随机抽取10笔数据,只需指定这些随机选出的索引,取出mini-batch,然后使用这个mini-batch 计算损失函数即可!
train_size = x_train.shape[0]
batch_size = 10
batch_mask = np.random.choice(train_size, batch_size)
#np.random.choice(60000, 10)会从0 到59999 之间随机选择10 个数字
x_batch = x_train[batch_mask]
t_batch = t_train[batch_mask]
#实现mini-batch版交叉熵误差
#同时处理单个数据和批量数据(数据作为batch集中输入)两种情况的函数。
def cross_entropy_error(y, t):
if y.ndim == 1: #if判断y的维度为1 时,即求单个数据的交叉熵误差时,需要改变数据的形状
t = t.reshape(1, t.size)
y = y.reshape(1, y.size) #当输入为mini-batch 时,要用batch 的个数进行正规化,计算单个数据的平均交叉熵误差。
batch_size = y.shape[0]
return -np.sum(t * np.log(y + 1e-7)) / batch_size
#当监督数据是标签形式(非one-hot 表示,而是像“2”“7”这样的标签)时,交叉熵误差可通过如下代码实现。
#(1)、实现的要点是,由于one-hot表示中t为0的元素的交叉熵误差也为0,因此针对这些元素的计算可以忽略。即如果可以获得神经网络在正确解标签处的输出,就可以计算交叉熵误差。
def cross_entropy_error(y, t):
if y.ndim == 1:
t = t.reshape(1, t.size)
y = y.reshape(1, y.size)
batch_size = y.shape[0]
return -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size #微小值1e-7
#np.log(y[np.arange(batch_size),t]) #np.arange(batch_size)会生成一个从0到batch_size-1的数组
#y[np.arange(batch_size),t] #会生成NumPy数组[y[0,2], y[1,7], y[2,0],y[3,9], y[4,4]])。
赞 (0)