5.回顾简单的神经网络

回顾简单的神经网络

• 输入数据

  import keras.datasets as mnist
  
  (train_images, train_labels), (test_images, test_labels) = mnist.load_data()
  
  train_images = train_images.reshape((60000, 28*28))
  train_images = train_images.astype('float32') / 255
  
  test_images = test_images.reshape((10000, 28*28))
  test_images = test_images.astype('float32') / 255
  # 输入图像保存在float32格式的Numpy张量中，形状分别为（60000，783）（训练数据）和（10000，784）（测试数据）。
  

• 构建网络

  network = models.Sequential()
  network.add(layers.Dense(512, activation='relu', input_shape=(28*28,)))
  network.add(layers.Dense(10, activation='softmax'))
  # 这个网络包含两个Dense层，每层都对输入数据进行一些简单的张量运算，这些运算都包含权重张量。
  # 权重张量是该层的属性，里面保存了网络所学到的知识。
  

• 网络编译

  network.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy'])
  # categorical_crossentropy 是损失函数，是用于学习权重张量的反馈信号，在训练阶段应该使他最小化。
  # 减少损失是由小批量随机梯度下降来实现的。
  # 梯度下降的具体方法是由第一个参数给定的，即rmsprop优化器。
  

• 训练循环

  network.fit(train_images, train_labels, epochs=5, batch_size=128)
  # 网络开始在训练数据上进行迭代（每个小批量包括128个样本），共迭代5次（在所有训练数据上迭代一次叫做一个轮次。
  # 在每次迭代过程中，网络会计算批量损失相对于权重的梯度，并相应地更新权重。
  # 5论之后，网络进行了2345次梯度更新（每轮469次），网络损失值将变得足够小，使得网络能够以很高的精度对于手写数字进行分类。