TensorFlow 2.x - MNIST 图像分类(1)

一、手写数字识别

手写数字识别是一个入门级的简单项目,相当于 HelloWorld,简单十来行代码就能搞定,但是其中的原理并不简单。代码不是重点,思想才是重点。

先来看看这个简单项目。

使用 TensorFlow 来完成,那么得先安装 TensorFlow,除此之外,还需要安装 numpy 用于支持维度数组与矩阵运算,以及 matplotlib 绘图工具。

pip3 install tensorflow numpy matplotlib

然后,可以在 googleapis 下载所需要用到的数据集 MNIST。MNIST 是一个入门级的计算机视觉数据集,它包含各种手写数字图片。数据集里的每张图片大小为 28 * 28 像素。

MNIST

二、加载数据

下载之后,我们先看看数据

import tensorflow as tf
(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()

plt.imshow(train_images[0])
plt.show()

可以看到第一张图片是 5。

但是怎么把图片输入到程序中呢?

mnist 数据集中,每张图片大小为 28 * 28 像素,因此可以用 28 * 28 矩阵数组来表示一张图片。

图中纯白色部分用在矩阵中用 0 来表示,纯黑色部分用 1 表示,介于白色和黑色之间的部分用 0 ~ 1 之间的小数表示,这样就把一张图片抽象成一个矩阵。

这就完全是一个数学问题了。现在就是给 28 * 28 个 0 ~ 1 之间的数,然后对这些数做一些操作,使之输出一个数。

但这还不够,程序中读取到的是 0 ~ 255 之间的图片颜色,我们需要对应到 0 ~ 1,方便程序处理。

train_images = tf.keras.utils.normalize(train_images, axis=1)
test_images = tf.keras.utils.normalize(test_images, axis=1)

三、搭建网络

读取到数据后,就开始搭建我们神经网络:

model = tf.keras.models.Sequential([
    tf.keras.layers.Flatten(input_shape=(28, 28)),
    tf.keras.layers.Dense(128, activation=tf.nn.relu),
    tf.keras.layers.Dropout(0.1),
    tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])

这里我们使用 Sequential 创建顺序执行执行神经网络。

其中输入层 tf.keras.layers.Flatten(input_shape=(28, 28)) 的主要的功能就是将 (28, 28) 像素的图像,即对应的 2 维的数组,再转成 28 * 28 = 784 的一维的数组。

第二层是 Dense,是全连接层,这个层存在 128 的神经元。激活函数使用简单的 ReLU,ReLU相比其他激活函数计算简单。

第三层 Dropout 层是一种正则化技术,核心作用是防止神经网络过拟合。

最后一层是是输出层,激活函数使用 softmax,这适用于多类别的概率分布输出。由于最后分类结果是 10 种,因此最后一层的神经元个数为 10 个,分别代码 0 ~ 9 十个数字,这十个神经元的输出则分别代表该图像属于某个类别的概率。

softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类。

softmax

四、编译模型

接下来编译我们模型,可以指定 loss 函数类型,训练模型就是找到最合适方程,可以在 optimizer 指定找到最合适函数的方式。

# 编译模型
model.compile(
    optimizer='adam',  # 使用Adam优化器
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),  # 使用稀疏分类交叉熵作为损失函数
    metrics=['accuracy']  # 在训练和测试中监控准确率
)

在模型编译过程中有 3 个重要的参数:optimizer 优化器;loss 损失函数;metrics 计量标准是准确率,也就是正确归类的图像的概率。

  1. optimizer='adam':这指定了Adam优化算法将被用来更新网络权重以最小化损失函数。Adam是一种自适应学习率的方法,它在许多不同的问题上都能很好地工作,并且不需要大量的调整。
  2. loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True):这指定了损失函数为稀疏分类交叉熵(Sparse Categorical Crossentropy)。这种损失函数适用于标签是整数的情况。
  3. metrics=['accuracy']:这指定了在训练和测试期间评估模型性能的指标。在这里,准确性(accuracy)被用作评价标准,表示预测正确的比例。

因此我们通过 loss 损失函数、optimizer 优化器 以及 accuracy 准确率 这三个参数对模型调整。

1. 损失函数

神经网络最开始的输出是无序的,因此每次训练时,都略微调整神经元的权重值 w,这样,神经网络的输出也将发生变化。当输出值与真实值越接近,我们就说损失值减小了;当输出值与真实值越远,就说损失值增大了,所以自然而然的过度到了损失函数。

这样我们需要一个函数,用来衡量任意一个神经元的权重值 w,到底是好还是坏,这个函数叫做损失函数。

通过损失函数,我们可以从 w 的可行域中找到 w 取什么值,会是最不坏的情况,而这个过程会是一个优化的过程。

2. 优化器

其实整个训练过程就是一个优化过程。当我们有了损失函数之后,我们需要找到损失值最小的点。有点像高中数学问题,已知一个函数,求这个函数的最小值。

优化的过程就像是盲人下山的问题,盲人想通过最快的速度到达山底,就相当于我们找函数最小值,到达山底代表我们找到最小值,盲人踩着小碎步往下走,可是他该往哪个方向走最快呢?

是的,应该找最陡的地方,即哪个地方向下最陡,就往那边走,如果这是一个凸山(类比凸函数),他会找到一个最低点,当他每次都往最抖的方向走,我们优化的过程也是一样,寻找斜率最大值,不断的逼近函数的最小值。

但这存在着一个问题:局部最优和全局最优。

如果盲人走到了两座山之间的峡谷中呢?而这个峡谷并不是山底啊,这该怎么办?

常见的做法是给他一定的震荡,即并不是每次都朝着最陡峭的地方前进,而是大部分时间是朝着最陡峭的地方前进,小部分时间朝着并不陡峭的地方前进,这样就有可能避免走到峡谷中。

全局最优固然是最好,但是很多时候,你手中的都是一个局部最优解,这也是无可避免的。不过你可以不必担心,因为虽然不是全局最优,但是神经网络也能让你的局部最优足够优秀,而且想获取全局最优可能需要耗费大量的资源,而准确率可能只提高了一点点,所以应从多方面来考虑。

四、训练模型

整个训练过程就是:喂数据 -> 误差反向传播 -> 调整参数,再重复上述流程。简单点,用一个词来说就是不断试错。

比如我们输入数字 7 的图形,通过之前的操作,神经元实际收到的是 784 个像素值,经过 3 层神经网络的传播计算,理想情况下,输出层的第 7 个神经元的输出值为 1,而其他输出 0。

但最开始肯定不是这样的,输出层肯定是无序的,关键思想在于整个神经网络参数调整有一个方向,即使损失最小。

通过不断的喂数据给神经网络,得到输出结果,同时也告诉神经网络正确的结果,这两者之差称为损失值,再把损失值反向传播,让神经网络每次都略微调整神经元的权重值 w,通过优化函数来不断减小损失值,最终使神经网络能正确预测。

# training
history = model.fit(train_images, train_labels, epochs=5)

只需要调用 model.fit() 方法,框架就会自动执行前向传播、计算损失、反向传播以及权重更新。

其中 train_images 是训练集,需要喂给神经网络,train_labels 是对应的标签,告诉神经网络正确的结果,epochs 是需要将所有训练样本训练几次。

五、评估模型

val_loss, val_acc = model.evaluate(test_images, test_labels)
print(val_loss)  # 0.0878981873
print(val_acc)  # 0.9722999930

当训练完成后,我们使用测试数据对模型进行评估,注意,训练模型时使用的是训练集,现在测试时使用测试数据来验证我们训练的模型是否准确。

可以看到,仅仅半分钟的训练准确率就达到 97.2%,这个不算高,稍微好一点的模型,准确率都在 99% 以上。

六、保存模型

把训练好的模型保存到磁盘,否则每次都要重新训练。

# save model
model_name = 'epic_num_reader.model'
model.save(model_name)

# load model
new_model = tf.keras.models.load_model(model_name)

七、预测

i = 100  # 随便选一张图片
plt.imshow(test_images[i], cmap=plt.cm.binary)
plt.show()  # 显示这张图片
predictions = save_model.predict(test_images)  # 使用模型进行预测
print(np.argmax(predictions[i]))  # 打印预测结果

预测的结果是一个长度为 10 的数组来表示,这种编码称之为One hot(独热编码)。

独热编码使用 N 位代表 N 种状态,任意时候只有其中一位有效。

在手写数字中,用长度为 10 的数组来代表 0 ~ 9 这十个数字,例如 [1,0,0,0,0,0,0,0,0,0] 数组只在第零位有 1 代表数字 0,[0,1,0,0,0,0,0,0,0,0] 只在第一位有 1 代表数组 1,以此类推。

八、绘制曲线

def plot_training_history(history):
    # 绘制训练曲线
    plt.figure(figsize=(12, 4))

    # 准确率曲线
    plt.subplot(1, 2, 1)
    plt.plot(history.history['accuracy'], label='Training Accuracy', color='blue')
    plt.title('Training Accuracy')
    plt.xlabel('Epoch')
    plt.ylabel('Accuracy')
    plt.legend()

    # 损失曲线
    plt.subplot(1, 2, 2)
    plt.plot(history.history['loss'], label='Training Loss', color='red')
    plt.title('Training Loss')
    plt.xlabel('Epoch')
    plt.ylabel('Loss')
    plt.legend()

    plt.show()

plot_training_history(history)

最后,你可以在 GitHub 上看到完整的代码。

下一节《TensorFlow 2.x - MNIST 图像分类(2)》
我们将使用卷积神经网络 CNN 来改造神经网络,将准确率提升到 99% 以上。

最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容