MNIST_test

Posted on | In |
Words count in article: 4.5k | Reading time ≈ 16

机器学习中的”Hello World”

MNIST是一个入门级的计算机视觉数据集，它包含各种手写数字图片,也包含每一张图片对应的标签，告诉我们这个是数字几。


接下来将训练一个最简单的机器学习模型用于预测图片里面的数字。我们的目的不是要设计一个世界一流的复杂模型, 而是要介绍如何使用TensorFlow。所以，这里会从一个很简单的数学模型开始，它叫做Softmax Regression。

数据集下载

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#  input_data.py
    
from __future__ import absolute_import  
from __future__ import division  
from __future__ import print_function  
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
import gzip  
import os  
import tempfile  
      
import numpy  
from six.moves import urllib  
from six.moves import xrange  
# pylint: disable=redefined-builtin  
import tensorflow as tf  
from tensorflow.contrib.learn.python.learn.datasets.mnist import read_data_sets

注：Python 升级到 2.7.9 之后引入了一个新特性，当使用urllib.urlopen打开一个 https 链接时，会验证一次 SSL 证书, 而当目标网站使用的是自签名的证书时就会抛出一个错误消息

1
urllib2.URLError: <urlopen error[SSL:CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)>

可通过全局取消证书验证解决：

1
2
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

源代码

数据集导入

1
2
3
4
import input_data
    
    # MNIST数据输入
    mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

下载下来的数据集被分成两部分：60000行的训练数据集（mnist.train）和10000行的测试数据集（mnist.test)。
这样的切分很重要，在机器学习模型设计时必须有一个单独的测试数据集不用于训练而是用来评估这个模型的性能，从而更加容易把设计的模型推广到其他数据集上（泛化）。

每一个MNIST数据单元有两部分组成：一张包含手写数字的图片和一个对应的标签。我们把这些图片设为“xs”，把这些标签设为“ys”。训练数据集和测试数据集都包含xs和ys，比如训练数据集的图片是 mnist.train.images ，训练数据集的标签是 mnist.train.labels。

每一张图片包含$28*28$个像素点。我们可以用一个数字数组来表示这张图片：


1


我们把这个数组展开成一个向量，长度是 28x28 = 784。如何展开这个数组（数字间的顺序）不重要，只要保持各个图片采用相同的方式展开。
从这个角度来看，MNIST数据集的图片就是在784维向量空间里面的点, 并且拥有比较复杂的结构 (提醒: 此类数据的可视化是计算密集型的)。
展平图片的数字数组会丢失图片的二维结构信息。但是暂时忽略这些结构，因为所介绍的简单数学模型，softmax回归(softmax regression)，不会利用这些结构信息。


因此，在MNIST训练数据集中，mnist.train.images 是一个形状为 [60000, 784] 的张量，第一个维度数字用来索引图片，第二个维度数字用来索引每张图片中的像素点。在此张量里的每一个元素，都表示某张图片里的某个像素的强度值，值介于0和1之间。



2



相对应的MNIST数据集的标签是介于0到9的数字，用来描述给定图片里表示的数字。我们使标签数据是”one-hot vectors”。 一个one-hot向量除了某一位的数字是1以外其余各维度数字都是0。所以数字n将表示成一个只有在第n维度（从0开始）数字为1的10维向量。比如，标签0将表示成([1,0,0,0,0,0,0,0,0,0,0])。因此， mnist.train.labels 是一个 [60000, 10] 的数字矩阵。



3


Softmax回归介绍

我们知道MNIST的每一张图片都表示一个数字，从0到9。
我们希望得到给定图片代表每个数字的概率。
比如说，我们的模型可能推测一张包含9的图片代表数字9的概率是80%但是判断它是8的概率是5%（因为8和9都有上半部分的小圆），然后给予它代表其他数字的概率更小的值。



这是一个使用softmax回归（softmax regression）模型的经典案例。softmax模型可以用来给不同的对象分配概率。
即使在之后，我们训练更加精细的模型时，最后一步也需要用softmax来分配概率。



softmax回归（softmax regression）分两步：



第一步，为了得到一张给定图片属于某个特定数字类的证据（evidence），我们对图片像素值进行加权求和。如果这个像素具有很强的证据说明这张图片不属于该类，那么相应的权值为负数，相反如果这个像素拥有有利的证据支持这张图片属于这个类，那么权值是正数。
下面的图片显示了一个模型学习到的图片上每个像素对于特定数字类的权值。红色代表负数权值，蓝色代表正数权值。



4



我们也需要加入一个额外的偏置量（$bias$），因为输入往往会带有一些无关的干扰量。
因此对于给定的输入图片 $x$ 它代表的是数字 $i$ 的证据可以表示为
$$evidence_i=\sum_{j}W_{i,j}x_j+b_i$$
其中$W_i$代表权重，$b_i$代表数字 $i$ 类的偏置量，$j$ 代表给定图片 $x$ 的像素索引,用于像素求和。
然后用$softmax$函数可以把这些证据转换成概率 $y$：
$$y=softmax(evidence)$$
这里的$softmax$可以看成是一个激励$（activation）$函数或者链接$（link）$函数，把我们定义的线性函数的输出转换成我们想要的格式，也就是关于$10$个数字类的概率分布。
因此，给定一张图片，它对于每一个数字的吻合度可以被$softmax$函数转换成一个概率值。
$softmax$函数可以定义为：
$$softmax(x)=normalize(exp(x))$$
展开等式右边的子式，可以得到：
$$softmax(x)i=\frac{exp(x)_i}{\sum{j}exp(x)_j}$$
但是更多的时候把$softmax$模型函数定义为前一种形式：
把输入值当成幂指数求值，再正则化这些结果值。


这个幂运算表示，更大的证据对应更大的假设模型$（hypothesis）$里面的乘数权重值。反之，拥有更少的证据意味着在假设模型里面拥有更小的乘数系数。
假设模型里的权值不可以是$0$值或者负值。
$Softmax$然后会正则化这些权重值，使它们的总和等于$1$，以此构造一个有效的概率分布。

对于$softmax$回归模型可以用下面的图解释，对于输入的$x_s$加权求和，再分别加上一个偏置量，最后再输入到$softmax$函数中：



5



如果把它写成一个等式，我们可以得到：



6



我们也可以用向量表示这个计算过程：用矩阵乘法和向量相加。这有助于提高计算效率。（也是一种更有效的思考方式）



7



更进一步，可以写成更加紧凑的方式：
$$y=softmax(W_x+b)$$

实现回归模型

为了用python实现高效的数值计算，我们通常会使用函数库，比如NumPy，会把类似矩阵乘法这样的复杂运算使用其他外部语言实现。不幸的是，从外部计算切换回Python的每一个操作，仍然是一个很大的开销。如果你用GPU来进行外部计算，这样的开销会更大。用分布式的计算方式，也会花费更多的资源用来传输数据。



TensorFlow也把复杂的计算放在python之外完成，但是为了避免前面说的那些开销，它做了进一步完善。Tensorflow不单独地运行单一的复杂计算，而是让我们可以先用图描述一系列可交互的计算操作，然后全部一起在Python之外运行。（这样类似的运行方式，可以在不少的机器学习库中看到。）

使用TensorFlow之前，首先导入它：

1
2
3
4
5
6
7
import tensorflow as tf

```    

----------

> 我们通过操作符号变量来描述这些可交互的操作单元，可以用下面的方式创建一个：

x = tf.placeholder(tf.float32, [None, 784]) # 图像输入向量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

> `x`不是一个特定的值，而是一个占位符`placeholder`，可以在TensorFlow运行某一计算时根据该占位符输入具体的值。
我们希望能够输入任意数量的MNIST图像，每一张图展平成784维的向量。
我们用2维的浮点数张量来表示这些图，这个张量的形状是[None，784 ]。（这里的None表示此张量的第一个维度可以是任何长度的）

----------

> 我们的模型也需要权重值和偏置量，当然我们可以把它们当做是另外的输入（使用占位符），但TensorFlow有一个更好的方法来表示它们：`Variable` 。
一个`Variable`代表一个可修改的张量，存在在TensorFlow的用于描述交互性操作的图中。它们可以用于计算输入值，也可以在计算中被修改。
对于各种机器学习应用，一般都会有模型参数，可以用`Variable`表示。

   
``` 
W = tf.Variable(tf.zeros([784, 10]))  # 权重，初始化值为全零
b = tf.Variable(tf.zeros([10]))  # 偏置，初始化值为全零

我们赋予tf.Variable不同的初值来创建不同的Variable：
在这里，我们都用全为$0$的张量来初始化$W$和$b$。因为我们要学习$W$和$b$的值，它们的初值可以随意设置。



注意，$W$的维度是[784，10]，因为我们想要用784维的图片向量乘以它以得到一个10维的证据值向量，每一位对应不同数字类。
b的形状是[10]，所以我们可以直接把它加到输出上面。

现在，我们可以实现我们的模型啦。只需要一行代码！

1
y = tf.nn.softmax(tf.matmul(x, W) + b)

首先，我们用tf.matmul(x，W)表示$x$乘以$W$，对应之前等式里面的$W_x$，这里$x$是一个$2$维张量拥有多个输入。
然后再加上$b$，把和输入到tf.nn.softmax函数里面。



至此，我们先用了几行简短的代码来设置变量，然后只用了一行代码来定义我们的模型。
TensorFlow不仅仅可以使softmax回归模型计算变得特别简单，它也用这种非常灵活的方式来描述其他各种数值计算，从机器学习模型对物理学模拟仿真模型。一旦被定义好之后，我们的模型就可以在不同的设备上运行：计算机的CPU，GPU，甚至是手机！

训练模型

为了训练我们的模型，我们首先需要定义一个指标来评估这个模型是好的。
其实，在机器学习中，我们通常定义指标来表示一个模型是坏的，这个指标称为成本$（cost）$或损失$（loss）$，然后尽量最小化这个指标。
但是，这两种方式是相同的。



一个非常常见的，非常漂亮的成本函数是“交叉熵”$（cross-entropy）$。
交叉熵产生于信息论里面的信息压缩编码技术，但是它后来演变成为从博弈论到机器学习等其他领域里的重要技术手段。它的定义如下：
$$H_{y\prime}(y)=-\sum_{i}y_i\prime\log (y_i)$$
$y$ 是我们预测的概率分布,
$y’$ 是实际的分布（我们输入的$one-hot$ $vector$)。


比较粗糙的理解是，交叉熵是用来衡量我们的预测用于描述真相的低效性。

为了计算交叉熵，我们首先需要添加一个新的占位符用于输入正确值：

1
y_ = tf.placeholder("float", [None, 10])

然后我们可以用
$$-\sum y\prime\log (y)$$
计算交叉熵:

1
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))

首先，用 tf.log 计算 $y$ 的每个元素的对数。
接下来，我们把 $y_$ 的每一个元素和 tf.log(y) 的对应元素相乘。
最后，用 tf.reduce_sum 计算张量的所有元素的总和。
（注意，这里的交叉熵不仅仅用来衡量单一的一对预测和真实值，而是所有100幅图片的交叉熵的总和。对于100个数据点的预测表现比单一数据点的表现能更好地描述我们的模型的性能。

现在我们知道我们需要我们的模型做什么啦，用TensorFlow来训练它是非常容易的。
因为TensorFlow拥有一张描述你各个计算单元的图，它可以自动地使用反向传播算法$(backpropagation$ $algorithm)$来有效地确定你的变量是如何影响你想要最小化的那个成本值的。
然后，TensorFlow会用你选择的优化算法来不断地修改变量以降低成本。

1
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

在这里，我们要求TensorFlow用梯度下降算法$（gradient$ $descent$ $algorithm）$以$0.01$的学习速率最小化交叉熵。
梯度下降算法$（gradient$ $descent$ $algorithm）$是一个简单的学习过程，TensorFlow只需将每个变量一点点地往使成本不断降低的方向移动。
当然TensorFlow也提供了其他许多优化算法：只要简单地调整一行代码就可以使用其他的算法。



TensorFlow在这里实际上所做的是，它会在后台给描述你的计算的那张图里面增加一系列新的计算操作单元用于实现反向传播算法和梯度下降算法。
然后，它返回给你的只是一个单一的操作，当运行这个操作时，它用梯度下降算法训练你的模型，微调你的变量，不断减少成本。

现在，我们已经设置好了我们的模型。在运行计算之前，我们需要添加一个操作来初始化我们创建的变量：

1
init = tf.global_variables_initializer()

现在我们可以在一个Session里面启动我们的模型，并且初始化变量：

1
2
sess = tf.Session()
sess.run(init)

然后开始训练模型，这里我们让模型循环训练$1000$次！

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
    for i in range(1000):
        # 随机抓取训练数据中的100个批处理数据点
        batch_xs, batch_ys = mnist.train.next_batch(100)
        sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

```  

> 该循环的每个步骤中，我们都会随机抓取训练数据中的$100$个批处理数据点，然后我们用这些数据点作为参数替换之前的占位符来运行`train_step`。

----------

>使用一小部分的随机数据来进行训练被称为随机训练$（stochastic$ $training）$ 在这里更确切的说是随机梯度下降训练。
在理想情况下，我们希望用我们所有的数据来进行每一步的训练，因为这能给我们更好的训练结果，但显然这需要很大的计算开销。
所以，每一次训练我们可以使用不同的数据子集，这样做既可以减少计算开销，又可以最大化地学习到数据集的总体特性。

----------

# 评估模型

> 首先让我们找出那些预测正确的标签。
`tf.argmax` 是一个非常有用的函数，它能给出某个tensor对象在某一维上的其数据最大值所在的索引值。
由于标签向量是由$0,1$组成，因此最大值$1$所在的索引位置就是类别标签，比如`tf.argmax(y,1)`返回的是模型对于任一输入$x$预测到的标签值，而 `tf.argmax(y_,1)` 代表正确的标签，我们可以用 `tf.equal` 来检测我们的预测是否真实标签匹配(索引位置一样表示匹配)。

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))

1
2
3
4
5
6
7

> 这行代码会给我们一组布尔值。
为了确定正确预测项的比例，我们可以把布尔值转换成浮点数，然后取平均值。例如，$[True, False, True, True]$ 会变成 $[1,0,1,1] $，取平均值后得到 $0.75$.

   
``` 
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

最后，我们计算所学习到的模型在测试数据集上面的正确率。

1
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

在最终测试集上的准确率大概是$91%$.

这时我们也可以看看到底是什么样的图片让预测不准。
则添加如下代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
flag = 0
for i in range(0, len(mnist.test.images)):
    result = sess.run(correct_prediction,
                      feed_dict={x: np.array([mnist.test.images[i]]), y_: np.array([mnist.test.labels[i]])})
    if not result:
        print('预测的值是：',
              sess.run(y, feed_dict={x: np.array([mnist.test.images[i]]), y_: np.array([mnist.test.labels[i]])}))
        print('实际的值是：',
              sess.run(y_, feed_dict={x: np.array([mnist.test.images[i]]), y_: np.array([mnist.test.labels[i]])}))
        one_pic_arr = np.reshape(mnist.test.images[i], (28, 28))
        pic_matrix = np.matrix(one_pic_arr, dtype="float")
        plt.imshow(pic_matrix)
        pylab.show()
        flag = flag + 1
        if flag == 5:    #以查看5张图片为例
            break

for循环内指明一旦result为false，就表示出现了预测值和实际值不符合的图片，然后我们把值和图片分别打印出来看看：
预测的值是： [[1.1501259e-03 7.1856817e-08 6.5789252e-05 4.5901931e-09 8.0500735e-04 4.1834565e-04 9.9686438e-01 3.2627161e-09 6.7468162e-04 2.1611027e-05]]
对应的是数字6.
实际的值是： [[0. 0. 0. 0. 0. 1. 0. 0. 0. 0.]]
对应的是数字5.
8

源代码