Abstract
本篇博客将简要的总结**”Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks”** 这篇论文，并使用该作者的模型利用Keras训练SVHN数据集。
这篇文章的方法主要作为训练SVHN数据集的一个baseline。作者说他的方法能达到百分之96以上的准确率。
任务要求
这里先看一下数据集的样子，其实也就是Number from Street View(街景数字)。
过去的做法
Traditional approaches to solve this problem typically separate out the localization, segmentation, and recognition steps.（过去的做法要经历三步：定位，分割，然后识别）
作者的做法
Propose a unified approach that integrates these three steps via the use of a deep convolutional neural network that operates directly on the image pixels.（作者把这三个步骤通过一个深度的卷积网络就能完成）
作者的贡献
- (a) A unified model to localize, segment, and recognize multi-digit numbers from street level photographs
- (b) A new kind of output layer, providing a conditional probabilistic model of sequences
- (c) Empirical results that show this model performing best with a deep architecture
- (d) Reaching human level performance at specific operating thresholds.
问题描述
图片中的数字：每张图片的数字是一个字符串序列: \(s = s_1 , s_2 , . . . , s_n\)，如上面的第一张图片结果为”379”，\(s_1=3, s_2=7, s_3=9\)。
字符的长度：定义为n，绝大多数的长度小于5。作者这里假设字符的长度最大为5。
实现方法
作者的方法是对于图片的label，训练一个概率模型。这里作者定义：
- S：输出序列，也就是训练数据的label。
- X：输入的图片。
这里的目标也就是通过最大化\( log P (S | X ) \)，来学习模型\( P (S | X ) \)。
X其实就是输入的图片，这里看一下S，S是：图片的数字序列\(S_1,…,S_N \) + 数字序列的长度\(L\)的一个集合。比如上面的”379”是图片的数字序列，序列的长度len(“379”)为3。那么S就是”3”+”379”，也就是”3379”。
这里\( P (S | X ) \)可以定义为：字符长度的概率再乘以每个字符取值的概率。（每个字符取值是独立的）。
$$ P(S=s|X)=P(L=n|X)\prod_{i=1}^nP(S_i =s_i |X) $$
上面的变量都是离散的，\(L\)的取值有七种：0,1,2,….,5,比5大；\(S_i\)有10种：10个数字。
训练这个模型，就是在训练集上最大化\(log P (S | X )\)，作者这里每个参数都使用一个Softmax层。
$$s = (l,s_1,…,s_l) = \arg\max_{L,S_1,…,S_L}logP(S | X).$$
模型结构
下面，看下作者在论文里面发表的模型。
- 输入图片\(X\)是一个128x128x3的图片。
- 然后经过一系列的CNN层进行特征提取，变成了一个含有4096个特征的向量。
- 之后根据这4096个特征，分别让\(L\)、\(S_1\)、\(S_2\)、\(S_3\)、\(S_4\)、\(S_5\)分别经过一个Softmax层\(P(S_i|H)=softmax(W_{S_i}H+b_{S_i})\)。
- 对于每个变量，\(s_i = \arg\max_{S_i}logP(S_i | H). \)
Keras的实现
环境依赖
- python 3.x
- TensorFlow 1.11
- Keras 2.x
- Pillow
- h5py
数据下载
首先去http://ufldl.stanford.edu/housenumbers/下载Format 1的数据。
1 | wget http://ufldl.stanford.edu/housenumbers/test.tar.gz |
然后对数据进行解压，解压后发现会多两个文件夹：test和train。
1 | tar zvxf test.tar.gz |
构建数据集
这个数据集可以使用h5py读取。
其中bbox存了图片数字的框，而name则是图片的文件名。比如说读取出来是下面这样的图片：
然后通过框框把图片裁剪一下。
网络模型
网络模型这里分为卷积层+全连接层部分，代码如下。
卷积层
这里就是三个卷积层。为了让神经网络接受了参数符合同一分布，这里使用了Batch Normalization层，对ConvNet的输入进行批归一化。
全连接层
卷积层最后经过Flatten之后，进入了全连接层。全连接层最后，输出了到6个softmax层中，分别代表：字符的长度、第一个字符、第二个字符、第三个字符、第四个字符、第四个字符。
注意：这里字符的类别是0-10，一共11种，10代表不存在。
训练与测试
接下来调用fit方法训练就好了，这里一共有7个loss和6个accuracy。loss的话是每个softmax输出层都有一个，还有个总的。accuracy就是6个softmax层的accuracy了。
最后我们evaluate一下，可以6个accuracy都达到了85%以上的准确率了。如果想提高的话，可以使用VGG16等结构，网上说可以提升到百分之97，不过训练的话估计就要很慢了。