本文主要记录个人学习机器模型的一些个人心得。
起初本来是用google的tensorflow来实现模型的训练的，tensorflow里面包含手写数字识别的例子。也就是fully_connected_feed.py那个例子，例子中用到的数据是从网上下载的，我直接把数据改成了自己的银行卡数据（8000多张银行卡数字样本），用这个例子跑了下，效果还挺不错的。

1.png

这个例子实际上是用到了两层神经网络再加一个softmax 激活函数来实现样本的分类

code.png

机器学习的实质也就是训练这三步中每一步的参数。得到这三步的参数后，预测心的图片数字样本只需要进行相应的矩阵计算即可（输入的图片矩阵乘以weight1，得到的结果再乘以weight2，再乘以weight3，得到一个十分类的结果）。
中间隐含层的个数多少实际上也是一个研究方向，不同隐含层的个数会直接影响模型的准确率。

上面的例子是机器学习中一个比较简单的mlp(多层感知器)神经网络。而且是采用全连接的形式，全连接的一个比较大的缺点是如果图片比较大，比如1000＊1000的，那么第一层的参数就是1000000＊128的，这就有点大了，这只是一张图，如果是1000张图，那么第一层的参数就是1000000＊128＊1000了。这样的计算量显然就有点大了。 比较好的一种解决方法就是采用局部连接的方式。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。网络部分连通的思想，也是受启发于生物学里面的视觉系统结构。视觉皮层的神经元就是局部接受信息的（即这些神经元只响应某些特定区域的刺激）。如下图所示：左图为全连接，右图为局部连接。

fullyconnectedAndLocalConnected.jpg

在上右图中，假如每个神经元只和10×10个像素值相连，那么权值数据为1000000×100个参数，减少为原来的万分之一。而那10×10个像素值对应的10×10个参数，其实就相当于卷积操作。

深度学习这段时间被炒的很火，下面我们将使用keras中的cnn（卷积神经网络）来训练我们的银行卡数字。样本数字从0～9一共8500多张。我们取8000张拿来训练，剩下的500张哪来做测试集。

data1.png

每张图片的大小是27＊19的矩阵，首先构造keras能够读取的数据集,代码比较简单，就不写了，直接截图看下数据格式。

data2.png

data里面包含两个元组，第一个是训练集8000张图片，第二个是测试集500张。每个元组下面又包含两个元组，第一个是图片数据，第二个是标签数据。

batch_size = 128
nb_classes = 10
nb_epoch = 8＃迭代次数
(X_train, y_train), (X_test, y_test) = load_data()
X_train = X_train.reshape(X_train.shape[0], 1, 27, 19)
X_test = X_test.reshape(X_test.shape[0], 1, 27, 19)
X_train = X_train.astype("float32")
X_test = X_test.astype("float32")
X_train /= 255
X_test /= 255
print('X_train shape:', X_train.shape)
print(X_train.shape[0], 'train samples')
print(X_test.shape[0], 'test samples')

Y_train = np_utils.to_categorical(y_train, nb_classes)
Y_test = np_utils.to_categorical(y_test, nb_classes)

model = Sequential()

model.add(Convolution2D(32, 1, 3, 3, border_mode='full'))
model.add(Activation('relu'))
model.add(Convolution2D(32, 32, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(poolsize=(2, 2)))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(32*(27//2)*(19//2), 128)) #下采样
model.add(Activation('relu'))
model.add(Dropout(0.5))

model.add(Dense(128, nb_classes))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adadelta')

model.fit(X_train, Y_train, batch_size=batch_size, nb_epoch=nb_epoch, show_accuracy=True, verbose=1, validation_data=(X_test, Y_test))
score = model.evaluate(X_test, Y_test, show_accuracy=True, verbose=0)
print('Test score:', score[0])
print('Test accuracy:', score[1])
＃保存模型，下次可以直接用这个模型预测数字
model_json_str = json.dumps(model.get_config())
open('my_cnn_model_json_str.json','w').write(model_json_str)
model.save_weights("my_cnn_model_weights.h5",True)

运行程序，迭代8次，大概需要四五十分钟。
训练结果：

result1.png

训练完成后将保存下模型和参数
my_cnn_model_json_str.json
my_cnn_model_weights.h5。
下次测试其它图片直接加载本次的训练模型来预测即可。

from __future__ import absolute_import
from __future__ import print_function
from keras.models import Sequential
import numpy as np
np.random.seed(1337)  # for reproducibility
import keras
model = keras.models.model_from_json(open('my_cnn_model_json_str.json').read())
model.load_weights('my_cnn_model_weights.h5')

def pridict(image):
    ll = list()
    ll.append(image)
    xx = np.array(ll)
    ll2 = list()
    ll2.append(xx)
    xx2 = np.array(ll2)
    predict = model.predict(xx2, batch_size=1, verbose=1)
    return predict

再来弄一堆测试数据，用上次训练完的模型来预测

test2.png

运行我们的程序：

pre1.png

pre2.png

pre3.png

pre4.png

pre6.png

第四个错了，把6识别成9了。

后续计划：
迁移模型到手机客户端
下一篇地址，mlp模型参数提取：http://www.jianshu.com/p/2e5b2ff068eb