利用keras搭建CNN完成图片分类

一、简介

本文旨在通过一些简单的案例,学习如何通过keras搭建CNN。从数据读取,数据处理,神经网络搭建,模型训练等。本文也是参考其他博主的文章基础上做了些小修改学习的,感谢其他博主的分享。
具体的CNN的原理,以及keras的原理,这里就不啰嗦了。最后会提供一些参考博客,供大家学习。完整的代码的github地址:traffic

二、流程

1.数据处理

数据路径
#!/usr/bin/env python
# encoding: utf-8
from keras.preprocessing.image import img_to_array#图片转为array
from keras.utils import to_categorical#相当于one-hot
from imutils import paths
import cv2
import numpy as np
import random
import os

def load_data(path,norm_size,class_num):
    data = []#数据x
    label = []#标签y
    image_paths = sorted(list(paths.list_images(path)))#imutils模块中paths可以读取所有文件路径
    random.seed(0)#保证每次数据顺序一致
    random.shuffle(image_paths)#将所有的文件路径打乱
    for each_path in image_paths:
        image = cv2.imread(each_path)#读取文件
        image = cv2.resize(image,(norm_size,norm_size))#统一图片尺寸
        image = img_to_array(image)
        data.append(image)
        maker = int(each_path.split(os.path.sep)[-2])#sep切分文件目录,标签类别为文件夹名称的变化,从0-61.如train文件下00014,label=14
        label.append(maker)
    data = np.array(data,dtype="float")/255.0#归一化
    label = np.array(label)
    label = to_categorical(label,num_classes=class_num)#one-hot
    return data,label

上面是数据目录,下面是对应的数据处理代码。主要分为几个部分:

  1. 利用imutils模块的paths将train或test中的所有图片文件的路径找出来image_paths。
  2. 对其中每张图片,做如下操作,利用cv2读取图片和修改图片尺寸(图片尺寸不一,要统一尺寸)。
  3. 依次将图片和对应的标签,保存到对应的列表中
  4. 图片进行归一化操作,标签进行one-hot

2.神经网络搭建

这里搭建的网络是经典的LeNet网络,从input>conv>pool>conv>pool>Dense>Dense(softmax)。具体LeNet的学习,请见参考。这里是利用keras搭建的LeNet,keras的顺序模型(另外一种为函数式API)。

#!/usr/bin/env python
# encoding: utf-8
import keras
from keras.layers import Conv2D, MaxPooling2D, Dropout, Dense, Flatten
from keras.models import Sequential
import keras.backend as K

class Lenet:#经典网络,不懂去查

    def neural(channel,height,width,classes):
        input_shape = (channel,height,width)
        if K.image_data_format() == "channels_last":#确认输入维度,就是channel是在开头,还是结尾
            input_shape = (height,width,channel)
        model = Sequential()#顺序模型(keras中包括顺序模型和函数式API两种方式)
        model.add(Conv2D(20,(5,5),padding="same",activation="relu",input_shape=input_shape,name="conv1"))
        model.add(MaxPooling2D(pool_size=(2,2),strides=(2,2),name="pool1"))
        model.add(Conv2D(50,(5,5),padding="same",activation="relu",name="conv2",))
        model.add(MaxPooling2D(pool_size=(2,2),strides=(2,2),name="pool2"))
        model.add(Flatten())
        model.add(Dense(500,activation="relu",name="fc1"))
        model.add(Dense(classes,activation="softmax",name="fc2"))
        return model

具体参数,其中卷积层卷积核一般不超过5,步长一般为1。池化层一般大小和步长都为2。

3.训练

#!/usr/bin/env python
# encoding: utf-8
import matplotlib.pylab as plt
from keras.optimizers import Adam
from keras.preprocessing.image import ImageDataGenerator
import numpy as np
import sys
sys.path.append("../process")#添加其他文件夹
import data_input#导入其他模块
from traffic_network import Lenet

def train(aug, model,train_x,train_y,test_x,test_y):

    model.compile(loss="categorical_crossentropy",
                  optimizer="Adam",metrics=["accuracy"])#配置
    #model.fit(train_x,train_y,batch_size,epochs,validation_data=(test_x,test_y))
    _history = model.fit_generator(aug.flow(train_x,train_y,batch_size=batch_size),
                        validation_data=(test_x,test_y),steps_per_epoch=len(train_x)//batch_size,
                        epochs=epochs,verbose=1)
    #拟合,具体fit_generator请查阅其他文档,steps_per_epoch是每次迭代,需要迭代多少个batch_size,validation_data为test数据,直接做验证,不参与训练

    plt.style.use("ggplot")#matplotlib的美化样式
    plt.figure()
    N = epochs
    plt.plot(np.arange(0,N),_history.history["loss"],label ="train_loss")#model的history有四个属性,loss,val_loss,acc,val_acc
    plt.plot(np.arange(0,N),_history.history["val_loss"],label="val_loss")
    plt.plot(np.arange(0,N),_history.history["acc"],label="train_acc")
    plt.plot(np.arange(0,N),_history.history["val_acc"],label="val_acc")
    plt.title("loss and accuracy")
    plt.xlabel("epoch")
    plt.ylabel("loss/acc")
    plt.legend(loc="best")
    plt.savefig("../result/result.png")
    plt.show()

if __name__ =="__main__":
    channel = 3
    height = 32
    width = 32
    class_num = 62
    norm_size = 32#参数
    batch_size = 32
    epochs = 40
    model = Lenet.neural(channel=channel, height=height,
                         width=width, classes=class_num)#网络
    train_x, train_y = data_input.load_data("../data/train", norm_size, class_num)
    test_x, test_y = data_input.load_data("../data/test", norm_size, class_num)#生成数据

    aug = ImageDataGenerator(rotation_range=30,width_shift_range=0.1,
                       height_shift_range=0.1,shear_range=0.2,zoom_range=0.2,
                       horizontal_flip=True,fill_mode="nearest")#数据增强,生成迭代器

    train(aug,model,train_x,train_y,test_x,test_y)#训练

这部分就是网络的训练了,主要注意keras中model输出的事history,有四个属性可以查看。另外就是ImageDataGenerator数据增强,具体请查阅其他问下。


结果

准确率在94%,跟原博客预测准确率一样。

三、参考

代码的github地址:traffic
原博客文章:
【Keras】从两个实际任务掌握图像分类
先附上一些讲解比较好的CNN文章:
零基础入门深度学习(4) - 卷积神经网络
keras中文文档这里面内容非常好,关于sequence,utils,fit_generator,ImageDataGenerator等等内容都有,推荐浏览。
从神经网络到卷积神经网络(CNN)
在Kaggle猫狗大战冲到Top2%
imutols.path.list_image

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,076评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,658评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,732评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,493评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,591评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,598评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,601评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,348评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,797评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,114评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,278评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,953评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,585评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,202评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,442评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,180评论 2 367
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,139评论 2 352

推荐阅读更多精彩内容

  • 笔记参考:https://zhuanlan.zhihu.com/p/22038289?refer=intellig...
    spectre_hola阅读 4,073评论 0 26
  • 今天用同事的话术,派单时间差不多两个多小时,26个,还可以。只是昨晚睡觉着凉了,头疼欲裂,如果身体好点,兴许也能突...
    Lulufine阅读 125评论 0 1
  • 蜗子阅读 260评论 0 0
  • 一个从开远坐车到昆明在辗转回景洪,五点多在昆明南站买了晚上十点的车票。晚上八点多的时候平时熙熙攘攘的候车大厅安静...
    红豆莲子心阅读 152评论 0 0