2018-08-28

一,前言

利用暑假学习了一段时间的DL,德国交通标志马上实践一下,下面主要提到我用的模型以及数据处理,如果有哪些地方大佬们觉得哪些地方做得不好或者可以改进得,非常欢迎直接在评论里提出来,初学需要一起努力。

二,数据

数据内容

上面是网站中给出来的数据我已经下载下来并且保存到百度网盘中了,看情况下载(网盘限速),网盘链接:链接:https://pan.baidu.com/s/1yJ202EtrwUa7ihlfHPp9PQ 密码:v3t0。

我只需要上面四类文件中“图像与注释”的内容(其他feature我也不会用。。。),下载下来之后打开看看文件构成。

文件组成

像官网介绍的一样,一共43个种类的数据,43个文件夹,每个文件夹都有小到几百张,大到上千张图片,在文件的最后都以csv格式给出来了label,图像用ppm格式给了出来,接下来我们尝试对数据进行处理。

1, 首先官网给出了从文件夹中读取数据的py程序,可以直接拿来用,可以省掉很多时间,我们先来看看他的程序以及读取结果。

读取程序

上面中文注释是我看程序的时候加上去的方便理解,range()函数中的数字是你要读取的文件种类,现在是(1,2),表示读取了第二类文件!如果全数据集的话应该是(0,43),中间有一段resize()函数,这一段是方便读取的时候就统一照片尺寸,有利于后面的参数设置。

接下来用matplotlib绘制图像,将每个种类的第一张照片以及他的数量输出,代码以及效果如下图所示:

效果图
绘制图像

三,模型分析

对数据有了初步的认识,接下来我们就要准备模型,这里选择了难度程度较低的LeNet-5模型,LeNet-5模型由两个卷积层与两个池化层,以及两个全连接层构成。在前向传播traffic_inference中卷积层,池化层以及全连接层的参数设置如下:第一层卷积层深度为32,卷积核大小为5,第一层池化层中strides=[1,2,2,1],padding='SAME'。第一层全连接节点个数为512

后面的卷积层以及池化层参数设置都类似,这里不再一一写出 , 下面给出一组卷积层以及池化层的代码作为参考。

卷积池化

接下来应该是全连接神经网络,现在我们的数据是一个矩阵形式,而全链接神经网络需要我们把数据进行“拍扁”,变成一维的数据才能继续进行,我们对矩阵进行拉伸成一个一维数组,具体代码如下:

数据变形

上面经过第二层池化层之后,我们将数据通过pool2的shape()函数来获取里面一共有多少个参数,将其转化为list,注意我们是一个一个batch训练的,所以shape中的第一个数字表示batch_size的大小,后面才是我们的参数,求得nodes之后我们就求得了pool2中一共的参数个数,通过reshape()函数我们将pool2重现拉伸为一维数组,之后便可以输入到全链接神经网络中,具体代码最后给出。

目前为止我们实现了前向传播的整个过程,接下来我们要实现反向传播过程,也就是我们的循环训练过程,所有代码在最后的github连接中给了出来

滑动平均类

其中我们定义了滑动平均类为:
variable_average = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECARY, global_step)
其中我们设定了MOVING_AVERAGE_DECARY中是滑动平均率,滑动平均可以让我们采取一种这种的方式更新我们的参数,可以防止一定的噪声。

cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_,1))

cross_entropy采用了tf.nn.sparse_softmax_cross_entropy_with_logits(),因为最后的结果只有一个,所以可以采用上面的函数,把损失函数和softmax()函数结合到一起了,加快了运算速度,而最后的tf.argmax()函数是因为你的正确标签是one-hot类型的,至于如何转换成one-hot类型我们等会再说

learning_rate = tf.train.exponential_decay(
LEARNING_RATE_BASE,
global_step,
400,
LEARNING_RATE_DECAY,
staircase = True
)

learning_rate采用的指数下降函数,学习率刚开始设置一个合适的值,然后随着训练轮数的叠加而不断降低,这样我们就可以在迭代后期采用较小的学习率防止产生loss区线震荡,同时学习率也不宜过大,如果过大会出现loss值是None或者非常大的情况,如果出现说明你应该调低你的初始学习率,调低大概2-3个位数。

我们通过官网给出来的程序读取的数据不可以直接放进网络中训练!

不管是images的数据还是标签的数据都不符合网络要求。
①首先我们应该把照片的size重新置成一个固定值,这个我们已经在读取程序中更改过了,就是在readTrafficSign.py中的resize()函数中做的。
②接下来将图片矩阵转换成numpy矩阵才可以输入到网络中。而且读取出来的标签中是str格式,我们也需要将其转换成int形式,并且转换成one-hot数据形式,普通的数据list不能被算法学习,简单来说就是你输入进去一堆一维的数组,每个数字都表示一个实例的标签,感觉数据和标签都输入进去就可以训练了,但是有一个问题,程序根本不知道你有多少个标签,以后可以尝试用sklearn来快速转化一下(无奈现在还不会),所以现在我们需要构造一个稀疏矩阵,具体代码如下:


数据转换

关于如何转化成one-hot数据类型有两种方法详细可以参考这篇文章:
https://blog.csdn.net/chaojipikaqiu/article/details/81504944

这样的话数据就可以使用了,用一个一个batch_size输入到程序中训练,需要注意的是从文件中读取数据训练的时候需要打乱顺序读取,不再给出打乱文件的程序自己感兴趣的可以自己完成。

其实中间还有很多细节没有提到,其中的具体内容就不在这里写出来,感兴趣可以去看一看。

最后给出来整个程序的连接:
https://github.com/liumengkai/Germany-traffic-sign

参考文章:https://blog.csdn.net/fu_shuwu/article/details/77073857
http://www.terrylmay.com/2017/06/generate-one-hot-data/

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,324评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,356评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,328评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,147评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,160评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,115评论 1 296
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,025评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,867评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,307评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,528评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,688评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,409评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,001评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,657评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,811评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,685评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,573评论 2 353

推荐阅读更多精彩内容