上一周,回了一趟长沙,后面懒了性子,十个小时没有完成。这一周,定了个目标(每天学习两个小时,有惩罚的),算是完成了。
主要学习的事情有:
- 跑im2txt的代码
- 重新学习吴恩达的深度学习
跑im2txt的代码
上周,在将自己实现的im2txt经过训练之后,发现推断方法有问题,也就是在训练的时候能得到相关的结果,但是在推断的时候得出的结果,不管怎么训练都是一样的。汗,代码是由seq2seq改造过来的,但是推断的时候怎么改成im2txt形式,就不知怎么办了。
然后,没有办法,还是走原来的路线,先生成TFRecord格式的数据(需要110G,做之前我算了下占用空间得100G以上,当时磁盘没这么大空间,所以换成另外一种生成数据集的方式),然后修改下google的im2txt对分词处理,最后就训练了。
在训练的时候,刚开始是拿1万数据量进行训练。训练完之后,看到的效果已经很不错了。然后,信心满满的将所有数据进行训练,但是发现收敛好慢,就算是将原来的512的LSTM Units改成了2048也不行。到现在,模型的损失在1.0左右徘徊,远没达到我理想中0.6的损失。
重新学习吴恩达的深度学习
最近段时间,将这个模型搞一搞,将那个模型搞一搞,发现基础知识还是太差。所以,重新捡起吴恩达的深度学习课程开始学习。前面一次学习的方式是看网易云课堂的视频,然后将相关理论知识看懂了七七八八,但是最近发现还是不太懂。
然后,这一次是在网易云课堂看视频,然后在Coursera上做练习,争取拿到证书为结果。
这一周,学习了前面两周的内容,主要内容有:
- 神经网络
- logistic回归
- 梯度下降
- 前向传播和后向传播
- numpy的广播
完成了第一课的练习,第二课的选择题练习,编程题还未完成。
总结与计划
总结:自己还是比较拖,本来是打算将编程题练习也搞定的,然后落下了。然后,跑im2txt的模型,需要重新调整参数。
计划:
- 尽快将第三周和第四周的课程完成
- 调整im2txt模型继续跑