第44周学习总结——im2txt代码实践

这周计划本来是将im2txt的模型用代码实现一遍,然后开始跑模型了。但是,现在却还没完成。主要花费的时间部分为:做数据集7+个小时,整合im2txt与NMT代码3+个小时。

做数据集

以往做图片的数据集,应该使用TFRecord格式来进行读取。但是,我在使用的过程中发现,1万张图片写入到TFRecord文件中,占用的空间达到了2.7个G,按照这种比例来计算,整个比赛项目的数据有21万,验证数据集有3万,那么整个写入到磁盘中,不得超过60个G?我电脑中空间可没有这么大,而且比赛的时候,到时还得将这60个G上传到服务器,这也是个不小的时间开销。

刚好,上周看了Importing Data,而且,在seq2seq的项目中,我也用代码实践了。所以打算,自己使用DataSet实现一个自己的数据集。这一改动,就各种报错,星期六的上午本来是打算直接开始模型代码,确实整个上午一直处于报错之中。

后来,在星期天的上午,终于仔细排查下,发现了是pad(它是用来填充位置,保持数据长度一致)设置的问题。因为我在使用图片名读取图片后,pad_batch函数不知道怎么自己设置这个图片数据的pad数据了。后来,我直接将pad_types的维度修改下,然后将pad_values去掉就好了。但是,我觉得这还不是很好的解决方案,因为文字序列,我需要设置pad,暂时还没找到方法,而且我的pad_id其实和默认值0是一样的,就暂时先放放这个了。

下图是终于能看到数据了


整合im2txt与NMT代码

看了im2txt的源代码,发现相比于NMT,它简单很多,相比于seq2seq的代码,那就更简单了(由于seq2seq里面可以实现机器翻译、文本摘要、图片字幕,所以它的封装程度很高,看起来非常复杂)。然后,我就打算在im2txt中一些代码,改成NMT里面的实现方式,看看效果怎么样。

然后,我就整合完了,不过,运行之后,又是报错。看时间也不早了,然后明天开始调错误吧!

总结与计划

总结:在使用的过程中,又一次发现自己对tensorflow很不熟悉,当想要实现某些功能时,都不知道该怎么用函数去实现。不过,现在比以前好多了,里面一般的方法,自己知道怎么去查了。特别是发现其实tensorflow里面封装了很多基本的方法,例如字符串的操作,分割、连接、求长度等等,它里面其实也封装了一系列方法去进行操作。上周看到tensorflow里面的这些操作时,感觉,有点进入一个新的世界。

计划:

  • 将模型代码跑通,并尽快放到服务器开始跑,这一周要看到效果。
  • 看看seq2seq中对im2txt的实现,看看有没有更好的trick
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351

推荐阅读更多精彩内容