再读Faster RCNN

在image caption 这个任务中,论文“Show, Attend and Tell: Neural Image Caption Generation with Visual Attention” 中是对VGG-19的conv5_3的feature map(14*14*512)进行spatial attention。 具体来说是对196=14*14个 512维的向量进行attention。相比之下,论文“Image Captioning with Semantic Attention” 中是对图像中显示检测出的语义概念(单词)进行attention,性能有提升。 那么不禁让人产生推测,如果Visual  attention 中借助 Faster  RCNN中的Region Proposal Network  对conv5_3的feature map进行更加精细的语义概念(单词)区域划分,是不是可以结合Visual  attention  和  Semantic attention 的优势,而不用像论文“Image Captioning with Semantic Attention”中那样需要额外的Atrribute 的显示检测???(不过只能检测名词,无法检测动词等)


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容