基于深度学习的视频检测分类综述(2)

2、基于彩色序列图像和光流图像的视频检测分类

该方法主要是把彩色序列图像和图像光流放入CNN网络中,经过数据融合后输出结果,融合的点不同,融合的方式等存在不同。
如图5所示,每秒只取一帧图像,和图像帧与帧之间运动信息作为输出信息,在pool层和LSTM(Long Short Term Memory)中数据融合,输出分类结果。


图5 基于彩色序列图像和光流图像的视频检测分类

图6,用不同的深度卷积神经网络分析了彩色图像序列和光流图像的融合。


图6 基于彩色序列图像和光流图像的视频检测分类

图7 在彩色图像和光流图像中采用LSTM模型,在Pooling层中融合。
图7 基于彩色序列图像和光流图像的视频检测分类

参考文献:
1、Beyond Short Snippets: Deep Networks for Video Classification
2、Evaluating Two-Stream CNN for Video Classification
3、Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容