本文针对使用GEI的方法,使用LSTM来进行步态特征的提取,从而保留视频序列的时序信息。
首先使用一个CNN-based方法,将每一帧的图像分割成一个个关节的heatmap,然后将heatmap输入到lstm当中,使用frame-to-frame的encoder,将cnn生成的heatmap进行重建,从而较好保留了视频的时序信息,lstm最后一层的隐藏层值作为最终提取出来的特征。
本文针对使用GEI的方法,使用LSTM来进行步态特征的提取,从而保留视频序列的时序信息。
首先使用一个CNN-based方法,将每一帧的图像分割成一个个关节的heatmap,然后将heatmap输入到lstm当中,使用frame-to-frame的encoder,将cnn生成的heatmap进行重建,从而较好保留了视频的时序信息,lstm最后一层的隐藏层值作为最终提取出来的特征。