A model-based gait recognition method with body pose and human prior knowledge


What did authors try to accomplish?

用人体骨架的关节信息来学习人体的步态特征。同时,将每一帧的2D骨架信息通过关节之间的关系,转化为3D的骨架特征。同时,在骨架特征外,还加入了关节之间的相对位置、肢体长度、以及帧与帧之间的动态信息,将这四种特征连在一起作为CNN的输入,然后使用softmax loss来加大inter-action的差异,同时使用center loss来减少intra-action的差异,从而达到最终进行步态识别的目的。

What were the key elements of the approach?

四个feature

1.Pose Feature:

将人体看做是18个关节连接在一起的骨架,利用关节之间的相对位置,将每一帧的2D骨架信息估计为一个3D的骨架信息,利用脖子到髋关节的长度为基准进行将骨架位置进行归一化后,每个关节的位置(x,y,z)作为每一帧的Pose Feature.

2.Angle Feature:

将相邻关节水平和垂直方向的相对角度(\alpha ,\beta )作为每一帧的Angle Feature

3.Limb Feature:

归一化之后,相邻关节之间的长度作为肢体长度的信息

4.Motion Feature:

除每一帧的关节骨架信息外,额外将相邻两帧之间对应关节的位置差作为Motion Feature添加到特征当中。

两个Loss:

softmax loss:

利用softmax loss来增大inter-action的差异

center loss:

设定C_{y_{i} } 为类别y_{i} 的深度特征,将loss设定为L_{center} = \frac{1}{2} \sum_{i=1}^m||x_{i}-c_{y_{i} }||_{2}^2     ,从而达到减小intra-action的差异

What can you use youself?

What other reference do you want to follow?

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容