What did authors try to accomplish?
用人体骨架的关节信息来学习人体的步态特征。同时,将每一帧的2D骨架信息通过关节之间的关系,转化为3D的骨架特征。同时,在骨架特征外,还加入了关节之间的相对位置、肢体长度、以及帧与帧之间的动态信息,将这四种特征连在一起作为CNN的输入,然后使用softmax loss来加大inter-action的差异,同时使用center loss来减少intra-action的差异,从而达到最终进行步态识别的目的。
What were the key elements of the approach?
四个feature
1.Pose Feature:
将人体看做是18个关节连接在一起的骨架,利用关节之间的相对位置,将每一帧的2D骨架信息估计为一个3D的骨架信息,利用脖子到髋关节的长度为基准进行将骨架位置进行归一化后,每个关节的位置(x,y,z)作为每一帧的Pose Feature.
2.Angle Feature:
将相邻关节水平和垂直方向的相对角度()作为每一帧的Angle Feature
3.Limb Feature:
归一化之后,相邻关节之间的长度作为肢体长度的信息
4.Motion Feature:
除每一帧的关节骨架信息外,额外将相邻两帧之间对应关节的位置差作为Motion Feature添加到特征当中。
两个Loss:
softmax loss:
利用softmax loss来增大inter-action的差异
center loss:
设定为类别
的深度特征,将loss设定为
,从而达到减小intra-action的差异