目标:
模仿秀的目的是根据流行的舞蹈视频,生成一段动作与其相似的用户视频。用户需要提供一段被模仿的视频短片,此外用户需要提供多段的素材视频,素材视频中用户可以模仿舞蹈视频的动作。工程会对舞蹈视频的动作进行分析,从素材当中找到与之最接近的动作图片,然后将所有图片进行接拼,最后生成一段自定义的舞蹈视频。
https://www.bilibili.com/video/BV1YV411d719/
流程:
还需要优化
目前完成了1.0版本。实测发现效果并不理想,后面还可以继续优化。
优化点:
- 动作匹配方法更新,目前是会对肢体的若干个角度。进行计算欧氏距离,找到最近的姿态。
- 异常情况处理,在计算角度的时候发现有些姿态的点重合了,导致角度无法计算,NaN
- 匹配计算速度需要优化
- 可以尝试将人抠出来,然后放到新的场景当中
- 在匹配过程中考虑动作的连续性