字节跳动发布开源 Lip Sync AI 模型，视频换声对口型超轻松！

# ByteDance新开源模型LatentSync，视频换声对口型超轻松！ >**阅读时长：9分钟** **论文地址： https://arxiv.org/pdf/2412.09262** **发布时间：2025年1月8日** ![](https://upload-images.jianshu.io/upload_images/17294212-9680ab8f010b9506.png) 字节跳动最近推出了LatentSync，这是一款全新的、最先进的开源视频唇形同步模型。它是一个基于音频条件潜在扩散模型的端到端唇形同步框架。 这听起来有点拗口，但简单来说，你可以上传一段某人说话的视频，以及一个你想要替换原始音频的音频文件。然后人工智能会叠加新的音频，并调整说话者的嘴唇动作，使其与上传的音频完美匹配。 ![](https://upload-images.jianshu.io/upload_images/17294212-1f1777a8d3fd55f1.png) 最终生成的是一个极具说服力的深度伪造视频，尽管可能会让人感觉有点怪异。 说实话，这个领域的变化速度让我惊叹不已。就在一年前，人工智能视频中的唇形同步还不尽人意，嘴巴的动作常常看起来很诡异。而现在，有了LatentSync，我们正迈入一个轻松制作令人信服的深度伪造类视频的新时代。 ## LatentSync的工作原理 LatentSync框架使用Stable Diffusion直接对复杂的视听相关性进行建模。然而，基于扩散的唇形同步方法由于各帧扩散过程的变化，往往缺乏时间一致性。 ![](https://upload-images.jianshu.io/upload_images/17294212-45a7efd5f5bb58c2.png) 为了解决这个问题，研究人员引入了时间表示对齐（Temporal REPresentation Alignment，TREPA）技术，该技术在保持唇形同步准确性的同时，提高了时间一致性。TREPA利用大规模自监督视频模型的时间表示，将生成的帧与真实帧对齐。 LatentSync使用Whisper将梅尔频谱图转换为音频嵌入，并通过交叉注意力层将其添加到U-Net中。参考帧和掩码帧与噪声潜在变量相结合，作为U-Net的输入。 在训练过程中，研究人员一步从预测的噪声中估计出干净的潜在变量，并对其进行解码以获得干净的帧。在像素空间中应用TREPA、LPIPS和SyncNet损失函数。 本文由[mdnice](https://mdnice.com/?platform=6)多平台发布
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容