阿里换脸技术新突破:用视频控制面部表情

AAAI换脸现在已经很泛滥了。

而阿里巴巴最近的研究开始转向用一段视频控制目标照片里人物的面部表情,实现换脸技术更逼真的效果。这次阿里的突破点在于成功利用扩散模型生成高质量的说话人头视频,实现了更高的质量和更稳定的训练过程。We propose dream talk a the design. 相比之下,同类型研究大部分使用生成对抗网络。One of the challenges that tech and AI Brinks of all the industries.

此外,jam tok引入了风格感知的唇部模块,也在保持唇部同步的同时增强表达力。此前的唇部模块通常只关注通用的说话风,导致生成的面部动作表达力不足,风格感知的唇部模块则可以在多样的表达风格下实现准确的唇部同步,并且无需额外风格参考,简化了复刻表情的路径,同时提高复刻嘴型的能力。Jen talk中的扩散风格预测器还可以直接从音频中预测目标表情,消除对额外风格参考视频的需求。Dream talk还具备广泛的泛化能力,在多种输入条件下表现出鲁棒的泛化能力,包括处理歌曲长亭外。离别发草地一连天多语言音频城若破,由此而已,玉可碎而不可改。其白音频和非真实的人脸图像。Our method is capable of producing satisfactory results even with audio that contains noise. Our method is capable of producing satisfactory results even with audio that contains nose. Our method is capable of producing satisfactory results even with audio that contains noise. 这使得Jin tok具有更广泛的应用前景。

简单来说,如果以前有人用AI换脸跟你视频,你可以要求对方做复杂表情来测试,现在估计测不出来啥了,抖音。
《探索前沿换脸技术攻略:从AAAI到风格感知唇部模块》

在当今科技飞速发展的时代,换脸技术成为了热门话题。AAAI换脸曾一度泛滥,而阿里巴巴的研究带来了新突破。他们转向用视频控制目标照片里人物的面部表情,利用扩散模型生成高质量说话人头视频,实现了更逼真的效果。

与此同时,风格感知的唇部模块也备受关注。此前唇部模块因只关注通用说话风,导致面部动作表达力不足。如今,风格感知唇部模块能在多样风格下实现准确唇部同步,无需额外风格参考,简化了复刻表情路径,还提高了复刻嘴型能力。

这些前沿技术的发展,让我们看到了换脸技术的无限可能。无论是在影视制作、虚拟现实还是其他领域,都将带来全新的体验。对于普通用户来说,了解这些技术也能让我们在面对AI换脸视频时更具辨别能力。比如,以前面对AI换脸视频,我们可以通过要求对方做复杂表情来测试,现在虽然技术更先进了,但我们仍可以通过观察唇部动作等细节来判断。总之,紧跟换脸技术的发展,能让我们更好地适应这个科技日新月异的时代。
AAAI换脸,阿里研究,扩散模型,风格感知,唇部模块
[Q]:阿里在换脸技术上有什么新突破?
[A]:利用扩散模型生成高质量说话人头视频,控制面部表情更逼真。
[Q]:同类型研究大多用什么?
[A]:大部分使用生成对抗网络。
[Q]:jam tok引入的风格感知唇部模块有什么作用?
[A]:保持唇部同步同时增强表达力,简化复刻表情路径等。
[Q]:此前唇部模块存在什么问题?
[A]:只关注通用说话风,面部动作表达力不足。
[Q]:Dream talk有什么特点?
[A]:具备广泛泛化能力,能处理多种输入条件。
[Q]:扩散风格预测器有什么功能?
[A]:可直接从音频中预测目标表情,消除对额外风格参考视频的需求。
[Q]:现在面对AI换脸视频该怎么测试?
[A]:可通过观察唇部动作等细节判断,以前能要求做复杂表情测试。
[Q]:这些技术发展对我们有什么影响?
[A]:在影视、虚拟现实等领域带来新体验,让我们面对换脸视频更具辨别力。
share