Meta最新的技术能让电影头号玩家照进现实，继斯坦福AI小镇以及AI克隆声音之后，基本证实了将来的游戏NPC可以有自己的记忆、个性、声音、工作爱好等。而meta的这项研究将让AINPC更真实，他们实现了让AI听语音就能猜测用户的表情动作等。就像视频里演示的，因为人的声音是有丰富的信息的，孩子的声音比较尖，老人的声音比较嘶哑。长期演讲的人充满自信，这些声音传递的信息成为此次meta研究的关键部分。

具体来看，研究者们通过创建一个包含人物对话的全身3D信息的多视角对话数据集，捕捉对话中的微妙面部表情、身体语言和手势细节。以该数据集为基础，使用一个条件扩散模型，以对话音频和预先训练的唇部回归器的输出为条件，生成面部表情代码序列。唇部回归器用于预测与音频同步的唇部几何形状，实现生成的三弟人物讲话时嘴型和输入的音频一致。同时他们还研发了身体运动模型，该模型结合了自回归的VQ变换器和扩散模型。VQ变换器生成粗略的运动细节，而扩散模型则填充高频率的运动细节。

在经过这些模型的前置处理后，生成的表情代码和身体姿势序列会被输入到一个训练过的神经化身渲染器中。该渲染器能够从给定的相机视角生成具有面部、身体和手部的全纹理化身图像。通过在Amazon Mechanical Turk k上进行的AB测试，研究者们评估了生成的手势与对话音频的匹配程度。与同类型研究相比，该研究的突破点包括首次使用逼真 的化身来评估和生成对话中的手势。在允许捕捉和评估更细微 的运动细节。结合VTO和扩散模型生成了更多样化和动态的手势，这在以往的研究中尚未实现。

在应用方面，开发者表示这项技术可以提高虚拟助手和聊天机器人的交互真实性，使其在与人类互动时更加自然和有效。在视频游戏和电影制作中，逼真的对话化身可以提供更丰富的角色表现和互动体验。这里我想问一句，如果发出一些奇怪的声音，AI会生成奇怪的画面吗？
《探索Meta技术：开启虚拟交互新时代》攻略

在当今科技飞速发展的时代，Meta的一项新技术正悄然改变着我们对虚拟世界的认知，它有可能让电影《头号玩家》中的场景真实照进现实。

这项技术究竟有何神奇之处呢？简单来说，它能赋予游戏NPC更多真实的特质，比如记忆、个性、声音以及独特的工作爱好等。而且，通过分析声音中丰富的信息，AI能够精准猜测用户的表情动作。

研究者们为此付出了诸多努力。他们创建了一个包含人物对话全身3D信息的多视角对话数据集，以此捕捉各种微妙的面部表情、身体语言和手势细节。基于此数据集，利用条件扩散模型，结合对话音频和唇部回归器，生成面部表情代码序列，确保人物讲话时嘴型与音频完美匹配。同时，还研发了身体运动模型，融合自回归的VQ变换器和扩散模型，生成多样化且动态的手势。

经过这些模型的前置处理，生成的表情代码和身体姿势序列被输入到神经化身渲染器中，从而生成具有全纹理的化身图像。通过AB测试，评估生成手势与对话音频的匹配程度，发现其在捕捉和评估细微运动细节方面表现卓越。

对于开发者而言，这项技术在虚拟助手和聊天机器人领域，能极大提高交互真实性，让它们与人类互动更加自然有效。在视频游戏和电影制作中，逼真的对话化身能带来更丰富的角色表现和互动体验。

那么，普通用户该如何更好地利用这项技术呢？在游戏中，玩家可以更沉浸地与NPC交流互动，感受更真实的游戏世界。在虚拟社交场景里，能与他人进行更生动、自然的交流。对于创作者来说，无论是制作游戏还是影视内容，都能借助这项技术打造出更精彩、逼真的作品，为观众带来前所未有的视听盛宴。总之，Meta的这项技术为我们开启了一个全新的虚拟交互时代，值得我们深入探索和期待。
Meta技术,电影头号玩家,AI NPC,声音信息,3D数据集
[Q]：Meta这项技术能让游戏NPC有哪些变化？
[A]：可以有自己的记忆、个性、声音、工作爱好等。
[Q]：研究中如何利用声音信息？
[A]：通过声音传递的信息让AI猜测用户表情动作等。
[Q]：多视角对话数据集有什么作用？
[A]：用于捕捉对话中的面部表情、身体语言和手势细节。
[Q]：唇部回归器的作用是什么？
[A]：预测与音频同步的唇部几何形状，使嘴型和音频一致。
[Q]：身体运动模型是如何构成的？
[A]：结合自回归的VQ变换器和扩散模型。
[Q]：神经化身渲染器能生成什么？
[A]：从给定相机视角生成具有面部、身体和手部的全纹理化身图像。
[Q]：该研究的突破点有哪些？
[A]：首次用逼真化身评估和生成对话手势，捕捉更细微运动细节。
[Q]：这项技术在应用方面有哪些好处？
[A]：提高虚拟助手和聊天机器人交互真实性，在游戏和电影制作中提供更好体验。