阿里巴巴最新的AI视频技术给模特们焊上了最后一块棺材板。

他们实现了用AI生成的图片配合动作捕捉，让人物丝滑摆pose，并且衣服居然会受人物动作影响产生褶皱，并且和周遭光线反应以后商品动态展示页面怕是数字人的天下了。瞅着梅西现在摆的pose，我丝毫不怀疑过几年梅西要忙着投诉自己的形象被用在代言某多多的保安服上，更别提钢铁侠和奥特曼，这俩哥们已经被完美数字化了，二次元世界更是彻底沦陷。B站的宅五区将被二次元数字人们彻底学习，以后大家的对手都是机器人了。

作为对比，这半年以来虽然AI视频高速进步，但快速动作的情况下，千手观音衣服扭曲、肢体缺失、画面闪动、人脸变形是大部分人辨别AI动画的方法。而阿里的新技术就解决了这些问题。并且能在人物侧身时自动补全服饰和身体。老绅士们估计还能看到一些自然的肌肉抖动，甚至是让人物转身复杂衣服的纹理，人物的发型、服装、鞋子都没有瑕疵，特别是鞋子的鞋后跟和人物脚后跟完美契合了。

而能得到这样的进步是因为研究团队在传统架构上进行了三个改进。首先他们设计了reference NNT，这是一种类似于去噪UNIT的结构，用于提取参考图像中的细节特征，能够保持动画视频与参考图像在细节上的一致性，相当于以为技艺高超的画家不仅能记住人的样子，还能画出这个人不同角度下的样子。为了实现对角色动作的有效控制，他们还引入了post ide用用于处理输入的资序序列，并将其与图像特征图相加作为去噪UNT的输入就是指导画家该怎么画画的人，让模型可以根据给定的姿势序列生成相应的动画。最后团队采用了双阶段的训练策略，在第一阶段使用单帧图像作为输入进行训练，优化模型的图像生成能力。在第二阶段引入时间层，使用多帧图像序列进行训练，优化模型的时间连续性。并且与其他需要大量标注数据或者需要对特定数据集进行微调的方法不同，新方法只需要在内部数据集上进行无监督训练，就可以实现高质量的动画生成，因此其泛用性也更高。
《探索AI视频技术：解锁数字人创作与应用的无限可能》

在当今科技飞速发展的时代，AI视频技术正以前所未有的速度改变着我们的生活。阿里巴巴的最新AI视频技术更是引起了广泛关注。它实现了用AI生成的图片配合动作捕捉，让人物能够丝滑摆pose，衣服还会随人物动作产生褶皱，与周遭光线反应后，商品动态展示页面仿佛将成为数字人的天下。

对于创作者来说，这一技术为动画制作带来了新的可能性。比如在制作动漫角色时，能轻松实现各种复杂动作，且人物的发型、服装、鞋子等细节都能完美呈现。对于电商从业者而言，商品动态展示更加生动，能极大提升用户购物体验。

在实际应用中，我们可以利用它制作创意短视频，吸引更多流量。也可以用于虚拟直播，打造独特的直播场景。无论是个人创作者还是企业，都能借助这一技术拓展业务边界，创造出更具吸引力的内容。

总之，阿里巴巴的AI视频技术为我们打开了一扇通往数字人精彩世界的大门，值得我们深入探索和应用。
阿里巴巴,AI视频技术,数字人,动作捕捉,图像生成
[Q]：阿里巴巴最新的AI视频技术有什么特别之处？
[A]：实现用AI生成图片配合动作捕捉，人物摆pose丝滑，衣服有褶皱。
[Q]：这项技术对商品动态展示有什么影响？
[A]：可能使商品动态展示页面成为数字人的天下。
[Q]：AI视频技术在快速动作情况下存在什么问题？
[A]：千手观音衣服扭曲等辨别AI动画的常见问题。
[Q]：阿里新技术如何解决这些问题？
[A]：能自动补全服饰和身体，减少瑕疵。
[Q]：研究团队进行了哪三个改进？
[A]：设计reference NNT、引入post ide、采用双阶段训练策略。
[Q]：reference NNT有什么作用？
[A]：提取参考图像细节特征，保持动画与参考图像细节一致。
[Q]：post ide的用途是什么？
[A]：处理输入序列并与图像特征图相加指导模型生成动画。
[Q]：双阶段训练策略是怎样的？
[A]：第一阶段用单帧图像训练优化图像生成能力，第二阶段用多帧图像序列训练优化时间连续性。