阿里与字节在AI模特领域展开激烈竞争

阿里跟字节帧在AI模特杠上了,这次阿里放大招,西装帅哥性感美女在线热舞。不止把以前AI运动过程中衣服变形解决了,还把衣物在运动过程中的物理形态高度还原了。看的我有个朋友想深入了解下代码。

而阿里跟字节的这场拼字刀是从11月阿里发布的一项研究开始。这项研究主要实现了上传图片就可以用AI生成人物的动态视频,并且AI会脑补衣服纹理人的细节,就算生成人物转身也不会露馅,甚至是高跟鞋的鞋后跟都挠不出来了,并且衣服还会随人物运动产生真实交互,同样的,模特生成视频时还会保障外形的一致性,避免同个人换身衣服侧脸就不一样了。

字节跳动一看阿里那边的动作紧随其后,一周放大招用了更狠的招式,开源自家关于AI数字模特的研究。但他们还给自己留了一手,因为主要是狙击阿里能用图片推理衣服纹理这个功能点,所以代码没有加入面部控制插件,因此视频人物面部会有跳动,除此之外,字节还展示了两个功能,就是我们字节的AI模特还擅长用多人图片生成多人运动的视频,大家的衣服和动作还很自然,同时还能用AI生成的图片生成各种视频的功能。

阿里这边也放大招,你能用AI生成图片跳舞,那我也能。还是将人脸套用到AI人物身上,打字给要求就行,小姐姐跳的那叫一个丝滑。另外我们现在还支持上传不同风格的图片继续跳舞。AI自动根据不同风格脑补画面生成的纹理和动作,还不跳动。这一波操作下来,阿里仿佛在说字节跳动出来玩呀。

具体来看,这次阿里研发了名为dream moving的人类舞蹈视频生成框架。Dream moving基于Stable Diffusion模型,包括去噪unit视频控制网络和内容引导器。其中运动快是从从emc diff中扩展而来,并将时间序列长度扩大到64,最终实现在给定目标片份和姿势序列的情况下生成目标身份跟随姿势序列跳舞的视频。为了实现这一目标,作者使用一个视频控制网络来控制运动,以及一个内容引导器来保留身份信息。同时使用mi mix v2作为视频字幕生成器,生成每个视频片段的详细描述。抖音。
《探索AI模特:阿里与字节跳动的精彩角逐及应用攻略》

在当今科技飞速发展的时代里,AI模特领域成为了众多科技公司角逐的焦点。阿里与字节跳动在这个领域展开了激烈的竞争,各自推出了令人瞩目的技术成果。

阿里率先发力,通过其研发的相关技术,实现了上传图片即可用AI生成人物动态视频的壮举。不仅如此,AI还能高度还原衣物在运动中的物理形态,完美解决了以往衣服变形的问题。这一技术的出现,让人们眼前一亮,仿佛打开了一扇通往全新视觉体验的大门。

字节跳动也不甘示弱,紧随阿里其后,开源了自家关于AI数字模特的研究。虽然在面部控制方面有所保留,导致视频人物面部会有跳动,但他们展示了AI模特擅长用多人图片生成多人运动视频的强大功能,且衣服和动作自然流畅,同时还能利用AI生成的图片生成各种视频。

对于广大用户来说,如何更好地利用这些技术呢?首先,在选择使用AI模特生成视频时,要根据自己的需求来挑选合适的平台和功能。如果注重衣服纹理的细节和真实交互,阿里的技术可能更适合你;而如果你对多人运动视频的生成有需求,字节跳动的功能或许能满足你的期望。

在实际操作中,要充分了解每个平台的特点和使用方法。比如,阿里支持将人脸套用到AI人物身上,通过打字给出要求就能让小姐姐跳出丝滑的舞蹈,还能上传不同风格图片让AI自动脑补画面生成纹理和动作。字节跳动则在多人图片生成多人运动视频方面表现出色,大家的衣服和动作都很自然。

总之,AI模特领域的这场竞争为我们带来了丰富多样的选择,只要我们善于探索和利用,就能在这个充满创意的领域中收获独特而精彩的体验。无论是制作个性化的舞蹈视频,还是满足各种创意需求,AI模特都能成为我们的得力助手,让我们的创意得以完美呈现。
AI模特,阿里,字节跳动,衣服纹理,动态视频,开源研究,面部控制,图片生成,跳舞,视频生成框架
[Q]:阿里在AI模特方面有哪些大招?
[A]:阿里实现上传图片用AI生成人物动态视频,解决衣服变形并还原物理形态。
[Q]:字节跳动开源的AI数字模特研究有什么特点?
[A]:狙击阿里图片推理衣服纹理功能,面部有跳动,能生成多人运动视频等。
[Q]:阿里的dream moving框架基于什么模型?
[A]:基于Stable Diffusion模型,包括去噪unit视频控制网络和内容引导器。
[Q]:阿里如何让AI模特跳舞?
[A]:将人脸套用到AI人物身上,打字给要求,支持上传不同风格图片跳舞。
[Q]:字节跳动的AI模特在生成视频时面部为什么会跳动?
[A]:代码没有加入面部控制插件。
[Q]:阿里跟字节在AI模特竞争中谁更胜一筹?
[A]:双方各有优势,阿里在衣服纹理等方面突出,字节跳动在多人运动视频生成等方面有亮点。
[Q]:AI模特生成视频时如何保障外形一致性?
[A]:如阿里模特生成视频时会保障外形的一致性,避免同个人换身衣服侧脸就不一样。
[Q]:怎样利用AI模特生成不同风格的视频?
[A]:像阿里支持上传不同风格图片,AI自动根据风格脑补画面生成纹理和动作来跳舞。
share