打字让三弟模型做指定动作,新AI表现惊人
清华大学和香港中文大学还有IDI干了件大事。现在只需要打字就能让三弟模型做指定动作。比如要求AI生成一个男人快乐的弹尤克里里。我们可以看到生成的画面里,模型头部和肢体的动作都透露着开心。这里咱们还可以对比下其他家的技术,打字告诉AI让模型一瘸一拐走路,其他技术是这样走的,看起来不像瘸腿,更像是游戏里抽风的NPC。再看看新AI这边的表现,这一瘸一拐的小碎步加速走S弯时身体向前倾再迈步的样子,我只能说新的AI不止完成了指令,更是让模型有了一名专业演员的素养。包括这里展示一个男人左顾右盼举手挠脸很焦急的样子,而且如果你拉近看,是可以看到人物的面部表情变化的这表现就算周星驰当导演都得给AI一条过。之前我们还报道过另一项技术,用户可以用手机将三弟物体投影到现实,并且可以跟现实的光影发生反应。咱就问问如果有一个人的模型在适配上这项文本转动作的技术,我是不是有了一个虚拟女友?那这逼真的效果是如何实现的?为了学习精细的全身运动表示,首先作者设计了一个整体分层B2B分别用于学习身体和手部运动的离散表示,同时还有分层GPT来预测身体和手部运动的离散动作,最后还配备一个面部条件力来提高角色的面部能力。简单说,human tomato就像一位出色的舞蹈家,他可以根据文本描述表演生动的舞蹈。为了这一目标,舞蹈家通过观察和学习大量的舞蹈动作,学会如何将复杂的舞蹈动作分解为更简单、更易于控制的基本动作,也就是前面的整体分层b to v其次,舞蹈家通过与文本作者的紧密合作,学会如何在表演过程中根据剧本的描述来调整自己的动作和表情,也就是论文中的预训练文本运动对齐模型。
**《AI文本转动作技术全攻略:从三弟模型到虚拟女友》**
在当今科技飞速发展的时代,AI技术不断给我们带来惊喜。清华大学、香港中文大学与IDI合作的项目,让打字就能控制三弟模型做指定动作成为现实。
比如输入“男人快乐弹尤克里里”,模型就能生动呈现。新AI在执行指令时,表现远超其他技术。它生成的一瘸一拐走路动作,那小碎步加速走S弯时身体前倾再迈步的模样,仿佛模型拥有了专业演员素养。
还有展示男人焦急样子时,面部表情变化细腻,连周星驰当导演都得给好评。不仅如此,另一项手机投影三弟物体到现实并与光影反应的技术也很神奇。要是给人物模型配上文本转动作技术,真就像有了虚拟女友。
那么这逼真效果咋实现的呢?原来是通过整体分层B2B学习身体和手部运动离散表示,分层GPT预测动作,面部条件力提升面部能力。简单讲,就像出色舞蹈家,通过观察学习大量舞蹈动作,分解复杂动作成基本动作,还与文本作者紧密合作,依据剧本调整动作表情,这就是预训练文本运动对齐模型的作用。掌握这些,你就能更好领略AI文本转动作技术的魅力啦!
清华大学,香港中文大学,IDI,文本转动作,三弟模型,AI技术,虚拟女友,面部表情,舞蹈动作,预训练模型
[Q]:清华大学、香港中文大学和IDI合作完成了什么大事?
[A]:实现了打字让三弟模型做指定动作。
[Q]:新AI在让模型做动作方面有什么优势?
[A]:不止能完成指令,还让模型有专业演员素养,动作表现出色。
[Q]:如何通过文本让AI生成特定动作?
[A]:直接输入要求,如“男人快乐弹尤克里里”等。
[Q]:新AI生成的模型动作和其他技术对比如何?
[A]:新AI生成的动作更逼真自然,其他技术生成的动作较差。
[Q]:手机投影三弟物体到现实这项技术有什么特点?
[A]:能将三弟物体投影到现实且与光影发生反应。
[Q]:文本转动作技术能应用在人物模型上产生虚拟女友效果吗?
[A]:如果人物模型适配这项技术,理论上可以有类似效果。
[Q]:精细的全身运动表示是如何实现的?
[A]:通过整体分层B2B学习身体和手部运动离散表示等一系列方法。
[Q]:舞蹈家在实现相关技术中起到什么作用?
[A]:舞蹈家通过观察学习大量舞蹈动作,为技术实现提供动作基础等。
**《AI文本转动作技术全攻略:从三弟模型到虚拟女友》**
在当今科技飞速发展的时代,AI技术不断给我们带来惊喜。清华大学、香港中文大学与IDI合作的项目,让打字就能控制三弟模型做指定动作成为现实。
比如输入“男人快乐弹尤克里里”,模型就能生动呈现。新AI在执行指令时,表现远超其他技术。它生成的一瘸一拐走路动作,那小碎步加速走S弯时身体前倾再迈步的模样,仿佛模型拥有了专业演员素养。
还有展示男人焦急样子时,面部表情变化细腻,连周星驰当导演都得给好评。不仅如此,另一项手机投影三弟物体到现实并与光影反应的技术也很神奇。要是给人物模型配上文本转动作技术,真就像有了虚拟女友。
那么这逼真效果咋实现的呢?原来是通过整体分层B2B学习身体和手部运动离散表示,分层GPT预测动作,面部条件力提升面部能力。简单讲,就像出色舞蹈家,通过观察学习大量舞蹈动作,分解复杂动作成基本动作,还与文本作者紧密合作,依据剧本调整动作表情,这就是预训练文本运动对齐模型的作用。掌握这些,你就能更好领略AI文本转动作技术的魅力啦!
清华大学,香港中文大学,IDI,文本转动作,三弟模型,AI技术,虚拟女友,面部表情,舞蹈动作,预训练模型
[Q]:清华大学、香港中文大学和IDI合作完成了什么大事?
[A]:实现了打字让三弟模型做指定动作。
[Q]:新AI在让模型做动作方面有什么优势?
[A]:不止能完成指令,还让模型有专业演员素养,动作表现出色。
[Q]:如何通过文本让AI生成特定动作?
[A]:直接输入要求,如“男人快乐弹尤克里里”等。
[Q]:新AI生成的模型动作和其他技术对比如何?
[A]:新AI生成的动作更逼真自然,其他技术生成的动作较差。
[Q]:手机投影三弟物体到现实这项技术有什么特点?
[A]:能将三弟物体投影到现实且与光影发生反应。
[Q]:文本转动作技术能应用在人物模型上产生虚拟女友效果吗?
[A]:如果人物模型适配这项技术,理论上可以有类似效果。
[Q]:精细的全身运动表示是如何实现的?
[A]:通过整体分层B2B学习身体和手部运动离散表示等一系列方法。
[Q]:舞蹈家在实现相关技术中起到什么作用?
[A]:舞蹈家通过观察学习大量舞蹈动作,为技术实现提供动作基础等。
评论 (0)
