一觉醒来，AI视频开始跟苹果头显用户一样魔幻。从以前的半年进步一点点，到现在一天一个样，估计今年的AI都是大爆发。

这个名为direct a video的新技术，探索出了用户文本生成视频时控制AI视频运动的新思路。它允许用户独立或联合控制相机运动和对象运动，就像导演视频一样，让画面质量和运镜更可控。

该技术的核心贡献在于实现了对相机运动和对象运动的解耦控制，我们只需要在两个方框中标注移动信息就行。其中相机运动控制功能使用了一个自监督训练策略，通过模拟相机运动来增强视频数据集，从而训练相机模块。这种方法还避免了对大规模带有相机运动注释的视频数据集的需求。

其实，数据标注成本以及计算资源另一项功能对象运动控制则是利用了空间交叉注意力调制。这是一种无需额外训练的方法，通过在推理阶段对空间交叉注意力图进行调制来控制对象运动。用户可以通过在视频的第一帧和最后一帧绘制边界框以及中间路径，来指定对象的空间时间轨迹对比。

其他晦涩难懂、操作容易出错的运镜插件，比如ICA video，让用户可以通过简单的边界绘制来指定运动轨迹，对比像素及控制方法更直观和用户的友好，并且还能有效处理多了对象的运动，尤其是在对象之间存在交互时，抖音。
《探索AI视频新技术：解锁相机与对象运动控制的奥秘》

在当今科技飞速发展的时代，AI视频领域可谓日新月异。一觉醒来，你会发现AI视频正变得和苹果头显用户体验一样魔幻。曾经半年才进步一点点，如今却是一天一个样，仿佛今年的AI迎来了大爆发。

有一种名为direct a video的新技术横空出世，为用户文本生成视频时控制AI视频运动开辟了新思路。它赋予用户独立或联合控制相机运动和对象运动的能力，就如同导演掌控视频一般，让画面质量和运镜都更加可控。

这项技术的核心贡献在于实现了对相机运动和对象运动的解耦控制。我们只需在两个方框中标注移动信息即可。其中，相机运动控制功能采用了自监督训练策略，通过模拟相机运动来增强视频数据集，进而训练相机模块。这种方法巧妙地避免了对大规模带有相机运动注释的视频数据集的需求。

而另一项功能对象运动控制，则利用了空间交叉注意力调制。这是一种无需额外训练的方法，在推理阶段对空间交叉注意力图进行调制，就能轻松控制对象运动。用户可以通过在视频的第一帧和最后一帧绘制边界框以及中间路径，来指定对象的空间时间轨迹对比。与其他晦涩难懂、操作易出错的运镜插件相比，它更加直观、对用户更友好，还能有效处理多个对象的运动，尤其是在对象之间存在交互时。
AI视频,direct a video,新技术,相机运动,对象运动