最离谱的ALA运镜插件诞生了。通过在三维空间中画运动轨迹就可以实现控制AI视频中的物体运动，实现物体摇晃、被风吹，甚至是无人机环绕拍摄的效果。此外我们还可以使用多条运动轨迹同时控制多个物体，制造类似擦肩而过的效果，再加上常见的镜头放大、缩小等效果，一些具有电影感的镜头就生成了。具体来看，motion control包含两个模块，分别是相机运动控制模块和物体运动控制模块。其中相机运动模块控制镜头移动，物体运动模块控制物体运动。为了训练相机运动模块，论文使用了RELLA state 10K数据集，并利用Blake二维视频生成标题，这个数据集包含了带有标题和相机姿态注视的视频片段，适合训练相机运动控制。为了训练物体运动模块，论文使用了web ID数据集，并利用partial SFM提取物体运动轨迹。论文还采用了分布训练策略，首先训练相机模块，然后训练物体模块，确保了物体和相机互不干扰。看到这里我只想说，什么时候开源，什么时候AI动作大片就正式拉开帷幕了。
《探索ALA运镜插件：开启AI视频创作新体验》攻略
在当今数字化时代，视频创作变得越来越普及。而ALA运镜插件无疑为创作者们带来了全新的体验。
首先，它能通过在三维空间画运动轨迹，轻松控制AI视频中物体的运动。比如让物体摇晃、模拟被风吹的效果，甚至实现无人机环绕拍摄，这为视频增添了不少动态感。
再者，多条运动轨迹可同时控制多个物体，制造出擦肩而过等有趣效果。再结合镜头的放大、缩小等常见操作，电影感镜头轻松生成。
具体来说，motion control包含相机运动控制模块和物体运动控制模块。相机运动模块控制镜头移动，物体运动模块控制物体运动。
在训练方面，相机运动模块使用RELLA state 10K数据集，利用Blake二维视频生成标题，该数据集包含的视频片段适合训练相机运动控制。物体运动模块则使用web ID数据集，并利用partial SFM提取物体运动轨迹。论文采用分布训练策略，先训练相机模块，再训练物体模块，确保互不干扰。
总之，ALA运镜插件为AI视频创作带来了无限可能，期待它开源，让更多创作者开启AI动作大片创作之旅。
ALA运镜插件,AI视频,物体运动控制,相机运动模块,数据集
[Q]：ALA运镜插件如何控制AI视频中的物体运动？
[A]：通过在三维空间中画运动轨迹来控制，可实现物体摇晃、被风吹等效果。
[Q]：能否同时控制多个物体的运动？
[A]：可以，使用多条运动轨迹能同时控制多个物体制造特殊效果。
[Q]：motion control包含哪些模块？
[A]：包含相机运动控制模块和物体运动控制模块。
[Q]：训练相机运动模块用了什么数据集？
[A]：使用了RELLA state 10K数据集。
[Q]：RELLA state 10K数据集有什么特点？
[A]：包含带有标题和相机姿态注视的视频片段，适合训练相机运动控制。
[Q]：训练物体运动模块用了什么数据集？
[A]：使用了web ID数据集，并利用partial SFM提取物体运动轨迹。
[Q]：论文采用了什么训练策略？
[A]：采用分布训练策略，先训练相机模块，再训练物体模块。
[Q]：什么时候能开源ALA运镜插件？
[A]：文中未提及具体开源时间，大家都很期待。