首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

SkyReels-V2:突破时长限制的视频生成新标杆,最重要是开源!

SkyReels-V2:突破时长限制的视频生成新标杆

人工智能视频生成领域正在经历一场革命性的技术飞跃。SkyworkAI近日发布的开源视频生成模型SkyReels-V2不仅在性能上超越了众多竞争对手,更突破了当前视频生成的核心瓶颈——时长限制,实现了无限长度视频的连续生成能力。这一突破标志着AI视频生成技术向电影级应用迈出了实质性的一步。

核心突破:无限长度的视频生成

长期以来,AI视频生成面临着诸多挑战:为了提高视觉质量而牺牲动态效果、视频时长受限(通常仅5-10秒)以确保分辨率、缺乏镜头感知生成能力等。SkyReels-V2通过创新性的"扩散强制(Diffusion Forcing)"架构成功克服了这些限制。

该技术允许模型为每个令牌分配独立的噪声级别,使令牌可以按照任意的、按令牌排列的时间表进行去噪。简单来说,这种方法使模型能够根据前一段视频的最后几帧不断扩展生成内容,理论上可以生成无限长度的连贯视频。

技术亮点:多层次创新融合

SkyReels-V2的强大性能源于多项核心技术的融合:

SkyCaptioner-V1视频描述模型:该模型在镜头类型、角度、位置和摄像机运动等领域的精确度显著超越了现有技术,平均准确率达76.3%,比基准模型高出17.6个百分点。这使得SkyReels-V2能够更好地理解和生成符合电影语法的内容。

强化学习优化:通过半自动数据收集流程和直接偏好优化(DPO),专注解决大型可变形运动处理和物理规律违反等问题,显著提升了视频的动态质量。

高质量监督微调(SFT):实施两阶段高质量监督微调,分别在540p和720p分辨率下进行,确保视频在保持高质量动态效果的同时达到更高的视觉质量。

多GPU加速技术:借助xDiT USP技术实现多GPU推理加速,大幅提升生成效率。

性能评估:领先业界的全面表现

SkyReels-V2经过全面评估,展现出令人印象深刻的性能。在人工评估中,SkyReels-V2在指令遵循性(3.15)和一致性(3.35)方面表现尤为突出。在公开基准V-Bench测试中,模型总得分达83.9%,超越了OpenSora 2.0(81.5%)、CogVideoX1.5-5B(80.3%)、HunyuanVideo-13B(82.7%)和Wan2.1-14B(83.7%)等竞争对手。

值得注意的是,SkyReels-V2的图像到视频(I2V)和扩散强制(DF)模型在人工评估中均优于大多数开源模型,且与专有模型相比也毫不逊色,平均分别达到3.29和3.24,接近Kling-1.6(3.4)和Runway-Gen4(3.39)的水平。

模型系列与应用场景

SkyReels-V2提供了多种模型变体,以适应不同的应用需求:

扩散强制(DF)模型:专注于长视频生成,支持文本到视频和图像到视频任务,可以同步或异步模式运行。

文本到视频(T2V)模型:从文本描述生成高质量视频内容。

图像到视频(I2V)模型:将静态图像转变为动态视频。

摄像机导演模型:控制摄像机运动和画面构图(即将推出)。

实际应用:从简单到专业

SkyReels-V2的多功能性使其能够应用于广泛的场景:

故事生成:基于文本描述创建连贯的叙事视频。

图像动画化:将静态图像转换为动态视频。

摄影师视角:通过摄像机导演功能实现专业级的镜头运动和构图。

多主体一致性视频:结合Skyreels-A2系统实现多个主体的一致性视频生成。

系统需求与可访问性

尽管SkyReels-V2提供了强大的性能,但其资源需求也相当可观。生成540P视频时,1.3B模型需要约14.7GB峰值显存,而14B模型则需要约51.2GB峰值显存。通过模型参数优化和多GPU加速,用户可以在适当的硬件配置下运行这些模型。

SkyReels-V2模型已在Hugging Face和ModelScope平台上开源,包括1.3B-540P、14B-540P和14B-720P等变体,5B系列模型即将推出。这一开放态度使得研究人员和开发者能够访问、使用和改进这一前沿技术。

最后

SkyReels-V2作为首个开源的采用自回归扩散强制架构的无限长度视频生成模型,代表了AI视频生成领域的一个重要里程碑。其在指令遵循、视觉质量和动态一致性方面的优势,加上生成无限长度视频的能力,为广泛的创意和专业应用打开了新的可能性。

随着后续5B系列模型、摄像机导演模型和步骤与引导蒸馏模型的发布,我们可以期待SkyReels系列在视频生成领域继续引领创新,最终实现真正的AI电影级内容创作。

Skyreels开源:https://github.com/SkyworkAI/SkyReels-V2

官网:https://www.skyreels.ai/

AI写作编辑排版工具:智辑AI(aieditorx.cn)

AI电影共创社:简称AI共创社或共创社,国内著名的公益AI影视社群,社群超万人,有多名国内著名导演、编剧、影视领域教授专家学者,有500多名AIGC高手专家。AI电影共创社是公益社群,立足中国优秀文化哲学,传递人类命运共同体意识,给世界带来和平。欢迎您加入,一起共学共创推动中国AI影视。

官网学习文档:

‌‍‌⁠‍⁠⁠‌‍‍‍⁠‬‍⁠‍‬https://aimoviecs.com

投稿邮箱:1351231599@qq.com,欢迎AI影视领域博主、作家、爱好者送稿,审核通过即可发布。

加入社群:将在全国各地推动公益AI影视的影响力,帮助AI影视爱好者入门,进步,提升。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OuQ6jcsmg5NBUgH0Z0OkUUXA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券