达摩院发布一站式AI视频创作平台"寻光" 打造全新AI工作流

小微 2024年07月07日 阅读:49539

达摩院发布一站式AI视频创作平台"寻光" 打造全新AI工作流
图片来源于网络,如有侵权,请联系删除

  在刚刚结束的上海世界人工智能大会(WAIC)上,达摩院发布了一站式AI视频创作平台“寻光”。

  其定位为PUGC一站式AI视频创作平台,可辅助用户创作剧本、分镜图等,并通过工作流整合提升创作全流程的效率,支持对生成及上传素材进行丰富的AI编辑,提供人物控制、场景控制、风格迁移、运镜控制、目标新增/消除/修改等十多种AI编辑功能,让视频中的元素和对象精准可控。

  达摩院希望借由寻光平台进一步提升AI视频创作的效率,目标是用AI能力重塑传统视频制作的整个流程,打造AI时代的全新视频工作流。

 业界落地基于图层的视频编辑

  在寻光研发的初期,达摩院还与影视传媒从业者及创作者进行了广泛且密集调研,了解其对于视频AIGC创作的需求与痛点。他们发现,视频图层几乎是所有视频创作者们提到频次最高、最迫切的需求。

  基于此,寻光平台首次在行业推出系统性的视频图层编辑功能。用户通过文本输入,即可生成符合文本描述且具有透明背景的视频,并且一键将其融合到其他背景视频当中。在传统视频生成能力的基础上,用图层这样一种更灵活的形式来产生内容。

  寻光更提供图层拆解功能,轻轻一圈,选定目标立刻拆解为单独的图层视频,再丝滑嵌入不同的背景视频。

  用户可以将不同的前景图层跟不同的背景进行图层融合,组合出更多新的视频。图层融合的能力进一步激发AI创作力和想象力,同时能够保持多个分镜头之间的场景和人物的一致性。

  在达摩院看来,AI不会取代创作者的工作,而是会优化视频创作的工作流,成为创意驱动的新引擎。

  一站式AI创作平台 更简洁的交互,更丰富的编辑能力

  剧本创作、分镜设计、素材编辑……传统的视频创作步骤分工明晰、周期冗长。在AI技术的加持下,原本分散在不同制作流程中的创作步骤,如今都可以在寻光平台上流畅完成。

  “我们希望让视频编辑像操作ppt一样简洁直观,容易上手。”达摩院视觉技术实验室高级算法专家陈威华在现场介绍,寻光平台的一大亮点在交互方面。

  寻光平台在设计时便充分考虑到AI视频创作的特点,将每个视频项目抽象为多个分镜头画面,用户可根据剧本自动生成一组分镜头,也可以自己上传原始视频素材,由算法切分成多个分镜头。

  在创作空间里,用户可以很方便的查看每一个分镜头,一个场景内的多个分镜头可以收起或者展开,场景之间可以通过拖拽来调整顺序,场景内的分镜头也可以进行拖拽。用户也可以在任意位置上进行分镜头的添加和新建,可调用图片生成或者视频生成能力去产生内容,也可以添加自己已有的各种素材。

  对于每个分镜头,寻光提供完整且智能的AI视频编辑能力进行处理,可依据用户意图,在语义层面而不是像素层面实现编辑。分镜头里的人体、人脸、前景、背景等任意局部目标,都可以进行精细化的编辑和修改。

  “我们希望一个视频里的所有元素都是可编辑、可修改的,这样可以给用户的创作提供最大的自由度”,陈威华说。

  当下,在AIGC的变革浪潮之中,AI有可能催生出新的视频工作流。无论是专业的影视从业者还是热爱创作的UGC用户,都将从中获益。

  “工欲善其事,必先利其器”,达摩院希望寻光视频创作平台能够成为每一位创作者的专属视频工作室,实现AI与创作者之间更紧密、高效的协作,真正释放AI的生产力。

  为此,达摩院视觉技术实验室已做了大量技术储备。该实验室致力于多模态视觉信号的理解与生成技术研究,当前的重点研究方向包括更加精准的图像/视频/3D内容生成,更加可控的图像/视频/3D内容编辑,更加高效的生成框架,多模态的理解-生成框架等。

  陈威华表示,“寻光”将于近期开放内测,持续迭代,优化交互,欢迎创作者们来定制属于自己的AI工作流。

【责任编辑:周靖杰】
    阅读下一篇:
              热门文章
              • 2026物业管理项目可行性:重估每一平方米的服务价值_人保护你周全,人保有温度

                2026物业管理项目可行性:重估每一平方米的服务价值_人保护你周全,人保有温度
                图片来源于网络,如有侵权,请联系删除人保护你周全,人保有温度_2026物业管理项目可行性:重估每一平方米的服务价值 2025年12月30日 来源:中研网 1252 81 北京用户提问:市场竞争激烈,外来强手加大布局,国内主题公园如何突围? 上海用户提问:智能船舶发展行动计划发布,船舶制造企业的机 江苏用户提问:研发水平落后,低端产品比...
              • 国统股份最新股东户数环比下降7.21%

                国统股份最新股东户数环比下降7.21%
                图片来源于网络,如有侵权,请联系删除(原标题:国统股份最新股东户数环比下降7.21%) 国统股份12月30日披露,截至12月20日公司股东户数为20344户,较上期(12月10日)减少1580户,环比降幅为7.21%。这已是该公司股东户数连续第2期下降。图片来源于网络,如有侵权,请联系删除 证券时报•数据宝统计,截至发稿,国统股份收盘价为14.56元,上涨0.48%,本期筹码集中以来股价累计上涨4.90%。具体到各交易日,9次上涨,5次下跌。 公司发布的三季报数据显示,...
              • 金冠电气现5笔大宗交易 总成交金额1128.45万元

                金冠电气现5笔大宗交易 总成交金额1128.45万元
                图片来源于网络,如有侵权,请联系删除金冠电气12月30日大宗交易平台共发生5笔成交,合计成交量79.02万股,成交金额1128.45万元。成交价格均为14.28元,相对今日收盘价折价8.87%。 证券时报•数据宝统计显示,金冠电气今日收盘价为15.67元,下跌1.26%,日换手率为1.67%,成交额为3585.24万元,全天主力资金净流出391.48万元,近5日该股累计下跌1.26%,近5日资金合计净流出496.54万元。图片来源于网络,如有侵权,请联系删除 两融数据显示...
              • 中机认检:2025年净利润1.52亿元 同比增长14.71%

                中机认检:2025年净利润1.52亿元 同比增长14.71%
                (原标题:中机认检:2025年净利润1.52亿元 同比增长14.71%) 人民财讯1月15日电,中机认检(301508)1月15日披露业绩快报,2025年实现营业总收入8.79亿元,同比增长5.82%;归母净利润1.52亿元,同比增长14.71%;基本每股收益0.67元。报告期内,公司在战略新兴产业积极布局,战略投资与能力建设全面提速;在检验检测和认证服务领域持续深耕,强化成本管控;乘用车业务市场开发能力持续增强,为经营业绩增长再添新引擎。...
              • 海王生物:控股子公司拟2.48亿元转让河南东森100%股权

                海王生物:控股子公司拟2.48亿元转让河南东森100%股权
                图片来源于网络,如有侵权,请联系删除人民财讯12月30日电,海王生物(000078)12月30日公告,公司控股子公司河南海王集团拟与河南汇程签订《股权转让协议》,河南海王集团将其所持有的河南东森100%股权以2.48亿元的价格转让给河南汇程。海王生物同日公告,公司全资子公司安徽海王集团与六安海王的小股东安徽省润鑫健康产业有限公司签订《股权转让协议》,由安徽省润鑫健康产业有限公司收购安徽海王集团持有的六安海王70%股权。股权转让完成后,安徽海王集团不再持有六安海王的股权。六安海...