中科闻歌发布优雅多模态文生视频平台

发布日期:2024-08-30 07:54:47

  8月19日,2024北京人工智能生态大会在北京举行。会上,中科闻歌董事长王磊发布了优雅(YoYa)多模态文生视频平台(以下简称YoYa)。YoYa针对视频内容生产的工业化需求,以及对齐人物、动作、情感、对话等元素的视频生成技术需求,以人工智能(AI)多模态技术,赋能视频内容创作全链路。

  据介绍,依托中科闻歌发布的雅意大模型和多模态大模型能力,YoYa可智能完成脚本生成、以文生图、以图生视频生产链路,融合智能剪辑、语音合成、人物口型驱动能力,用户只需输入主题要求,YoYa即可快速生成素材视频并剪辑成片。

  在具体应用方面,基于此前中科闻歌在媒体领域内容生产服务经验,YoYa拥有景别、运镜、节奏、情感、视角等媒体专业维度的信息抽取能力,可实现图、视频素材智能理解,并根据脚本,对已有内容资产进行高阶语义检索,智能选取相关素材完成剪辑,大幅提升视频生成的可控性及完成度。

  面向视频创作多样需求,YoYa还可以提供语音克隆、视频口型翻译、AI数字人、AI音乐创作、AI视频生成、多模态内容天生赢家 一触即发编目等智能工具,覆盖视频内容创作的全链路,有效支撑视频创意的高质量落地。

  王磊透露,目前YoYa已与多行业领域展开合作,为某电影学院提供“人工智能+中国审美”的影像数智化平台,为某传媒集团提供数智出版关键技术研究与应用,为某网络视频平台提供超高清音视频智数关键技术研究与应用。