澎湃Logo
下载客户端

登录

  • +1

生数科技CEO唐家渝:视频生成尚处早期,有技术瓶颈待突破

澎湃新闻记者 喻琰 实习生 王春
2024-09-12 14:28
来源:澎湃新闻
未来2% >
字号

“用AI做叙述类影片,可能废片的比率会是50:1,即生成50张图片,其中只有一张才可能符合这类叙述创作。”9月11日,在北京生数科技有限公司(以下简称生数科技)举办的媒体开放日活动上,一名影视创作者在分享时作出上述表述。

伴随着大模型生成技术的发展,越来越多的影视创作者开始尝试将AI技术用于创作之中,但就目前看来,还存在很多痛点。

“AI生成视频不可控,元素一旦多就无法理解多个角色和空间场景。”来自AI影视创作者Vicky表示。来自海内外多位AI影视创作者表示,在实际创作过程中,普遍存在的核心问题即可控性不足或一致性不足,尤其当涉及复杂场景和交互场景时。

尽管AI视频模型在遵循指令方面表现出色,但输出结果仍有不确定性,可能需要多次尝试才能生成较为满意的画面。另外,AI生成模型在运镜、光影效果和细节处理方面仍然存在限制,难以做到完全精细地控制。

生数科技于今年7月30日正式上线了AI生成视频大模型,为了帮助创作者提升效率,该公司日前将视频模型Vidu的功能进行了新升级,发布了“主体参照”功能,该功能即针对一致性问题进行的开发,它可以实现对任意主体的一致性生成,让视频生成更加稳定、可控。

“主体参照”功能允许用户上传任意主体的一张图片,Vidu能够锁定该主体形象,通过描述词任意切换场景,输出主体一致的视频。

9月11日,澎湃科技(www.thepaper.cn)记者登录生数科技官网Vidu平台尝试视频生成。分别上传了一张美国影星莱昂纳多·迪卡普里奥的三维图片,并输入“蓝天”、“酒杯”、“敬酒”等关键词;

输入词:“蓝天”、“酒杯”、“敬酒”等

用Vidu生成后的图像如下:

上传一张日本动漫《跃动青春》女主角的二维截图,并输入“跑步”、“迟到”、“早晨”等关键词后

用Vidu生成后的图像如下:

生数科技联合创始人兼CEO唐家渝在接受采访时表示,Vidu“主体参照”功能是目前全球首个具备一致性生成能力的技术。生数科技的核心任务是构建多模态大模型,AI视频生成目前还处于早期阶段,还有更多技术瓶颈有待未来突破。他认为,AI视频技术不会一直是小众人群的工具,预估今年年底,AI视频技术能普及到大众,用户可以轻松使用。

生数科技成立于2023年3月,核心团队成员来自清华大学人工智能研究院,首席科学家朱军为清华大学教授,联合创始人兼CEO唐家渝是清华大学自然语言处理实验室硕士,曾任瑞莱智慧副总裁、腾讯优图实验室高级产品经理。

    责任编辑:宦艳红
    图片编辑:张同泽
    校对:张亮亮
    澎湃新闻报料:021-962866
    澎湃新闻,未经授权不得转载
    +1
    收藏
    我要举报
            查看更多

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2024 上海东方报业有限公司

            反馈