作者|陶然 编辑|魏晓
视频大模型赛道,彻底卷起来了。
周末晚间,蓝媒君的手机弹出一条消息:智谱ai,发布了名为「清影」的ai生视频大模型。
寒冷的北极,探险队穿越冰雪,使用雪地摩托追逐极光
手机app和网页版,同步上线。
还非常高调地,对先前在智谱清言有过注册的用户做了批量推广。
甚至,超前上架了制作加速和配乐等氪金入口,大有迅速迈向商业化阶段的架势。
在被定调为业界标杆的openai sora 模型迟迟未能公测的时间段里,国产大模型赛道可谓惊喜不断:爱诗科技pixverse、快手可灵、商汤 vimi 相继落地。
贵为新ai四小龙之一的智谱,先前则是在投融资和ai项目投标等领域,捷报频传。
此番开放ai生视频模型,也是相当突然。
下一个问题,效果如何?
又是一位高分玩家
既然智谱ai有自己的通用大模型chatglm,不妨让大模型出题,测评一下新发布的这款视频模型。
第一轮对话,遗憾翻车,ai并没能直接理解视频所需提示词的含义。
好在,经过提示修改,chatglm还是给出了五段由简单到复杂的prompt,并简单解释了每一段的设计理由。
接下来,直接将chatglm生成的提示词喂给「清影」。首先是简单场景:
一个孩子在公园里放风筝,阳光明媚,绿草如茵。
整体氛围感还可以,光影效果比较自然,但ai在处理人物动作时缺乏物理逻辑的通病,细看画面,「清影」也未能完全克服。
进一步,引入需要刻画面部表情细节的场景:
一位老人在雨中等待失散多年的儿子,表情充满期待与忧虑。
忽略手部动作极其细微的不自然(手指和脚趾动作,事实上目前大部分ai目前都无法理解),画面中人物的质感和环境中雨滴的效果,几乎以假乱真。
继续设置更为复杂的情节,加入多角色互动:
两位宇航员在太空站外进行紧急维修,背景是宇宙的浩瀚星空,对话中透露出紧张气氛。
在经历了一次效果不佳的生成和一次服务器忙碌宕机后,「清影」输出的第二版视频内容总算是有了清晰的“太空站”,但背景上的星空效果却不如第一版。宇航员的外观轮廓,似乎还有些异样。
如果「清影」后续能支持通过提示词微调视频,而非只能再次生成、推倒重来的话,可玩空间应该会更大一些。
下一项,让ai设计些意识流产物,抽象概念与视觉效果:
时间流逝的视觉表现,通过四季变换和物体衰败的快速剪辑来展现。
在需要大量新奇创意,以及处理那些不用特别写实的需求时,ai往往是比较愿意发挥的。但可能因为提示词中,四季变换和物体衰败包含了过多的场景变化,尝试了几次生成之后,「清影」依然每次都选择将画面切割成四个甚至八个分镜,搭配饱和度偏高的油画风格。
最后,是chatglm认为的最高难度,创意与技术的结合:
一个未来城市的全景,展示飞行汽车、高楼大厦和悬浮屏幕,融合高科技与日常生活。
这种强调科幻感的提示词,一般都需要ai脱离现实去创造。不确定是不是在训练中,城市夜景、光影反射和未来科技这类素材喂的比较多,包括此前ai蓝媒汇测试过的可灵大模型在内,在处理科幻感方面,效果都意外的优秀。
除文生视频外,「清影」还提供了另一项主流aigc功能,图生视频。
将巴黎奥运会开幕式授旗环节的神秘人照片上传,要求「清影」制作其走上台阶的动态效果。
最后的成像效果,人物动作部分基本是对的,但背后这个披风多少丢了些优雅。
不过,瑕不掩瑜,在手边所有能用的视频大模型中,「清影」也值得给一个高分。
国内玩家,领先sora?
“让大家体验一下目前视频生成这样的事情,在每人可用的前提下能做到什么程度,而不是关在实验室里,或者在很小的概率上生成出什么东西。”
这是智谱ai ceo 张鹏,对于「清影」,以及视频生成模型赛道的态度。
话里话外,似乎指向的都是openai迟迟没有开放体验的sora。
事实上,“追赶openai”一直是智谱ai被外界所熟知的标签之一,张鹏就曾多次在公开场合提及,对标open ai“是公司成立以来的目标”。
这一次,至少在发布速度和实用性上,智谱ai确实领先了。
公开资料显示,「清影」依托于智谱 ai 大模型团队自研打造的新一代视频生成大模型 cogvideox。其前代模型cogvideo发布于去年十一月并在之后被开源。
cogvideo 拥有 94 亿参数,可根据文本描述生成 3d 环境,直接利用预训练模型,避免了昂贵的训练,并且完全支持中文 prompt 输入。
技术优化后,新发布的cogvideox 的推理速度和前代相比提升了 6 倍之多。目前生成 6s 视频,模型花费的理论时间是30秒。
在「清影」发布后的媒体采访中,张鹏不出意外也谈到了sora和ai商业化等热点议题。
对于sora,张鹏直言现阶段的「清影」“和openai、和世界顶级水平之间仍有差距”,暂时还无法做到在质量和视频长度上与sora对标。智谱ai的角色,仍是追赶者。
对于商业化,张鹏认为现阶段不论是to c还是to b,谈论大规模商业化都为时尚早。「清影」之所以选择面向c端基本功能免费,但to b开放平台api付费,一方面考虑到“亲民”,也就是降低门槛迅速揽客、铺开;另一方面,视频生成模型的成本还是“非常高”,智谱ai也确实需要多少收回一点现金。
实际上,目前手握美团、蚂蚁、阿里、腾讯、小米、红杉、高瓴等多家大厂和知名机构,以及中东石油巨头沙特阿美旗下风投基金投融资的智谱ai,显然不太可能是“缺钱的玩家”。
但在手握阶段性成果之后,公司却表现得相对克制,非常现实。
唯一明显走高的,大概就是市场对智谱ai、对国产视频模型赛道的期待值了吧。
lanmeih/今日话题
你体验智谱ai的视频大模型了吗?评价如何?
咱们评论区聊聊~
2024-07-29
2024-07-26
2024-07-26
2024-07-29
2024-08-14
2024-08-26
2024-08-26
2024-08-26
2024-08-26
2024-08-26
硕硕闪闪 2024-08-26
2024-08-26
金沙娱场城app copyright © 2024 金沙娱场城app-老版金沙app下载客户手机端 北京智识时代科技有限公司 金沙娱场城app的版权所有