当前位置:金沙娱场城app-老版金沙app下载客户手机端|资讯|midjourney v5|midjourney|苹果

vast宋亚宸:3d生成迈入秒级时代,今年将做到midjourney v5/v6水平丨genaicon 2024 -金沙娱场城app

作者:智东西发布时间:2024-05-30

智东西

作者 | genaicon 2024

2024中国生成式ai大会于4月18-19日在北京举行,在大会第二天的主会场aigc应用专场上,vast创始人兼ceo宋亚宸以《大模型tripo驱动3d生成迈入秒级时代》为主题发表演讲。

从文字、图片到视频、3d,信息载体不断升级,宋亚宸谈道,3d的体验质量、信息密度不断提升且更具互动性。他认为目前3d生成已经达到类似midjourney v3的效果,今年9月将达到类v4效果,年底达到类v5/v6效果,实现真正可用,甚至通过图灵测试。

vast是3d生成模型领域的第一梯队玩家,已打造全球最大的几个3d生成开源社区,并与stability共同开源了全球最大、0.5秒图生3d模型triposr。其创始人兼ceo宋亚宸也是首位在计算机图形学顶会siggraph上发表主舞台主题演讲的中国创业者。

据宋亚宸分享,vast的3d大模型tripo上线百余天内生成了超过200万个3d模型。为了应对3d生成创作成本和门槛过高的挑战,vast将3d内容平台和大众级创作者平台结合。当前这家创企已拥有超过200家b端客户,并基于其平台开发出原生ai爆款小游戏,一周突破10万用户

以下为宋亚宸的演讲实录:

aigc会使游戏的创作门槛和成本无限降低,这就是我们做的事情。

我们是做3d大模型的公司,产品核心就是将用户输入的文字或者图片快速生成3d模型。3d模型可以在游戏、动画、影视、元宇宙、3d打印等行业中直接使用,其本身带有mesh、贴图、材质,你可以进入传统管线二次编辑,进行驱动、渲染等。3d模型还可以拥有带骨骼、带动作等格式,出现很多种有意思的使用方式。

那么,我们为什么要做3d这件事?

文字、图片、视频、3d中,3d是非常特殊的品类,从文字、图片、视频到3d是信息载体不断升维的过程,3d也被认为是最终的信息载体,其信息密度、体验质量都在不断提升,同时拥有双向互动性。

因此,我们相信世界正在进入一个3d新时代。

一、3d生成迎新拐点,今年做到midjourney v5/v6水平

为什么现在做3d生成这件事情?openai的gpt-3刚发布时,关注的人并不多,在其基础上做的应用、开发也相对较少,仅有如replika等少数几个应用,大家对它的认知比较少,使其很难进行商业化。

直到2022年11月份,chatgpt的发布成为了一个非常大的拐点,我们称其为用户的aha moment(顿悟时刻)。这一产品对整个行业、逐步进行商业化、用户量提升都有很大的影响。

midjourney也类似,2022年7月份v3推出时,用户量并不多,也没有收费功能,知道midjourney的人寥寥无几。直到半年以后,midjourney于2022年11月份推出v4,我们认为这诞生了文生图的下一个拐点,在这个拐点上有了非常大的提升,其产品的用户量、收费方式、商业化等都得到了满足。

再来看3d,我们现在看到的3d生成,类似于midjourney v3的水平,但已经可以在一些场景使用起来了。

预计到今年9、10月份,3d生成可以达到midjourney v4的水平;今年年底可以达到类似于midjourney v5的水平,通过图灵测试,并带来一次非常大的商业变革。

从3d生成的演进过程来看,除了像我们这样的创业公司,谷歌、英伟达、openai、meta、adobe等海外企业都已进入到3d生成这个领域。

在学术上,我们从布局3d原生路线、2d优化路线、多视角生成、编辑动态场景到人物生成,在cvpr、iclr等国际顶会上都发表了大量论文,并开源了相应技术。

全世界最大的几个3d生成开源社区都是由我们做的,比如与stability ai共同开源了全世界最大、效果最好的图生 3d大模型triposr,我们还开源了全世界最大的3d算法框架threestudio、超火爆的单图生3d算法wonder3d,以及tgs、csd等开源项目。

我们预计2024年年底会把3d生成做到midjourney v5甚至v6的水平,达到下一个爆发时刻。

3d的核心在于可交互、可体验,甚至带一些游戏性。所以我们会同步做3d动态的内容生成,包括骨骼的自动绑定、动作生成,这已经在我们产品里上线。

同时,我们认为在明年或许会实现,每一个人都有能力去生成无限个属于自己的3d内容,不管是游戏、xr体验,还是任何的3d内容,这也是我们对整体3d内容生成趋势的判断。

二、3d创作门槛和成本太高,需要大众化3d内容平台

我们刚刚讲了很多ai 3d技术,但我更希望和大家分享我们是怎么把ai 3d玩起来的。

我们认为ai 3d是在拓展人类能力的边界。我随便在门口拉个人进来,让他给我发一个twitter,可能只需要5秒钟。我说你再给我发一个tiktok,他做一下剪辑,可能2分钟就能搞定。如果我让他做个游戏,他可能会说:“好,给我3年时间、1000个人、2亿美金,我给你做个游戏。”这是很正常的。

3d为什么这么特殊?是因为其创作门槛和成本太高,它没有诞生出一个属于自己的内容平台,同时也没有实现内容的爆发。

我为什么这么说?比如我刚刚举的例子,文字有微博、贴吧作为内容平台,图片有instagram、小红书作为内容平台,视频有tiktok、抖音、快手、youtube,音乐有spotify,甚至声音都有喜马拉雅,但是3d缺少大众的内容平台。核心就是生成门槛和成本太高了。

如果有一天我跟你说,发个小红书需要给我10万块钱、拍个tiktok需要3年,那你可能就不会发布内容了。因此,核心点在于3d内容成本高,如果需要1亿美金,我就得赚1亿美金回来,自然使得其内容非常少。

但如果有一天,3d内容的成本被降到无限接近于0,是不是每个人都可以低成本创作3d内容?这样一来,创作3d内容不再是为了赚钱,而是像发小红书一样,宣泄自己的情感、表达自己的想法、炫耀自己的创意,这可能是未来每个人制作3d内容、做虚拟世界、探索各种各样虚拟玩法最核心的诉求,不需要再考虑怎么赚钱。

3d创作者也会发生变化,不再是游戏大厂里面的建模师、动画师,可能是我们在座的每一位,所以我们在拓展人类的边界。

今天在大会上,我们在讲文生文、文生图、文生视频、文生音乐、文生声音等各种各样的生成方式,我今天也学习到了很多。但是我们看到人用键盘打字、用手机摄像头拍照、p图、拍视频、加滤镜等本身都是非常容易的事情,ai只是一个工具。

在所有的内容品类中,除了3d,ai提供的都是alternative(可被选择的),只有3d提供的是从0到1的过程,它拓展了人类的能力边界。

我们做3d生成就是希望降低用户创作的门槛和成本。并且,我们认为成本下降后,当3d出现自己的“手机摄像头”时,就意味着3d出现了类似于“抖音”和“快手”的机会。

因此,我们希望做一个属于自己的3d内容平台、自己的大众级别创作者工具。当大家不断使用这些创作者工具和内容平台时,我们就会有更多数据,从而形成数据飞轮,让更好的技术带来更好的产品体验、更多的用户带来更多的数据。

当然,我们面向的用户更为关键,同赛道的一些其他玩家对于拿ai 3d做什么,大家的答案可能各不相同。

对于我们而言,我们可以给好莱坞、横店、宝莱坞的导演、摄影师提供“手机摄像头”。但是“手机摄像头”给大家带来的可能是移动互联网时代的“收钱吧到账500块”。例如用“每刻报销”节省时间报销,省下来的时间你可以去拍小红书、拍tiktok,或者创作自己想要做的视频和图片内容。这件事情可能对于我们来说更关键。

虽然,我们也有很多游戏、动画、影视的应用,但长期来说,我们希望服务的是在座的、看直播的每一位,让每个人都有办法去创作3d内容。

三、生成3d模型超200万,ai原生小游戏一周突破十万用户

给大家讲一下我们产品上线的情况。

今年年初,我们上线了3d大模型tripo,百天内生成超过150万个模型,现在已经生成200万个模型。

这是什么概念?上个月在硅谷参加gtc,我们与全世界一些全球顶级的模型交易平台交流,这些平台积累了十几年,每个平台沉淀的模型大概有190万~200万个。而我们在短短三四个月就已经超过他们了,这就是aigc的力量。

看数据其实很难有感观,但确实看到社区中有很多很有意思的东西。一些kol、老版金沙app下载客户手机端的合作伙伴、有意思的创作者会和magnific等ai工具结合形成完整的工具流,然后将其放到《堡垒之夜》的ugc平台、roblox等场景中,展示给其他的创作者。欢迎大家关注老版金沙app下载客户手机端的twitter账号@tripoai。

在与游戏公司的合作方面,除腾讯、网易这样的游戏大厂,我们也会和5-10个人的游戏工作室合作。因为我们的出现,这些游戏公司不再烦恼没有足够的资金去招一线的美术团队、招十几个3d美术专家,现在他们只需要使用我们的3d生成能力,就可以快速完成角色设计、场景设计、关卡生成等工作,实现降本增效,打通其游戏的资产管线。

同时,很有意思的一点在于,它会出现一些原生ai玩法

例如tripogo小游戏,开发者仅用了不到一个月的时间开发,其玩法是你生成一个3d模型,我生成一个3d模型,然后互相打,谁打赢了就可以拿到对面的prompt(提示词)。比如你是“胡桃夹子抽雪茄”,我是“路易十四开法拉利”,我把你打赢之后,我就变成了“胡桃夹子抽着雪茄开法拉利”。

虽然这个小游戏的玩法并不复杂,但是第一天就拥有1万多个用户,一个礼拜之内突破了10万用户,这就是ai原生玩法的力量。

还有更多的展示,包括动画生成、场景生成等。很多年轻开发者动手能力非常强,基于我们的3d生成能力做了很多自动化工具,比如comfyui的节点、各个引擎的插件等等。他们也会开发自己的web app小游戏,并展现出来。

同时,我们还有苹果vision pro的应用,本质上就是你在虚拟世界里面,可以通过声音、文字、图片生成3d模型,生成后将它摆到任何地方,然后让它跳舞、跟你合照等。所谓的“言出法随”就是这样,每个人都变成了3d的“神笔马良”。

我们的slogan是为世界进文明,为人类造幸福。我们的官方网站tripo3d.ai现在可以免费注册,同时可以使用我们的开放平台。

以上是宋亚宸演讲内容的完整整理。

2024-08-27

2024-08-27

2024-08-27

2024-08-27

2024-08-27

2024-08-27

2024-08-27

2024-08-27

2024-08-27

2024-08-27


金沙娱场城app copyright © 2024 金沙娱场城app-老版金沙app下载客户手机端  北京智识时代科技有限公司  金沙娱场城app的版权所有 

网站地图