爱范儿 前天 15:47
Marble:李飞飞团队发布革命性3D世界生成模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

李飞飞团队的World Labs正式向公众开放了其3D世界生成模型Marble。Marble支持文本、单图、多图/视频、3D布局等多种输入方式,并集成了AI原生编辑功能,允许用户局部替换和调整3D世界结构。其“世界扩展”和“组合”功能可自动填充边缘并拼接场景,而“Chisel”工具则能通过方块框架快速生成不同风格的3D世界。Marble支持高斯点云、三角网格、视频等多种格式导出,可直接导入游戏引擎,极大地缩短了从概念到成品的周期,对传统3D建模行业带来深刻影响。

🌟 **多模态输入与AI原生编辑**:Marble支持通过文本描述、单张或多张图片、视频甚至3D布局来生成3D世界,极大地降低了创作门槛。更重要的是,它集成了AI原生编辑工具,用户可以轻松地进行局部内容替换(如移除物体)或结构调整(如改变场景布局),AI会智能处理光影和场景变化,实现对3D世界的深度改造。

🚀 **创新的“Chisel”工具与风格分离**:Chisel工具是Marble的一大亮点,它将3D世界的“结构”与“风格”彻底分离。用户首先使用基础几何体(如方块)搭建空间框架,然后通过文本描述来指定视觉风格(如“现代艺术博物馆”或“北欧卧室”),AI便能根据框架和风格描述填充细节,生成完整的3D世界。同一框架可根据不同风格描述生成截然不同的场景,效率极高。

🛠️ **全面的工具链与灵活导出**:Marble提供了一套完整的工具链,涵盖了从生成、编辑到扩展和组合的各个环节。生成后的3D世界支持多种格式导出,包括高保真的高斯点云(Gaussian Splats),适用于实时渲染;可导入游戏引擎的三角网格(Triangle Meshes),分为低精度碰撞网格和高精度渲染网格;以及支持像素级镜头控制并可AI增强的视频格式。这使得Marble生成的资产能无缝接入游戏开发、影视制作和VR内容创作等流程。

💰 **分级订阅定价策略**:Marble采用了分级订阅制,提供免费版供用户尝鲜,每月提供一定点数和基础功能。标准版、专业版和旗舰版则解锁更多点数、世界生成数量、高级功能(如Chisel模式、场景扩展、视频增强)以及商业使用授权。这种策略旨在吸引大量用户试用,并引导有生产需求的用户转向付费订阅,特别是专业版,旨在满足实际生产环境的需求。

Marble,终于来了。

没错,就是两个月前在 AI 圈刷屏的那个 3D 世界生成模型。李飞飞旗下的 World Labs 刚刚官宣向全体用户开放,还一次性放出了一大波新功能。

现在的使用门槛已经相当低。输入一段描述性文本,或者上传一张照片,AI 就能生成一个完整的 3D 世界。一套连招打下来,传统 3D 建模师可能得重新思考职业规划了……

附体验地址:https://marble.worldlabs.ai/

李飞飞放大招,一句话生成完整 3D 世界

先直接上案例,看看 Marble 在文本生成上的真实水平。

▲ 文本提示词:一个住过人的霍比特厨房,摆满了编织篮子和铜壶,沐浴在宁静的浅蓝色日光中

如图所示,一个完整的 3D 厨房场景就这样呈现在我们面前,木质家具、铜制器皿、光影细节,一应俱全。

更考验理解能力的来了。看看这个抽象描述:

▲文本提示词:一个融合中世纪餐厅美学与轨道科技的空间站厨房,拥有棋盘格地板和不锈钢装置,在柔和的水绿色灯光下熠熠生辉

面对这种跨越时空的混搭风格,AI 依然能准确拿捏。

我自己也做了一轮测试。尝试生成一个森林场景后发现,虽然苔藓贴图略显重复,但树干纹理细节清晰,林间若隐若现的雾气也营造出了应有的氛围感。

除了纯文本,Marble 还支持更丰富的创作方式:

我也测试了单图生成功能,上传一张普通房间的照片后,大约 6 分钟得到成品,仔细观察可以发现,和预览版一样,边缘形变问题还是比较严重,希望后续能够得到优化,但就作为一个初期产品来说,目前的完成度已经相当能打。

从灵活性来看,这套多模态输入的设计思路已经远超市面上大多数同类工具。

而生成只是第一步,更值得关注的是后续的编辑能力。

Marble 还是业内首款原生集成 AI 编辑工具的模型,可以对生成的世界进行深度改造。比如在局部替换中,想移除垃圾桶?一句话搞定,AI 会自动处理场景和光影变化。

如果想大幅调整结构,比如要把餐厅后墙改造成舞台,把桌子换成面向舞台的矮凳?也能轻松实现。换句话说,这种编辑不是简单的图片处理,而是真正理解 3D 空间结构之后的智能调整。

除此之外,「世界扩展」功能同样强大。生成的场景边缘部分有些模糊?点击「扩展」按钮,AI 会自动生成更多内容来填充那片区域。想要更大的空间?用「组合模式」把多个世界拼接起来。

官方演示里就拼出了一整列火车车厢。这套工具链用下来,从创意概念到成品交付的周期被大幅缩短。

如果说生成和编辑功能还算意料之中,那 Chisel 这个工具就有点降维打击的味道了。

简单来讲,Chisel 把「结构」和「风格」彻底分离:

更厉害的操作是,同一套框架,换个文本提示,能生成完全不同风格的场景。比如框架保持不变,提示词改为「现代艺术博物馆」,得到的是极简白墙配抽象画作。

▲ 一个美丽的现代艺术博物馆,铺有木质地板,馆内陈列着色彩斑斓的画作和曲线优美的雕塑。

又或者,框架保持不变,提示词改为「北欧卧室」,呈现的是温馨木质家具配冰川窗景。

▲ 一个宁静的斯堪的纳维亚风格客房卧室,窗外可欣赏到壮丽的冰川景色。

这种玩法有点像前端开发里 HTML 定结构、CSS 定样式的逻辑,但应用到 3D 建模领域就显得格外高效。正如 World Labs 联合创始人 Justin Johnson 在采访演示时说:「我可以直接选中代表沙发的 3D 块,拖动到别的位置。」

传统建模软件里需要调整许久的操作,在 Marble 里变成了拖拽方块……

此时此刻,建模师们的心情想必很复杂。

那么,创建完成的 3D 世界该如何使用?Marble 提供了三种导出方案:

▲ Marble 可以将生成的世界导出为高斯点云或三角网格模型。

官方新闻稿里的大部分视频,都是直接用 Marble 渲染生成的。通过串联这整套工具链串联,从概念到可用资产的流程被极大简化。

▲增强后的视频能够清除画面瑕疵,并为场景加入动态效果。注意烟囱上方的烟雾、跳动的火焰,以及流动的水面。

游戏开发者可以用 Marble 生成背景环境,导出到引擎里再添加交互逻辑;影视团队可以用它快速搭建场景预览,进行镜头规划;VR 内容创作者甚至可以直接把生成的世界放进 Vision Pro 或 Quest 3 里体验。

好家伙,兜兜转转我们还是回到了元宇宙。

定价策略方面,Marble 采用了分级订阅制:

显而易见,免费版的门槛足够低,能吸引大量用户试用。但想真正用于生产环境,基本上得选专业版。首月 1 美元的限时优惠也很有诱惑力,明摆着就是想让你先上车体验。

Marble 发布后,各方反应相当两极化。

Y Combinator CEO Garry Tan 在推特上直言:「李飞飞是一个传奇人物,而这次发布意义重大。」一些独立游戏开发者和 VR 创作者也在社交媒体上表态,认为 Marble 大幅降低了 3D 内容制作的门槛。

不过质疑声也不少。

最近的游戏开发者大会(GDC)调查显示,三分之一受访者认为生成式 AI 对游戏行业带来负面影响,比前一年上涨了 12%。关注点包括:知识产权侵权、能源消耗过高、AI 生成内容质量下降、导致行业裁员等。《

Wired》此前报道,包括 Activision Blizzard 在内的游戏公司,正在用 AI 压缩成本和应对人员流失。

面对这些质疑,Justin Johnson 的回应是:「Marble 不是用来完全替代游戏制作流程,而是为你提供可以直接使用的资产。」但实际情况会不会如他所说,还得看市场怎么用。

李飞飞的北极星:空间智能

就在 Marble 发布前几天,李飞飞专门发表了一篇长文阐述她的愿景——空间智能(Spatial Intelligence)。

核心观点可以总结为:

大语言模型虽然语言能力很强,但对物理世界几乎一无所知。它们无法准确估计距离、方向,无法在脑中「旋转」物体,也无法预测基本的物理规律。

对比之下,人类智能的核心不是语言,而是对三维空间的理解和操作能力。从驾驶汽车到接住钥匙,从设计建筑到发现 DNA 双螺旋结构——都依赖空间智能。

按照李飞飞的规划,空间智能的应用将分三个阶段:

博客中,李飞飞明确表达:「如果没有空间智能,我们对真正智能机器的梦想就无法实现。」

愿景是宏大的,但现实更复杂。

世界模型这个赛道,也不止 World Labs 一家在较劲。

目前市面上还有这么几位选手:Decart 推出了免费演示版,主打实时生成;Odyssey 同样提供免费试用,但功能较基础;Google Genie 还在研究预览阶段,尚未商业化。

对比之下,Marble 的核心优势说起来也挺明显。它生成的是持久化的完整 3D 世界,不是那种边探索边生成的模式,可以大幅减少变形和不一致的问题。

更关键的是,Marble 率先实现了商业化落地,免费版加付费订阅的模式已经开始变现。从工具链的完整度来看,Marble 也是最全面的,从生成到编辑再到导出,整个流程一气呵成,不需要在多个平台之间倒腾。

从 ImageNet 到空间智能,李飞飞的学术生涯一直在做同一件事:让机器理解视觉世界。ImageNet 教会了 AI「这是什么」。而 Marble 想教会 AI「这在哪里、如何运动、怎么交互」。

前者催生了深度学习革命。后者会不会引爆下一场范式转移?现在下结论还太早。但至少目前看来,这个方向足够性感,也足够硬核。

OpenAI 继续卷 LLM,李飞飞押注空间智能……这场技术路线的豪赌,胜负或许就在这几年揭晓。

#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博


Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Marble 3D世界生成 AI 李飞飞 World Labs 空间智能 3D建模 游戏开发 虚拟现实 3D World Generation AI Fei-Fei Li Spatial Intelligence 3D Modeling Game Development Virtual Reality
相关文章