昆仑万维 2025-09-09 22:10 北京

🌟 Matrix-3D 是昆仑万维开源的 3D 世界生成模型,能从单图像生成高质量全景视频和可漫游的三维空间。
🔗 该模型在多个评估指标上优于现有方法,并支持更大范围的探索空间和高度可控的生成效果,可用于游戏、影视、虚拟现实等领域。
🚀 Matrix-3D 的开源体现了昆仑万维在 3D 世界生成领域的领先地位,也推动了空间智能技术的发展。
🌐 Matrix-3D 的发布是昆仑万维在 AGI 路径上的关键动作,符合其 'All in AGI 与 AIGC' 的战略规划。
🤖 Matrix-3D 的出现,进一步提升了昆仑万维在世界模型与空间智能赛道上的竞争优势。
昆仑万维 2025-09-09 22:10 北京
3D生成的行业新标杆,这一次由国产玩家树立。
万万没想到,这样一个堪比游戏全景视角的场景,竟然只由一张图片生成?!
在360°自由环视下,由亭子一隅延伸出的画面始终保持内容一致:
面对更考验几何、色彩能力的场景,也能生成比较真实自然的3D世界。
仔细看,画面所呈现的几何关系(如位置、大小、形状)和遮挡关系基本挑不出毛病,不同区域的颜色也没有突兀的地方。
更神奇的是,我们还能随心所欲控制运动轨迹。
比如先让图片来个直行:
然后立马再来个蛇形走位,拐一个S弯:
甚至,对比李飞飞World Labs团队所采用的方法,新模型还支持更大范围的移动。
原图是酱婶儿的:
李飞飞World Labs团队让这张图的视角逐渐推进,最终生成结果如下:
而Matrix-3D新模型生成的场景明显更为丰富,全景视角下空间感也更为强烈。
Matrix-3D是国产玩家昆仑万维最新推出的3D世界生成框架。作为一个融合全景视频生成与3D重建的统一框架,它从单图像出发,能够生成高质量、轨迹一致的全景视频,并直接还原可漫游的3D空间。
官方测评显示,Matrix-3D在多个主流评估指标上优于360DVD、Imagine360和GenEx,取得全景视频生成任务的SOTA成绩。同时,在相机轨迹引导下的生成任务中,Matrix-3D也在视觉质量和相机可控性方面超越现有方法。
那么,Matrix-3D是如何从一众竞争对手中脱颖而出的呢?
事实上,Matrix-3D并非昆仑万维第一次在世界模型领域大秀肌肉~
早在今年2月,这家公司就推出全新自研的世界模型——Matrix系列,成为中国第一家同时推出3D场景生成、可交互视频生成模型的探索空间智能的企业。
今年5月13日,昆仑万维也正式开源了(17B+)Matrix-Game大模型,即Matrix-Zero世界模型中的可交互视频生成大模型。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地,也是工业界首个开源的10B+空间智能大模型,它是一个面向游戏世界建模的交互式世界基础模型,专为开放式环境中的高质量生成与精确控制而设计。
如今几个月过去,Matrix-3D算是昆仑万维在确立领先优势后持续投入、不断优化的阶段性成果。
并且这一次,从效果和技术突破两方面来看,Matrix-3D的优势还在扩大。
从比较直观的生成效果来看,Matrix-3D目前具备以下核心优势:
场景全局一致:支持360°自由视角浏览,几何结构准确、遮挡关系自然,纹理风格统一。
生成场景范围大:与现有场景生成方法相比,支持更大范围的、可360°自由探索的场景生成。
生成高度可控:同时支持文本和图像输入,结果与输入高度匹配,支持自定义范围与无限扩展。
泛化能力强:基于自研3D数据与视频模型先验,可生成丰富多样的高质量场景。
生成速度快:首个Feed-Forward(前馈神经网络)全景3D场景生成模型,生成速度更快。
首先,Matrix-3D最极简的玩法是,开局只给它一张参考图(然后还你整片森林bushi。
咔咔一顿输出后,不仅能看到镜头环绕石堆的全景效果(补全了河流、白云等周围环境),而且连每一块石头的物理光影也能随之正确变换。给图片加上提示词,沉浸式体验游戏的feel立马出来了。
一个方块像素化的景观,包含山脉、树木、水体、天空、云朵,类似《我的世界》风格,高分辨率,色彩鲜艳,纹理细节丰富,氛围宁静。
虽然只提供了某一帧画面,但它也能轻松还原整个场景,形成了一个可供玩家自由探索的游戏世界。
是不是很有《我的世界》内味儿了~
与此同时,正如开头提到的,Matrix-3D还支持玩家自由控制运动轨迹。
仅“看一眼”某个山坡的局部图,再结合用户提供的轨迹图,就能从各种方位开启第一视角爬山之旅。
而且不止S弯和直行,切换成其他轨迹也是OK的。(比如右前方前进)
值得一提的是,Matrix-3D还支持将全景视频转化为3D世界。
如此一来,我们就能直接对图片展开自由探索:
最后更关键的是,Matrix-3D还支持无限续写。就是说,当用户生成一段场景后,还可以在此基础上对场景进行扩写。
跳过参考图和提示词,第一段be like:
基于第一段,镜头继续来到旁边的另一座研究基地。
可以看到,整个基地的面貌更完整了,而且没有丢失第一段中的关键素材(如第一座基地中分散在各角落的人)。
如此“俄罗斯套娃”后,最终用户将得到一个贴近提示词的科幻大片场景:
一座建在冰川上的未来研究基地,配有发光穹顶和先进机械,四周环绕着冰封景观,具有科幻美学风格,画面极为细致精美。
顺带一提,Matrix-3D提供两种场景重建方案——基于前馈神经网络的方案10s即可完成场景重建,而基于3DGS优化的方案可重建出更精细逼真的场景。
小结一下,Matrix-3D能树立行业新标杆,正是因为它在生成质量上实现了多项关键进步。
而且不止模型能力变强,从技术方面看,背后还蕴藏着团队对多项行业技术难题的成功突破。
包括但不限于下面这些:
相比基于透视图训练的主流思路,全景图可以突破视觉范围限制;
相比主流的点云渲染策略,网格渲染能有效提升几何一致性和色彩一致性;
基于前馈式网络的3DGS优化策略,能加速3D生成;
利用合成数据,3D场景数据稀缺的问题能够得到解决;
……
凭借产品+技术的双重优势,Matrix-3D再次刷新3D世界生成的行业标杆。
以上不难看出,昆仑万维确实在3D世界生成领域投入了大量心血。
而这一切背后,实则蕴藏着他们对“空间智能”这一前沿技术领域的更大野心。
何谓空间智能?简单来说,就是让机器突破传统二维视觉的限制,能够像人类一样感知、理解并作用于三维空间。
根据量子位智库发布的报告,目前它实际上分为两个层面:物理的三维世界和数字的三维世界。
在数字世界里,空间智能的代表应用即为3D场景生成,以李飞飞World Labs、腾讯HunyunWorld-1.0为代表(当然也包括Matrix-3D),这些应用通过生成高质量的3D内容,为VR虚拟现实、游戏开发和影视制作等领域提供强大的技术支持。
而在物理世界,空间智能的应用主要体现在自动驾驶、具身智能领域。这些场景在强调感知与理解的同时,更加注重“行动”能力,对交互性的要求也更高。
例如,自动驾驶汽车需要实时感知周围环境并做出决策,具身智能机器人需要在复杂环境中进行物理交互。
而最终,其目标是构建世界模型,即通过数字化的方式模拟和预测物理世界的运行规律,实现完美“人机交互”。
总而言之,对各行各业来说,空间智能普遍被视为“实现AGI的关键一步”,属于那种“有条件要上,没有条件创造条件也要上”的核心技术。
具体到昆仑万维,实际上Matrix-3D的出现并非偶然,而是其长期战略布局与技术积淀的自然成果。
昆仑万维Matrix系列世界模型正是其在AGI路径上的关键动作,包括5月正式开源的「可交互视频生成Matrix-Game大模型」,以及今天同样开源的「Matrix-3D大模型」——通过3D世界的自动生成,赋能AI对空间的识别与理解能力,这代表着其在“空间智能”方向上的重要探索。
这也符合昆仑万维一直以来的“All in AGI与AIGC”战略规划。
过去三年,他们在视觉多模态、深度学习、强化学习等核心技术领域持续投入,先后推出了多项重磅产品与平台。
包括天工超级智能体(Skywork Super Agents)、AI音乐创作平台Mureka、AI短剧平台SkyReels、AI社交产品Linky等,形成了“AI前沿基础研究——基座模型——AI矩阵产品/应用”的全栈式AI产业链。
其中,空间智能作为多模态发展的延伸方向,已成为不可或缺的一环。
Matrix-3D的出现,正是这一战略体系向“空间理解”能力进一步延伸的体现。它不仅整合了公司在多模态模型方面的技术积累,也进一步提升了昆仑万维在世界模型与空间智能赛道上的竞争优势。
AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。
鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑