36kr 08月12日
英伟达为机器人推出懂推理的“大脑”,升级版Cosmos世界模型来了
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

英伟达在SIGGRAPH大会上发布了全新升级的Cosmos世界模型,重点提升了机器人的规划能力和生成速度。新推出的Cosmos Reason是一个具备推理能力的视觉语言模型,可辅助机器人进行任务规划。同时,Cosmos Transfer-2及其精简版加速了虚拟场景到训练数据的转化。此外,英伟达还更新了Omniverse库、RTX PRO Blackwell服务器及DGX Cloud云平台,旨在构建一个集成的机器人开发生态系统。英伟达认为计算机图形学与AI的融合将深刻改变机器人领域,通过逼真的虚拟环境和强大的AI模型,降低机器人学习门槛,加速其落地应用。

✨ Cosmos世界模型迎来重大升级,聚焦规划能力与生成速度:英伟达推出了70亿参数的Cosmos Reason视觉语言模型,能够进行多步推理和任务规划,为机器人提供“大脑”支持;同时,Cosmos Transfer-2及其精简版通过简化蒸馏过程,显著加速了虚拟场景到训练数据的转换,提高了机器人训练效率。

🚀 软硬件协同发力,构建一体化机器人开发平台:英伟达发布了功能更强大的Omniverse新库与SDK,支持MuJoCo和OpenUSD数据兼容,并引入RTX光线追踪和3D高斯渲染技术,方便开发者进行三维重建和仿真。开源的Isaac Sim 5.0与Isaac Lab 2.2进一步缩小了虚拟与现实的差距。RTX PRO Blackwell服务器和DGX Cloud云平台则为大规模机器人训练和仿真提供了强大的硬件支持和便捷的云端访问。

💡 图形学与AI融合驱动机器人新纪元:英伟达看到了计算机图形学与人工智能深度融合的趋势,并认为这是推动机器人领域发展的关键。通过构建逼真、可扩展的“虚拟平行宇宙”,机器人得以在安全环境中反复试验和学习,从而降低开发成本,加速实际应用。

🇨🇳 深耕中国市场,与本土企业紧密合作:英伟达对中国机器人市场表现出浓厚兴趣,不仅将首批Jetson Thor芯片赠予银河通用,还与阿里云、北京人形机器人创新中心、傅利叶、智元机器人等国内多家企业达成深度合作,通过阿里云开放全栈机器人及物理AI组件,助力中国机器人产业发展。

老黄看好机器人,还真不是嘴上说说!

这不,就在正在举办的SIGGRAPH(计算机图形学)大会上,英伟达为机器人带来了全新升级的Cosmos世界模型

Cosmos主要被用来生成符合现实世界物理规律的合成数据,自发布以来,已被Figure、Agility Robotics、通用汽车等一众知名机器人和自动驾驶公司采用。

这次升级重点聚焦在规划能力生成速度两大方面:

除了软件更新,英伟达还几乎全面升级了机器人开发配套技术与硬件——包括全新的Omniverse库、RTX PRO Blackwell服务器,以及DGX Cloud云平台等。

英伟达人工智能研究副总裁Sanja Fidler表示:

AI正在提升我们的模拟能力,而模拟能力也在推动AI系统的发展。这两个领域之间存在着真实而强大的结合,这种结合很少有人能做到。

如今,英伟达正凭借一整套机器人开发基础设施,全力冲击这一融合新高地。

软硬件都更新了

还是先来看看具体都有哪些更新。

软件层面,仅7B大小的Cosmos Reason尤为值得一提。

官方表示,这个模型不仅具备扎实的物理理解能力,还能运用常识进行多步推理,能用作机器人的“大脑”。

通过记忆和推理,它可以作为一个规划模型,推理实体Agent下一步可能采取的步骤。

同时,英伟达还推出了加速合成数据生成的Cosmos Transfer-2及其更轻量的精简版,以此大幅缩短从虚拟场景或空间控制信息到训练数据的转换时间。

这当中的精简版,主要是将70步蒸馏过程简化为了1步,从而能在RTX PRO服务器上更高速地运行。

而为了配合这些模型,英伟达还发布了功能更强大的Omniverse新库与SDK,支持机器人开发者更便捷地进行三维重建、仿真及跨平台数据互通。具体则包括下面这些:

1、实现了MuJoCo和OpenUSD这两种机器人仿真格式的数据兼容,让大量开发者可以更方便地在不同平台之间进行机器人模拟。

2、引入Omniverse RTX光线追踪和3D高斯渲染技术,使开发者能够利用传感器数据以三维形式捕捉、重建并模拟现实世界。

3、在GitHub开源机器人仿真和学习工具Isaac Sim 5.0与Isaac Lab 2.2,结合了新渲染技术和统一的数据格式,帮助机器人开发者更好地缩小虚拟仿真和现实环境之间的差距。

总之,Cosmos+Omniverse作为一对黄金搭档(前者负责构建逼真、高效的三维仿真和数字孪生环境,后者则专注于提供强大的物理AI模型和智能推理能力),当二者一结合,最终就能为机器人训练生成更精确、更大规模的数据。

搞定数据之后,接下来还有硬件问题。

对此,英伟达也专门推出了RTX PRO Blackwell服务器,覆盖训练、合成数据生成、机器人学习与仿真等工作负载。

而且借助DGX Cloud,开发者可以随时随地通过云端高效运行Omniverse和Cosmos相关应用,轻松实现大规模仿真与训练任务,极大降低了硬件门槛和运维成本。(目前DGX Cloud已经上线微软云市场)

英伟达全力押注机器人领域

以上动作不难看出,英伟达正在大力布局机器人研发领域。

至于背后考量,官方以一篇最新博客进行了详细介绍,总结起来就是:

计算机图形与AI正在融合,将从根本上改变机器人领域

没错,以图形学发家的英伟达,正是由于看到了图形学和AI融合的趋势以及这种趋势对机器人领域的重要影响,才选择将机器人作为下一个关注重点。

举个例子,传统机器人训练依赖现实数据,获取成本高且受限,而计算机图形技术可以打造逼真的虚拟环境,结合AI实现物理精确的仿真。

如此一来,机器人学习各种技能的门槛和成本就被打下来了,从而更有可能加速机器人落地应用。

按照英伟达研究副总裁Ming-Yu Liu的观点,英伟达的目标是构建一个完整、逼真且可扩展的“虚拟平行宇宙”,让机器人能在其中安全反复试验、不断进化

物理AI需要一个逼真的虚拟环境,让机器人能够在这个安全的平行世界中反复试验、不断学习。

要打造这样一个虚拟世界,我们必须结合实时渲染、计算机视觉、物理运动模拟,以及2D和3D生成式AI与AI推理技术。这些正是英伟达研究团队过去二十年持续专注和不断打磨的核心领域。

显而易见,一旦这个“机器人虚拟世界”构建成功,英伟达也能将这套基础设施赋能给更多开发者和企业,帮他们更快地搞出各种机器人和AI应用。

这样一来,英伟达不仅能进一步稳固自己在图形领域的头把交椅,还能在具身智能时代继续担任“卖铲人”的角色。

嗯,多么熟悉的“套路”(doge)~

而且从老黄最近的一系列公开动作来看,他对咱们中国机器人属实尤为偏爱了。

不仅在各种场合夸夸,近来更是像曾经对待OpenAI那样(早期给OpenAI送超算),将首批Jetson Thor芯片送到了国产玩家银河通用手里。

此外,英伟达还正在和阿里云、北京人形机器人创新中心、傅利叶、加速进化、优必选、智元机器人等企业达成深度合作。阿里云更是宣布,英伟达全栈机器人及物理AI组件已通过其云端服务开放使用。

该说不说,英伟达在国内卖机器人铲子的生意算是逐渐打开局面了。

Cosmos开源地址:https://github.com/nvidia-cosmos

参考链接:

[1]https://techcrunch.com/2025/08/11/nvidia-unveils-new-cosmos-world-models-other-infra-for-physical-applications-of-ai/

[2]https://investor.nvidia.com/news/press-release-details/2025/NVIDIA-Opens-Portals-to-World-of-Robotics-With-New-Omniverse-Libraries-Cosmos-Physical-AI-Models-and-AI-Computing-Infrastructure/default.aspx

本文来自微信公众号“量子位”,作者:一水,36氪经授权发布。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

英伟达 机器人 Cosmos Omniverse AI
相关文章