机器人 on 有鱼智界 | 森林有鱼

NVIDIA Cosmos 3深度评测：首个开源物理AI全能模型，机器人的'大脑'终于来了？

Fri, 05 Jun 2026 00:00:00 +0000

摘要

2026年5月31日，NVIDIA在GTC台北大会暨COMPUTEX 2026上正式发布了Cosmos 3——全球首个开源的物理AI全能基础模型（Omnimodel）。这款模型基于创新的Mixture-of-Transformers（MoT）架构，将视觉语言推理、世界模拟和机器人动作生成三大能力统一在单一模型中，使用20万亿token的多模态数据进行训练，包含近10亿张图像、4亿个真实和合成视频、环境音频、文本以及来自人类和机器人的动作数据。NVIDIA同时发布了"Super"和"Nano"两个版本，并成立了包括Agile Robots、Black Forest Labs和Runway在内的合作联盟。这标志着NVIDIA从芯片公司向物理AI平台公司的战略转型进入实质性阶段。

Cosmos 3标志着NVIDIA从芯片公司向物理AI平台公司的战略转型

事件背景

物理AI的"ChatGPT时刻"

自2023年大语言模型爆发以来，AI行业一直在追问一个问题：什么时候AI能真正理解并操控物理世界？ 语言模型能写代码、做翻译、聊天，但让一个机器人在陌生的厨房里倒一杯水，依然是极其困难的任务。

物理AI（Physical AI）是指能够感知、理解并在真实物理世界中自主行动的人工智能系统。这涵盖了机器人、自动驾驶汽车、智能工厂、智慧城市等应用场景。与纯数字AI不同，物理AI需要理解物体的物理属性（重量、摩擦力、弹性）、预测动态场景的演变（行人突然冲出、物体滑落），并生成精确的机械控制指令（关节角度、夹爪力度、运动轨迹）。

NVIDIA的战略布局

NVIDIA在物理AI领域的布局已有数年。2024年发布Isaac机器人平台，2025年初推出第一代Cosmos世界模型，但此前的Cosmos版本将世界生成、物理理解和场景控制分散在不同模型和工作流中。Cosmos 3的关键突破在于——将所有能力统一到一个模型中。

正如NVIDIA创始人兼CEO黄仁勋在GTC台北演讲中所说：“Cosmos 3是物理AI的’基础模型’，就像GPT之于自然语言处理。我们要让开发者能够更快地构建自主系统。”

核心技术解析

技术架构：Mixture-of-Transformers双塔设计

Cosmos 3最核心的技术创新是其Mixture-of-Transformers（MoT）双塔架构：

  graph TD
    A["多模态输入<br/>文本/图像/视频/音频/动作"] --> B["Reasoner Tower<br/>视觉语言模型（VLM）"]
    B -->|理解场景上下文| C["Generator Tower<br/>扩散模型生成器"]
    C --> D["视频生成"]
    C --> E["动作序列生成"]
    C --> F["场景描述生成"]
    C --> G["预测场景变化"]
    
    style B fill:#4A90D9,color:#fff
    style C fill:#7B68EE,color:#fff

Reasoner Tower（推理塔）：这是一个视觉语言模型（VLM），负责解读多模态观测数据——图像、视频、文本。它使用自回归架构来理解输入内容，分析运动、物体交互和其他物理上下文。这相当于模型的"大脑"，在任何生成操作之前先"理解"世界。

Generator Tower（生成塔）：基于推理塔的理解，使用扩散过程生成物理感知的视频和动作输出。推理塔可以独立运行，但生成塔在激活时会同时调用两个塔，确保生成结果具有物理合理性。

这种架构的最大优势在于——一个模型同时完成推理和生成任务，消除了多模型编排的复杂性。

关键创新点

1. 原生动作数据生成（Native Action Generation）

Cosmos 3不仅能生成图像和视频，还能直接输出数值化的动作数据：关节角度、夹爪位置、轨迹点等，精确描述机器人应该如何移动来完成任务。这是此前任何基础模型都不具备的能力。

2. 20万亿token多模态训练数据

训练数据规模令人瞩目：

近10亿张图像
4亿个真实和合成视频
环境音频数据
文本描述
来自人类示范和机器人遥操作的动作数据

3. 两个版本覆盖不同场景

版本	参数量	目标场景	部署要求
Cosmos 3 Super	大规模	高物理精度任务（机器人训练、自动驾驶）	数据中心级算力
Cosmos 3 Nano	16B	实时推理、工作站部署	NVIDIA RTX PRO 6000 GPU

4. 完全开源

NVIDIA采用Linux Foundation的OpenMDW 1.1许可证发布Cosmos 3，包括模型权重、训练脚本、部署工具和数据集全部开源。开发者可以在GitHub上获取代码，在Hugging Face上下载模型。

5. 后训练适配框架

Cosmos 3提供了完善的后训练（post-training）脚本，开发者可以针对特定机器人形态（Embodiment）、摄像头配置、工作环境或任务进行微调。NVIDIA的TAO 7工具套件提供了编码代理和自然语言提示的微调能力。

性能评测

根据NVIDIA官方技术报告和合作伙伴反馈：

机器人操控：Agile Robots使用Cosmos 3 Nano后训练的Policy模型在RoboLab（模拟环境语言引导任务测试）和RoboArena（真实DROID机器人环境对比）中均取得领先
视频生成：在自动驾驶和仓储安全场景中，生成的合成视频具有高度物理一致性
推理能力：作为VLM使用时，在物体检测、场景理解和密集描述方面表现出色
推理效率：Nano版本可在RTX PRO 6000 GPU上实现实时推理

Cosmos 3 Nano版本可在工作站级硬件上实现实时推理，降低物理AI开发门槛

行业影响

对市场的影响

Cosmos 3的发布对物理AI市场产生了多层面的冲击：

1. 降低物理AI开发门槛 此前，训练机器人策略模型需要大量真实世界数据，采集成本极高且难以规模化。Cosmos 3通过生成合成训练数据，使开发者能够"无限扩展"训练场景，显著降低数据获取成本。

2. 从芯片公司到平台公司的转型 NVIDIA正在复制其在GPU生态中的成功模式——不仅提供硬件，还提供从模型到工具链的完整软件栈。Cosmos 3 + Isaac平台 + Vera Rubin硬件，构成了物理AI的端到端解决方案。

3. 开源策略挤压竞争对手 通过完全开源，NVIDIA确保开发者生态围绕Cosmos构建，这对Google DeepMind的RT-2、Tesla的Optimus内部系统等闭源方案形成压力。

对开发者的意义

机遇：

首次获得开源的物理AI基础模型，可以在其基础上构建应用
后训练框架允许针对特定场景快速适配
NIM微服务提供优化的部署方案
丰富的cookbook和教程降低入门门槛

挑战：

即使Nano版本也需要RTX PRO 6000级别GPU，算力成本不低
物理AI的评估标准尚不成熟，难以量化模型性能
安全考量：生成的合成数据可能存在物理不准确性

商业化前景

  graph LR
    A["Cosmos 3 基础模型"] --> B["机器人操控"]
    A --> C["自动驾驶"]
    A --> D["智慧城市"]
    A --> E["工业安全"]
    A --> F["手术训练"]
    
    B --> B1["Agile Robots"]
    C --> C1["Waymo/Tesla"]
    D --> D1["交通监控"]
    E --> E1["仓储安全"]
    F --> F1["合成手术视频"]

NVIDIA已经组建了初始合作联盟，包括Agile Robots（人形机器人）、Black Forest Labs（AI图像生成）和Runway（AI视频工具）。更值得关注的是，NVIDIA的GEAR团队正在使用Cosmos 3开发视频-动作模型，帮助具身智能体在游戏、模拟和真实机器人环境中学习推理、移动和行动。

实际体验

使用场景演示

场景1：机器人Pick-and-Place 开发者可以使用Cosmos 3生成大量"抓取-放置"任务的合成数据，包括不同物体形状、光照条件和桌面布局的变体。Agile Robots已经使用这一方法为其Thor 3人形机器人和FR3协作臂生成多样化的任务轨迹。

场景2：自动驾驶仿真 Cosmos 3 Super可以从文本描述或视频输入生成多种驾驶场景的未来预测，包括行人突然横穿、前车急刹、恶劣天气等边界情况。这对于自动驾驶系统的安全验证至关重要。

场景3：仓储安全监控 在工厂和仓库中，Cosmos 3可以作为视觉AI代理的"大脑"，实时推理叉车行驶路径、预测碰撞风险、生成密集场景描述和安全告警。

优势与不足

优势：

首个将推理、生成和动作统一在单一模型中的开源方案
原生动作数据生成能力，直接输出机器人控制指令
完全开源，模型权重+训练脚本+工具链全部可用
20万亿token训练数据带来的丰富物理世界理解
Nano版本支持工作站级实时推理

不足：

硬件要求仍然较高，Nano也需要RTX PRO 6000
生成动作数据的精度在复杂灵巧操作中仍需提升
开源许可证虽然宽松，但Linux Foundation的OpenMDW 1.1仍是新许可证，行业认知度有限
缺乏与闭源竞品（如Google RT-2）的直接对比基准

总结与展望

Cosmos 3是物理AI领域的一个里程碑式发布。它第一次让开发者社区获得了一个开源的、全能的物理AI基础模型，将视觉推理、世界模拟和动作生成统一在一个架构中。

从战略角度看，这是NVIDIA从"卖铲子"（GPU）向"建生态"（平台+模型+工具）转型的关键一步。如果Cosmos生态能够像CUDA生态一样繁荣，NVIDIA将在物理AI时代占据与数字AI时代同样核心甚至更重要的位置。

展望未来，我们可以期待：

Edge版本即将推出，支持边缘设备本地运行
更多合作伙伴加入生态，推动模型在更多垂直领域的应用
后续版本可能在动作精度和多机器人协同方面有显著提升
开源社区的贡献将进一步丰富模型能力和训练数据

物理AI的"基础模型"时代，正式开始了。

参考来源：

OpenAI双线出击：Codex Sites变身企业应用工厂，机器人团队时隔6年重启

Fri, 05 Jun 2026 00:00:00 +0000

摘要

2026年6月初，OpenAI同时在数字世界和物理世界两条战线上发力，展现了其从"AI聊天工具"向"全栈AI平台“转型的雄心。在数字端，Codex for Business/Enterprise推出重大更新，Sites功能让非技术用户也能生成和托管交互式网站、应用、仪表盘和内部工具，将Codex从"编程助手"升级为”代理式工作产品生成器"。在物理端，OpenAI时隔6年重启机器人团队，由世界模拟研究项目负责人Aditya Ramesh领导，CEO Sam Altman明确愿景："让每个人都能拥有一个可以做任何事情的个人机器人。“这两个动作合在一起，勾勒出OpenAI的下一个十年蓝图：从屏幕到现实世界的全面AI化。

Codex Sites让非技术用户也能在浏览器中构建和托管交互式应用

事件背景

OpenAI的"全栈AI"野心

2025年以来，OpenAI一直在从"模型公司"向"产品公司"转型。ChatGPT是消费端的成功故事，但企业市场才是AI公司真正的收入引擎。2026年初，OpenAI宣布向AI Agent应用战略转型，并在4月正式推出了面向企业的Codex服务。

6月的这次更新是OpenAI企业战略的进一步深化。Codex不再只是"帮你写代码"的工具，而是一个能够生成完整工作产品的平台——包括可托管的网站、应用和仪表盘。

机器人团队的"前世今生”

OpenAI的机器人研究有着曲折的历史。2018-2020年，OpenAI曾有一个活跃的机器人团队，开发了Dactyl灵巧手机器人等项目。但2020年，该团队被关闭，资源转向大语言模型。

6年后，在大语言模型、多模态AI和世界模拟技术大幅进步的背景下，OpenAI认为重启机器人研究的时机已经成熟。更关键的是，Sora视频生成团队在2025年被关闭后，其世界模拟研究能力被整合到了Aditya Ramesh的领导下，为机器人团队的重启提供了技术基础。

核心技术解析

Codex Sites：从代码到应用

技术架构

  graph TD
    A["用户请求<br/>（自然语言描述）"] --> B["Codex Agent"]
    B --> C["代码生成"]
    B --> D["UI/UX 设计"]
    B --> E["数据集成"]
    
    C --> F["Sites 托管平台"]
    D --> F
    E --> F
    
    F --> G["交互式网站"]
    F --> H["内部工具"]
    F --> I["数据仪表盘"]
    F --> J["业务流程应用"]
    
    style B fill:#10A37F,color:#fff
    style F fill:#4A90D9,color:#fff

Codex Sites的核心创新在于将代码生成和应用托管整合在一个闭环中：

自然语言输入：用户用自然语言描述需要的应用（如"创建一个项目进度跟踪仪表盘"）
AI代理生成：Codex Agent生成完整的前端+后端代码
Sites托管：生成的应用自动部署到企业内部环境，生成可访问的URL
角色插件：支持role-specific插件，针对不同岗位（产品经理、数据分析师、设计师）优化交互
注释与协作：团队成员可以在应用上添加注释，进行协作迭代

关键能力

超越编程的应用构建：

内部工具：HR管理面板、审批流程自动化、员工入职向导
数据仪表盘：销售数据可视化、KPI跟踪、实时监控
高管材料：交互式演示文稿、数据分析报告
品牌约束创意：在品牌指南约束下生成营销素材
业务工作流：随业务需求变化的动态工作流应用

企业级安全与治理：

所有应用部署在企业身份验证和权限体系内
支持公司IT策略和合规要求
非技术用户可以安全地请求、检查、使用和更新应用

机器人团队重启

团队结构

负责人：Aditya Ramesh（世界模拟研究项目负责人）
技术基础：此前被整合的Sora团队世界模拟能力
招聘方向：硬件工程师、运维工程师、系统工程师、机器学习工程师

技术路线

  graph TD
    A["短期目标"] --> B["帮助专业人员<br/>建设基础设施"]
    A --> C["中期目标"]
    A --> D["长期目标"]
    
    C --> C1["探索替代AI技术路径<br/>获取具身训练数据"]
    D --> D1["通用机器人<br/>推动AGI进步"]
    
    style B fill:#10A37F,color:#fff
    style C1 fill:#F5A623,color:#fff
    style D1 fill:#D0021B,color:#fff

Sam Altman在X平台上阐述了清晰的路线图：

短期（1-2年）：机器人首先帮助专业人员建设基础设施——建筑施工、电网安装、工厂装配等。这些领域的劳动力短缺严重，AI机器人的经济价值最直接。

中期（3-5年）：通过具身AI获取独特的训练数据，探索大语言模型之外的替代AI技术路径。这是一个重要的技术信号——OpenAI可能认为纯粹的文本/视觉训练不足以达到AGI，需要从物理交互中学习。

长期（5-10年）：开发通用机器人，能够执行任何人类能做的物理任务，成为推动AGI进步的关键力量。

与NVIDIA Cosmos 3的差异化

值得注意的是，OpenAI的机器人战略与NVIDIA的Cosmos 3走了不同的技术路线：

维度	OpenAI 机器人	NVIDIA Cosmos 3
定位	端到端自主机器人产品	开源物理AI基础模型
方法	可能结合大语言模型+世界模拟	Mixture-of-Transformers统一架构
数据	利用Sora世界模拟能力生成训练数据	20万亿token多模态训练数据
商业模式	机器人产品/服务	模型+芯片+平台
开放性	预计闭源	完全开源

关键创新点

1. Codex的"工作产品"范式转变

传统的AI编程助手（Copilot、Cursor等）输出的是代码片段，开发者需要自己组装、测试、部署。Codex Sites的输出是完整可用的应用——部署好了、可以访问、可以直接使用。这是一个从"代码助手"到"应用工厂"的质变。

2. 非技术用户的应用构建民主化

Sites的真正革命性在于目标用户的扩展——从开发者到所有企业员工。产品经理可以请求一个数据仪表盘，HR可以创建一个入职向导，销售可以构建一个客户提案工具。这直接挑战了低代码/无代码平台（如Retool、Bubble、Appsmith）的市场。

3. 具身AI作为AGI路径

OpenAI重启机器人团队的最深层动机可能不是制造机器人产品，而是探索具身AI（Embodied AI）作为通向AGI的路径。通过与物理世界的交互，AI可能获得纯文本/视觉训练无法提供的认知能力——因果推理、空间理解、时间感知等。

OpenAI重启机器人团队，探索具身AI作为通向AGI的新路径

行业影响

对市场的影响

1. 低代码/无代码平台的生存危机

Codex Sites直接威胁传统低代码/无代码平台的核心价值主张。如果AI可以直接从自然语言生成完整应用，那么拖拽式界面的必要性将大幅降低。Retool、Bubble、Appsmith等平台面临被"跳过"的风险。

2. AI编程工具市场的重新定义

Codex Sites将AI编程工具的竞争从"谁的代码补全更好"推向"谁能生成更完整的可部署应用"。GitHub Copilot、Cursor、Windsurf等竞品需要重新思考产品方向。

3. 机器人赛道的竞争加剧

OpenAI重启机器人团队增加了该赛道的竞争强度。现有玩家包括：

Tesla Optimus：已在工厂内部测试
Figure AI：获得OpenAI投资的独立机器人公司
Boston Dynamics：硬件能力最强但AI能力相对薄弱
Google DeepMind：RT-2等模型已有研究积累

对开发者的意义

机遇：

Codex Sites可以作为快速原型工具，大幅缩短从想法到可用应用的时间
企业内部的"影子IT"问题可能得到缓解——AI生成的应用在企业安全体系内
开发者可以将Codex生成的应用作为起点，进行二次开发

挑战：

非技术用户生成的应用可能存在安全隐患和代码质量问题
AI生成应用的可维护性存疑——当需要修改时，非技术用户是否能有效指导AI
可能导致技术债务积累——大量AI生成的应用缺乏文档和标准化

商业化前景

  graph TD
    A["OpenAI 双线战略"] --> B["数字世界<br/>Codex Sites"]
    A --> C["物理世界<br/>机器人"]
    
    B --> B1["企业订阅<br/>Codex for Business"]
    B --> B2["低代码替代<br/>Sites托管服务"]
    
    C --> C1["短期：基建机器人"]
    C --> C2["中期：数据+技术探索"]
    C --> C3["长期：通用机器人"]
    
    B1 --> D["收入引擎<br/>（1-3年）"]
    C1 --> D
    C3 --> E["AGI推动力<br/>（5-10年）"]

实际体验

使用场景演示

场景1：产品经理构建数据仪表盘 一位产品经理需要跟踪产品发布进度。以前需要找开发团队排期，现在只需对Codex说：“创建一个仪表盘，显示最近30天的用户注册趋势、功能采用率和错误报告数据。“Codex生成一个包含图表、过滤器和数据连接的交互式仪表盘，部署在企业内部URL上。

场景2：HR创建入职向导 HR团队可以创建一个交互式的新员工入职应用，包含公司文化介绍、政策文档、IT设备设置指南和团队介绍。所有步骤通过AI生成，无需开发人员参与。

场景3：机器人辅助基础设施建设 在短期愿景中，OpenAI的机器人可以帮助专业人员进行重复性的基础设施建设任务——如电缆布线、管道安装、标准化零件装配。这些任务的共同特点是：劳动密集、技能要求可标准化、劳动力严重短缺。

优势与不足

优势：

Codex Sites实现了从代码到应用的闭环，降低了企业应用构建门槛
企业级安全和治理，所有应用在企业权限体系内
机器人团队的重启展示了OpenAI的长期技术视野
结合Sora的世界模拟能力，机器人训练数据生成有独特优势

不足：

Codex Sites目前仅面向Business和Enterprise用户，普通用户无法使用
AI生成的应用质量高度依赖用户描述的精确度
机器人团队的成果至少需要1-2年才能看到实质性进展
硬件方面的能力积累相对薄弱，可能需要收购或合作

总结与展望

OpenAI在2026年6月的双线出击，展示了一个清晰的战略图景：

在数字世界，Codex Sites正在重新定义"AI编程工具"的含义。从代码补全到完整应用生成，从服务开发者到服务所有企业员工，这是一个产品范式的跃迁。如果Sites能够在企业环境中稳定运行并保证应用质量，它将深刻改变企业软件的构建方式。

在物理世界，机器人团队的重启反映了OpenAI对AGI路径的深层思考。纯数字AI可能不足以实现真正的通用智能，通过与物理世界的交互获得新的认知能力，可能是一条必要的补充路径。

将这两个方向结合起来看，OpenAI的长期愿景正在浮现：一个能够理解、操控数字世界和物理世界的通用AI系统。这不仅是技术愿景，更是一个关于AI未来的宏大赌注。

参考来源：