摘要
2026 年 10 月 15 日,NVIDIA 正式发布 Nemotron 3.5 Super VL。这不是一次普通的模型版本更新,而是一次针对“企业级长时运行 Agent”的定向设计:120B 参数混合专家(MoE)架构,每个 token 只激活约 12B 参数;在单张 GPU 上,其 Agent 任务吞吐最高可达同尺寸开放模型的 5 倍,Baseten 端点上的生成速度超过 600 tokens/s。更重要的是,它把推理、指令遵循、工具调用与文本、图像、文档、视频理解合并进一个模型,试图替代过去“文本模型 + 视觉模型 + OCR 流水线”的拼装方案。
NVIDIA 同时开放了 base、post-trained 与 NVFP4 量化三类 checkpoint,以及训练配方、数据集和强化学习环境。企业可以用 NeMo 做 SFT、LoRA 和 RL 后训练。Scale AI、Ramp、AI21 等合作伙伴已经给出落地数据:推理成本最高下降 40 倍、延迟降低 5 至 10 倍、特定安全任务准确率提升 41%。本文将从技术架构、关键创新、性能表现和实际落地四个层面,判断它是否真的能成为企业 Agent 的新基座。
事件背景
过去一年,NVIDIA 的 Nemotron 3 家族逐渐形成分层:Ultra 负责复杂规划与编排,Lightning 负责高并发文本任务,而 Super VL 填补的是“需要同时看懂文字、表格、图表、截图和视频,还要调用工具完成多步任务”的中间地带。
这个定位来自企业需求的真实变化。早期的 Agent 大多是“文本进、文本出”,任务边界清晰;但当 Agent 开始处理报销单据、合同附件、财报图表、监控视频和软件界面时,单一文本模型会被迫依赖外部 OCR 或视觉模型。多模型拼接带来的问题很直接:上下文在系统之间被反复截断,视觉证据与推理链条脱节,工程团队还要维护多套推理服务和版本兼容。
Nemotron 3.5 Super VL 的发布,正是对这类工程痛点的回应。NVIDIA 在开发者博客中明确表示,目标用户是“始终在线、任务链更长、需要跨来源核验”的企业 Agent。模型权重、后训练数据与部署配方同步开放,也意味着它不只想卖 API,而是希望企业把模型跑在自己的数据中心、私有云或 DGX Spark 工作站上。

核心技术解析
技术架构
Nemotron 3.5 Super VL 采用 120B 参数的 MoE 架构,每个 token 激活约 12B 参数。这种设计的关键不在“总参数有多大”,而在于把模型容量与单次推理成本解耦:模型可以保留广泛的世界知识和多模态表征,但每次前向计算只唤醒一部分专家,从而把吞吐和延迟压到企业可接受的范围。
它的基座来自 Nemotron 3 Ultra 的蒸馏。NVIDIA 在蒸馏阶段使用了 SkewReverse loss,并保留 Ultra 的代码能力;后训练阶段采用多教师同策略蒸馏(MOPD),让不同教师分别对视频推理与跟踪、视觉工具使用、对齐质量打分。视觉训练覆盖图表、表格、OCR、多页文档和视频理解,语言与视觉组件通过两阶段 SFT 逐步对齐。
值得注意的还有多语言能力。NVIDIA 在继续预训练阶段加入了 100 亿 Indic token,并公开了约 2.8 万亿 token、覆盖 22 种印度语言的数据集,合作方包括 IIT Madras 与 AI4Bharat。这说明 Super VL 并非只面向英语企业市场,而是在为多语言文档密集型场景做准备。

graph TD
A[Nemotron 3 Ultra 基座] --> B[蒸馏与 SkewReverse Loss]
B --> C[两阶段 SFT: 语言 + 视觉]
C --> D[多教师同策略蒸馏 MOPD]
D --> E[Agent 轨迹与代码仓库训练]
E --> F[Indic 继续预训练 100 亿 token]
F --> G[后训练模型]
G --> H[NVFP4 量化 + QAD]
H --> I[Base / Post-trained / NVFP4 三类 Checkpoint]
关键创新点
第一,单一模型完成多模态 Agent 闭环。 Super VL 把文本、图像、文档、视频理解与推理、指令遵循、工具调用放进同一套参数中。对开发者而言,这意味着不必再为“读图”和“推理”维护两条链路,视觉证据可以直接进入推理上下文,减少信息在模型之间的丢失。
第二,LiLiCorr 并行投机解码。 传统投机解码往往独立评估候选 token,容易忽略候选之间的依赖关系。LiLiCorr 会在一次前向中对整个 draft 的 token 候选做联合评估,用一个轻量网络计算兼容性分数,再执行低成本的顺序选择。NVIDIA 表示,在 DGX Spark 上,它比不启用投机解码的 token 生成速度最高快 2.3 倍。
第三,NVFP4 量化与量化感知蒸馏。 在 Blackwell 架构上,模型使用 4-bit 权重与 4-bit 激活;在非 Blackwell 平台上,同一 checkpoint 可以退化为 4-bit 权重加 16-bit 激活。QAD 让量化模型在训练阶段学习匹配原始 BF16 模型的输出,并把 KV cache 也压缩到 NVFP4,从而在不增加推理开销的前提下缩小精度差距。
第四,多 token 预测(MTP)。 模型内置一个 drafter,一次提出多个候选 token,由主模型在一次前向中验证。NVIDIA 还设置了专门的 MTP-boosting 训练阶段,让 drafter 与最终模型更对齐,减少计算密集的验证步骤。
第五,跨 Agent 轮次的上下文复用。 Agent 会反复传入系统指令、工具定义和历史对话。Super VL 的 prefix caching 同时保留 attention cache 与 Mamba 循环状态,并增加 Mamba checkpoint 以减少投机解码时的重放,内部 checkpointing 则避免 prompt 处理阶段的额外前向。
性能评测
NVIDIA 公布的评测覆盖 Hermes、LangChain、OpenClaw、OpenCode、Pi、Codex 和 Claude 等多种 Agent harness。官方数据如下:
| 评测项 | Nemotron 3 Ultra | Nemotron 3.5 Super VL |
|---|---|---|
| Hermes Bench | 56.33% | 63.44% |
| LangChain Evals | 84.3% | 87.05% |
| CharXiv 图表理解 | — | 80.8%(结合 Python 达 84%) |
| 单 GPU Agent 吞吐 | — | 最高 5 倍于同尺寸开放模型 |
在图表理解上,Nemotron 3 Nano Omni 的 CharXiv 成绩为 63%,Super VL 提升到 80.8%;如果允许模型调用 Python 解释器辅助计算,成绩进一步达到 84%。在 OCRBench v2 榜单上,它也进入了开放模型前列。
吞吐方面,Baseten 端点上的生成速度超过 600 tokens/s;NVIDIA 称其凭更高的吞吐与 token 效率,任务完成速度可达到对照方案的 4 倍。EXO Labs 在 DGX Spark 上的独立评测则把它放到了“准确率—任务完成时间”的帕累托前沿。
合作伙伴的后训练结果更能说明问题。Scale AI 为 Skydance 定制供应商信用处理流程,推理成本下降 40 倍,延迟降低 5 倍;Ramp 用模型把收据图片转成结构化 JSON,预计吞吐提升最高 50%,延迟降低 10 倍;AI21 与 Alice 将其用于威胁情报与漏洞分析,准确率提升 41%。
行业影响
对市场的影响
Nemotron 3.5 Super VL 的直接冲击,是开放权重多模态模型开始正面进入企业 Agent 市场。过去,企业若想让 Agent 看懂文档和图表,通常要在闭源前沿模型、专用 OCR 服务和自研视觉模型之间做组合;现在,一个可下载、可后训练、可私有化部署的 120B MoE 模型提供了另一条路径。
对 NVIDIA 而言,开放模型并不意味着放弃商业利益。模型越能在企业私有环境中跑起来,对 GPU、NIM 推理微服务、Dynamo 分布式推理和 DGX Spark 工作站的依赖就越强。模型是入口,算力与软件栈才是长期收入来源。
对开发者的意义
开发者获得的不只是权重,还有一套可复用的后训练工具链:NeMo AutoModel 支持 SFT 与 LoRA,NeMo RL 与 NeMo Gym 支持强化学习和环境评估,Hugging Face 上还开放了工具调用、金融推理、长上下文、公平性以及 40 个视觉语言数据集。对于有行业数据但缺乏基座模型能力的团队,这显著降低了自建专用 Agent 的门槛。
挑战同样明显。120B 总参数即使只激活 12B,对显存、量化和服务编排仍有不低的要求;企业需要理解 NVFP4 在自身硬件上的精度表现,也要为长上下文、视频输入和工具调用设计新的评测集。后训练不是“喂数据”这么简单,数据质量、工具接口规范和政策约束都会直接影响最终效果。
商业化前景
从商业化角度看,Super VL 最适合的不是通用聊天,而是高价值、流程长、容错率可控的专业任务:金融单据处理、合同与财报审阅、安全告警分诊、软件测试与修复、视频内容审核。这些场景的共同点是单任务价值高、数据不能轻易出域、对延迟和成本敏感,恰好对应开放权重与推理优化的卖点。
真正的壁垒会从“模型能力”转向“数据与工作流”。当基座模型足够强,企业能否把内部术语、工具接口、审批政策和历史案例组织成高质量训练数据,决定了 Agent 能否从演示走向生产。
实际体验
以下场景基于 NVIDIA 官方博客、合作伙伴公开案例与 NeMo cookbook 的复现视角整理,不代表笔者对闭源生产系统的直接实测。
场景一:财务收据结构化。 Ramp 的做法是把收据图片输入模型,直接输出包含商户、日期、金额和支付信息的 JSON。这个任务看似简单,实际难点在于倾斜拍摄、模糊打印、多币种和手写批注。Super VL 的视觉理解与结构化输出合并后,减少了 OCR 与字段抽取之间的误差累积。Ramp 预计吞吐提升最高 50%,延迟降低 10 倍。
场景二:合同与财报图表分析。 传统流程要先 OCR,再把表格转成文本,最后交给语言模型推理。Super VL 可以直接把图表、表格和正文放在同一上下文里,让模型先定位视觉证据,再调用 Python 做计算。CharXiv 84% 的成绩说明,在允许工具辅助时,它对复杂图表的理解已经接近可用水平。
场景三:安全告警分诊。 AI21 与 Alice 把模型后训练用于威胁情报与漏洞分析,准确率提升 41%。这类任务需要同时读取日志、截图、漏洞描述和资产信息,多模态输入的价值在于保留原始证据,而不是依赖人工摘要。

graph TD
A[用户请求: 审阅合同并核对财报数据] --> B[Nemotron 3.5 Super VL]
B --> C{多模态理解}
C -->|正文与条款| D[文本解析]
C -->|表格与图表| E[视觉推理]
C -->|操作录屏| F[视频时序理解]
D --> G[工具调用与多步推理]
E --> G
F --> G
G --> H{政策与格式校验}
H -->|通过| I[输出结构化结论]
H -->|不通过| J[回退重试或转人工复核]
I --> K[写入企业业务系统]
优势与不足
优势:
- 多模态能力内置于单一模型,减少 OCR、视觉模型与文本模型之间的编排成本。
- MoE 架构把总参数与单 token 计算解耦,单 GPU 吞吐优势明显,适合高并发 Agent。
- NVFP4、QAD、MTP、LiLiCorr 与上下文复用形成组合拳,覆盖显存、延迟和长会话三类瓶颈。
- 开放权重、训练配方与数据集,企业可以做私有化后训练,数据不必出域。
- 合作伙伴案例覆盖金融、媒体、安全等不同行业,说明后训练路径具有可复制性。
不足:
- 120B 总参数对硬件仍有门槛,中小团队难以直接承担全精度部署与调优成本。
- 官方评测多由 NVIDIA 及其生态伙伴提供,独立第三方的大规模生产验证仍然有限。
- 多模态与 Agent 能力越强,越需要新的安全评估与权限隔离机制,模型卡和红队报告仍需持续补充。
- 长视频、低质量扫描件、多语言混合文档等边缘场景的实际表现,仍取决于企业自己的评测集。
总结与展望
Nemotron 3.5 Super VL 的意义,不在于又刷新了某个榜单,而在于它把“开放权重、多模态、Agent 效率”三个趋势压进了同一个工程产品。它让企业第一次可以认真考虑:把看懂文档、图表和视频的能力,部署在自己的机房里,而不是完全依赖闭源 API。
接下来值得关注三个方向。第一,开放多模态模型的后训练生态会快速分化,行业数据与工具接口将成为新的护城河。第二,推理优化会从单模型走向系统级编排,NIM、Dynamo 与 KV cache 管理的重要性会继续上升。第三,独立评测必须跟上,尤其是长时 Agent 的越权行为、工具调用错误和视觉幻觉,需要比传统 benchmark 更贴近生产的评估方法。
如果 NVIDIA 能持续补齐独立评测与安全透明度,Super VL 有机会成为企业多模态 Agent 的默认基座之一;但如果生态只停留在厂商自证,它的开放权重优势也可能被部署复杂度和信任成本抵消。
参考来源: