NVIDIA Nemotron 3.5 Super VL 深度评测:120B 开源多模态模型能否重定义企业 Agent?

Mon, 19 Oct 2026 00:00:00 +0000

摘要

2026 年 10 月 15 日，NVIDIA 正式发布 Nemotron 3.5 Super VL。这不是一次普通的模型版本更新，而是一次针对“企业级长时运行 Agent”的定向设计:120B 参数混合专家(MoE)架构，每个 token 只激活约 12B 参数;在单张 GPU 上，其 Agent 任务吞吐最高可达同尺寸开放模型的 5 倍，Baseten 端点上的生成速度超过 600 tokens/s。更重要的是，它把推理、指令遵循、工具调用与文本、图像、文档、视频理解合并进一个模型，试图替代过去“文本模型 + 视觉模型 + OCR 流水线”的拼装方案。

NVIDIA 同时开放了 base、post-trained 与 NVFP4 量化三类 checkpoint，以及训练配方、数据集和强化学习环境。企业可以用 NeMo 做 SFT、LoRA 和 RL 后训练。Scale AI、Ramp、AI21 等合作伙伴已经给出落地数据:推理成本最高下降 40 倍、延迟降低 5 至 10 倍、特定安全任务准确率提升 41%。本文将从技术架构、关键创新、性能表现和实际落地四个层面，判断它是否真的能成为企业 Agent 的新基座。

事件背景

过去一年，NVIDIA 的 Nemotron 3 家族逐渐形成分层:Ultra 负责复杂规划与编排，Lightning 负责高并发文本任务，而 Super VL 填补的是“需要同时看懂文字、表格、图表、截图和视频，还要调用工具完成多步任务”的中间地带。

这个定位来自企业需求的真实变化。早期的 Agent 大多是“文本进、文本出”，任务边界清晰;但当 Agent 开始处理报销单据、合同附件、财报图表、监控视频和软件界面时，单一文本模型会被迫依赖外部 OCR 或视觉模型。多模型拼接带来的问题很直接:上下文在系统之间被反复截断，视觉证据与推理链条脱节，工程团队还要维护多套推理服务和版本兼容。

Nemotron 3.5 Super VL 的发布，正是对这类工程痛点的回应。NVIDIA 在开发者博客中明确表示，目标用户是“始终在线、任务链更长、需要跨来源核验”的企业 Agent。模型权重、后训练数据与部署配方同步开放，也意味着它不只想卖 API，而是希望企业把模型跑在自己的数据中心、私有云或 DGX Spark 工作站上。

核心技术解析

技术架构

Nemotron 3.5 Super VL 采用 120B 参数的 MoE 架构，每个 token 激活约 12B 参数。这种设计的关键不在“总参数有多大”，而在于把模型容量与单次推理成本解耦:模型可以保留广泛的世界知识和多模态表征，但每次前向计算只唤醒一部分专家，从而把吞吐和延迟压到企业可接受的范围。

它的基座来自 Nemotron 3 Ultra 的蒸馏。NVIDIA 在蒸馏阶段使用了 SkewReverse loss，并保留 Ultra 的代码能力;后训练阶段采用多教师同策略蒸馏(MOPD)，让不同教师分别对视频推理与跟踪、视觉工具使用、对齐质量打分。视觉训练覆盖图表、表格、OCR、多页文档和视频理解，语言与视觉组件通过两阶段 SFT 逐步对齐。

值得注意的还有多语言能力。NVIDIA 在继续预训练阶段加入了 100 亿 Indic token，并公开了约 2.8 万亿 token、覆盖 22 种印度语言的数据集，合作方包括 IIT Madras 与 AI4Bharat。这说明 Super VL 并非只面向英语企业市场，而是在为多语言文档密集型场景做准备。

  graph TD
    A[Nemotron 3 Ultra 基座] --> B[蒸馏与 SkewReverse Loss]
    B --> C[两阶段 SFT: 语言 + 视觉]
    C --> D[多教师同策略蒸馏 MOPD]
    D --> E[Agent 轨迹与代码仓库训练]
    E --> F[Indic 继续预训练 100 亿 token]
    F --> G[后训练模型]
    G --> H[NVFP4 量化 + QAD]
    H --> I[Base / Post-trained / NVFP4 三类 Checkpoint]

关键创新点

第一，单一模型完成多模态 Agent 闭环。 Super VL 把文本、图像、文档、视频理解与推理、指令遵循、工具调用放进同一套参数中。对开发者而言，这意味着不必再为“读图”和“推理”维护两条链路，视觉证据可以直接进入推理上下文，减少信息在模型之间的丢失。

第二，LiLiCorr 并行投机解码。 传统投机解码往往独立评估候选 token，容易忽略候选之间的依赖关系。LiLiCorr 会在一次前向中对整个 draft 的 token 候选做联合评估，用一个轻量网络计算兼容性分数，再执行低成本的顺序选择。NVIDIA 表示，在 DGX Spark 上，它比不启用投机解码的 token 生成速度最高快 2.3 倍。

第三，NVFP4 量化与量化感知蒸馏。 在 Blackwell 架构上，模型使用 4-bit 权重与 4-bit 激活;在非 Blackwell 平台上，同一 checkpoint 可以退化为 4-bit 权重加 16-bit 激活。QAD 让量化模型在训练阶段学习匹配原始 BF16 模型的输出，并把 KV cache 也压缩到 NVFP4，从而在不增加推理开销的前提下缩小精度差距。

第四，多 token 预测(MTP)。 模型内置一个 drafter，一次提出多个候选 token，由主模型在一次前向中验证。NVIDIA 还设置了专门的 MTP-boosting 训练阶段，让 drafter 与最终模型更对齐，减少计算密集的验证步骤。

第五，跨 Agent 轮次的上下文复用。 Agent 会反复传入系统指令、工具定义和历史对话。Super VL 的 prefix caching 同时保留 attention cache 与 Mamba 循环状态，并增加 Mamba checkpoint 以减少投机解码时的重放，内部 checkpointing 则避免 prompt 处理阶段的额外前向。

性能评测

NVIDIA 公布的评测覆盖 Hermes、LangChain、OpenClaw、OpenCode、Pi、Codex 和 Claude 等多种 Agent harness。官方数据如下:

评测项	Nemotron 3 Ultra	Nemotron 3.5 Super VL
Hermes Bench	56.33%	63.44%
LangChain Evals	84.3%	87.05%
CharXiv 图表理解	—	80.8%(结合 Python 达 84%)
单 GPU Agent 吞吐	—	最高 5 倍于同尺寸开放模型

在图表理解上，Nemotron 3 Nano Omni 的 CharXiv 成绩为 63%，Super VL 提升到 80.8%;如果允许模型调用 Python 解释器辅助计算，成绩进一步达到 84%。在 OCRBench v2 榜单上，它也进入了开放模型前列。

吞吐方面，Baseten 端点上的生成速度超过 600 tokens/s;NVIDIA 称其凭更高的吞吐与 token 效率，任务完成速度可达到对照方案的 4 倍。EXO Labs 在 DGX Spark 上的独立评测则把它放到了“准确率—任务完成时间”的帕累托前沿。

合作伙伴的后训练结果更能说明问题。Scale AI 为 Skydance 定制供应商信用处理流程，推理成本下降 40 倍，延迟降低 5 倍;Ramp 用模型把收据图片转成结构化 JSON，预计吞吐提升最高 50%，延迟降低 10 倍;AI21 与 Alice 将其用于威胁情报与漏洞分析，准确率提升 41%。

行业影响

对市场的影响

Nemotron 3.5 Super VL 的直接冲击，是开放权重多模态模型开始正面进入企业 Agent 市场。过去，企业若想让 Agent 看懂文档和图表，通常要在闭源前沿模型、专用 OCR 服务和自研视觉模型之间做组合;现在，一个可下载、可后训练、可私有化部署的 120B MoE 模型提供了另一条路径。

对 NVIDIA 而言，开放模型并不意味着放弃商业利益。模型越能在企业私有环境中跑起来，对 GPU、NIM 推理微服务、Dynamo 分布式推理和 DGX Spark 工作站的依赖就越强。模型是入口，算力与软件栈才是长期收入来源。

对开发者的意义

开发者获得的不只是权重，还有一套可复用的后训练工具链:NeMo AutoModel 支持 SFT 与 LoRA，NeMo RL 与 NeMo Gym 支持强化学习和环境评估，Hugging Face 上还开放了工具调用、金融推理、长上下文、公平性以及 40 个视觉语言数据集。对于有行业数据但缺乏基座模型能力的团队，这显著降低了自建专用 Agent 的门槛。

挑战同样明显。120B 总参数即使只激活 12B，对显存、量化和服务编排仍有不低的要求;企业需要理解 NVFP4 在自身硬件上的精度表现，也要为长上下文、视频输入和工具调用设计新的评测集。后训练不是“喂数据”这么简单，数据质量、工具接口规范和政策约束都会直接影响最终效果。

商业化前景

从商业化角度看，Super VL 最适合的不是通用聊天，而是高价值、流程长、容错率可控的专业任务:金融单据处理、合同与财报审阅、安全告警分诊、软件测试与修复、视频内容审核。这些场景的共同点是单任务价值高、数据不能轻易出域、对延迟和成本敏感，恰好对应开放权重与推理优化的卖点。

真正的壁垒会从“模型能力”转向“数据与工作流”。当基座模型足够强，企业能否把内部术语、工具接口、审批政策和历史案例组织成高质量训练数据，决定了 Agent 能否从演示走向生产。

实际体验

以下场景基于 NVIDIA 官方博客、合作伙伴公开案例与 NeMo cookbook 的复现视角整理，不代表笔者对闭源生产系统的直接实测。

场景一:财务收据结构化。 Ramp 的做法是把收据图片输入模型，直接输出包含商户、日期、金额和支付信息的 JSON。这个任务看似简单，实际难点在于倾斜拍摄、模糊打印、多币种和手写批注。Super VL 的视觉理解与结构化输出合并后，减少了 OCR 与字段抽取之间的误差累积。Ramp 预计吞吐提升最高 50%，延迟降低 10 倍。

场景二:合同与财报图表分析。 传统流程要先 OCR，再把表格转成文本，最后交给语言模型推理。Super VL 可以直接把图表、表格和正文放在同一上下文里，让模型先定位视觉证据，再调用 Python 做计算。CharXiv 84% 的成绩说明，在允许工具辅助时，它对复杂图表的理解已经接近可用水平。

场景三:安全告警分诊。 AI21 与 Alice 把模型后训练用于威胁情报与漏洞分析，准确率提升 41%。这类任务需要同时读取日志、截图、漏洞描述和资产信息，多模态输入的价值在于保留原始证据，而不是依赖人工摘要。

  graph TD
    A[用户请求: 审阅合同并核对财报数据] --> B[Nemotron 3.5 Super VL]
    B --> C{多模态理解}
    C -->|正文与条款| D[文本解析]
    C -->|表格与图表| E[视觉推理]
    C -->|操作录屏| F[视频时序理解]
    D --> G[工具调用与多步推理]
    E --> G
    F --> G
    G --> H{政策与格式校验}
    H -->|通过| I[输出结构化结论]
    H -->|不通过| J[回退重试或转人工复核]
    I --> K[写入企业业务系统]

优势与不足

优势:

多模态能力内置于单一模型，减少 OCR、视觉模型与文本模型之间的编排成本。
MoE 架构把总参数与单 token 计算解耦，单 GPU 吞吐优势明显，适合高并发 Agent。
NVFP4、QAD、MTP、LiLiCorr 与上下文复用形成组合拳，覆盖显存、延迟和长会话三类瓶颈。
开放权重、训练配方与数据集，企业可以做私有化后训练，数据不必出域。
合作伙伴案例覆盖金融、媒体、安全等不同行业，说明后训练路径具有可复制性。

不足:

120B 总参数对硬件仍有门槛，中小团队难以直接承担全精度部署与调优成本。
官方评测多由 NVIDIA 及其生态伙伴提供，独立第三方的大规模生产验证仍然有限。
多模态与 Agent 能力越强，越需要新的安全评估与权限隔离机制，模型卡和红队报告仍需持续补充。
长视频、低质量扫描件、多语言混合文档等边缘场景的实际表现，仍取决于企业自己的评测集。

总结与展望

Nemotron 3.5 Super VL 的意义，不在于又刷新了某个榜单，而在于它把“开放权重、多模态、Agent 效率”三个趋势压进了同一个工程产品。它让企业第一次可以认真考虑:把看懂文档、图表和视频的能力，部署在自己的机房里，而不是完全依赖闭源 API。

接下来值得关注三个方向。第一，开放多模态模型的后训练生态会快速分化，行业数据与工具接口将成为新的护城河。第二，推理优化会从单模型走向系统级编排，NIM、Dynamo 与 KV cache 管理的重要性会继续上升。第三，独立评测必须跟上，尤其是长时 Agent 的越权行为、工具调用错误和视觉幻觉，需要比传统 benchmark 更贴近生产的评估方法。

如果 NVIDIA 能持续补齐独立评测与安全透明度，Super VL 有机会成为企业多模态 Agent 的默认基座之一;但如果生态只停留在厂商自证，它的开放权重优势也可能被部署复杂度和信任成本抵消。

参考来源:

Nemotron on 有鱼智界 | 森林有鱼