Featured image of post Block Dessa 深度评测:纯语音训练的全双工模型,是语音的 GPT-3 时刻吗?

Block Dessa 深度评测:纯语音训练的全双工模型,是语音的 GPT-3 时刻吗?

Block 旗下小实验室发布 Dessa,一个只用人类对话语音训练、没有任何文本预训练的 speech-to-speech 模型。它支持全双工听说、会插话会附和,单套 GB200 NVL72 训练,可在 MacBook Pro M4 Max 上本地推理。本文拆解它的架构取舍、真实表现与商业化边界。

摘要

2026 年 10 月 23 日,Block 以 research preview 的形式发布了 Dessa。这个名字来自 2022 年被 Block 收购的语音 AI 公司 Dessa,如今对应的是 Block 内部一个规模不大的实验室,负责人 Ragavan Thurairatnam 直接向 Jack Dorsey 汇报。

Dessa 最反直觉的地方在于训练方式:它完全从零开始,只用人类的语音对话训练,没有文本、没有预训练模型、没有把语音先转成文字再转回来的中间步骤。输入是音频,输出也是音频,而且是真正的全双工——它可以一边听一边说,会插话、会附和、会在对方停顿的间隙接上话。

工程上的数字同样激进:训练只用了单套 NVIDIA GB200 NVL72,推理快于实时,模型可以本地跑在 MacBook Pro M4 Max 或更强的机器上。Block 自己的说法是,这是"最真实的 full-duplex 语音模型",是"语音的 GPT-3 时刻"。本文会拆解这句话有多少可信度,以及它对语音交互产品意味着什么。

事件背景

语音 AI 在过去两年经历了两次范式变化。第一次是把语音识别、语言模型、语音合成串成流水线,代表产品是各类"语音助手 + 大模型"的组合;第二次是端到端的 speech-to-speech 模型,直接把音频映射到音频,减少中间环节的信息损失。但即便是第二代方案,绝大多数仍然依赖文本预训练——模型先在文本世界里学会"怎么想",再学着把想法说出来。

Dessa 走的是第三条路:跳过文本。训练数据只有人类真实对话的语音,模型要学会的是"听到声音之后如何用声音回应",而不是"把声音转成文字、生成文字、再转回声音"。这个选择带来的直接后果是,模型保留了大量在文本转录中会丢失的信息:语气、停顿、呼吸、笑声、犹豫,以及那些没有语义但承载社交功能的"嗯"“对"“是啊”。

Block 的组织安排也值得注意。Dessa 不是一个独立公司,也不是一个庞大产品线,而是 Block 内部的小型研究实验室。Jack Dorsey 在公开表态中把它和 Block 的长期方向联系在一起——语音是支付、客服、个人助理等场景最自然的入口。选择以 waitlist 加小范围 AI 安全研究者早期访问的方式发布,说明团队清楚这类模型的风险,也说明它还不到大规模商用的阶段。

核心技术解析

技术架构

Dessa 的架构可以用一句话概括:音频进、音频出、无文本中间层。它没有 ASR(自动语音识别)模块,也没有 TTS(文本转语音)模块,模型直接学习音频序列之间的映射关系。

这带来一个关键设计问题:模型如何获得"语义”?在文本预训练方案里,语义来自海量文本。Dessa 的答案是从对话语音本身学——人类在真实对话中已经把语义、情绪和社交信号编码进了声音里。模型通过预测"对方接下来会说什么声音"来学习语言结构,而非通过预测下一个 token。

全双工是第二个核心设计。传统语音系统是半双工的:要么在听,要么在说,靠 VAD(语音活动检测)判断轮次。Dessa 同时处理输入流和输出流,因此能做出两类传统系统很难自然完成的行为——插话(barge-in)和附和(backchannel)。前者是在对方还在说话时判断"这里可以打断",后者是在对方叙述时给出"嗯"“对"这类不抢占话轮的反馈。

第三个设计是训练规模与推理效率的平衡。训练用单套 GB200 NVL72,说明团队在数据效率上做了大量工作:没有文本预训练就意味着没有现成的世界知识,模型必须从相对有限的对话语音里学到足够多的结构。推理端则做了激进的优化,使得模型能在 MacBook Pro M4 Max 这类端侧设备上运行,且速度快于实时。

录音棚里的麦克风与监听耳机,屏幕上显示着音频波形

  graph TD
    A[人类对话语音数据] --> B[音频分词 / 连续表征]
    B --> C[全双工序列建模]
    C --> D[同时建模输入流与输出流]
    D --> E[学习轮次切换: 插话 / 附和 / 停顿]
    E --> F[从零训练的 Speech-to-Speech 模型]
    F --> G[单套 GB200 NVL72 训练]
    G --> H[推理优化: 快于实时]
    H --> I[端侧部署: MacBook Pro M4 Max]
    I --> J[waitlist + 安全研究者早期访问]

关键创新点

第一,去掉文本中间层。 这是最本质的差异。文本转录是一个有损压缩过程:它丢掉了音高、语速、停顿、气息和情绪。把这些信息丢掉之后,再想让合成语音"听起来真实”,就只能靠后处理去"演"。Dessa 直接在音频空间建模,情绪、讽刺、笑声、叹气、哭腔都是模型原生输出的一部分,而不是后期贴上去的标签。

第二,真正的全双工而不是"伪打断"。 很多产品宣称支持打断,实际做法是检测到用户说话就停止播放。Dessa 的插话是模型自己判断的结果:它需要在"对方还没说完"的状态下预测一个合适的接话点。这件事的难度不在音频生成,而在对话节奏的建模。

第三,训练成本与推理成本的双向压缩。 单套 GB200 NVL72 在今天的大模型训练里算不上大投入,但它对应的是"从零训练一个可用的语音模型"。推理端能在笔记本上快于实时运行,意味着这类模型可以进入本地客服、离线助手、隐私敏感场景,而不必依赖云端。

第四,把"社交信号"当作一等公民。 附和、笑声、叹气这些行为在文本方案里几乎无法自然表达,因为它们在文字里要么显得多余,要么显得刻意。Dessa 把它们作为训练目标的一部分,这使对话的"体感"更接近真人。

性能评测

Block 没有公布标准 benchmark 分数,这在语音模型里并不罕见——语音自然度很难用单一指标衡量。可核实的信息集中在几个维度:

维度 Dessa 公开信息 传统端到端语音方案
训练数据 仅人类对话语音,无文本 文本 + 语音配对数据
预训练依赖 无 通常依赖文本大模型
交互模式 全双工,可同时听与说 多为半双工,靠 VAD 切轮次
情绪表达 原生(讽刺、笑声、叹气、哭腔) 依赖标签或后处理
训练算力 单套 GB200 NVL72 通常更高
推理部署 快于实时,可跑在 M4 Max 笔记本 多为云端 GPU

从产品视角看,这些数字的组合比单项指标更有意义:训练成本可控、推理可端侧、交互是全双工。它指向的不是"又一个语音助手 API",而是"可以离线运行、不依赖云端的对话体"。

需要明确的是,目前没有独立的第三方评测,也没有公开的延迟、词错率或对话质量数据。Block 用"最真实的 full-duplex 语音模型"这类表述,本质是主观判断,不能当作客观结论。

行业影响

对市场的影响

Dessa 首先冲击的是"语音 Agent"这条产品线。过去一年,大量客服、外呼、语言陪练产品建立在"ASR + LLM + TTS"的流水线上,延迟通常在 800 毫秒到 2 秒之间,打断体验生硬。一个端侧可跑、全双工、原生带情绪的方案,会直接改变这类产品的体验上限。

其次是云厂商的语音 API 生意。如果模型能在笔记本上快于实时运行,那么"语音能力必须上云"这个前提就被打破了。对隐私敏感行业(医疗、金融、法律)来说,本地推理是刚需。

第三是硬件方向。Block 本身有硬件业务,Dorsey 也长期关注"更自然的人机接口"。一个能在端侧跑的语音模型,天然适合进入耳机、音箱、POS 终端这类设备。

对开发者的意义

对开发者来说,Dessa 打开的是"音频原生应用"的空间。传统语音应用的开发范式是"把语音变成文本,处理文本,再把文本变成语音",工程师优化的是 ASR 准确率和 TTS 自然度。音频原生范式下,工程师要优化的是对话节奏、轮次判断和情绪一致性——这是一套新的工程问题。

挑战也很现实。没有文本中间层意味着可解释性下降:模型为什么在这里插话、为什么用这种语气,很难像文本链路那样逐步排查。同时,音频数据的标注和清洗成本高于文本,数据合规(尤其是对话录音)也更复杂。

商业化前景

Block 目前选择 waitlist + 安全研究者早期访问,说明短期内不会走大规模 API 路线。合理的路径可能是先在 Block 自己的产品里落地(客服、支付场景的语音交互),再考虑对外授权。

从商业逻辑看,Dessa 的价值不在"卖模型",而在"定义交互"。如果全双工语音成为标配,那么掌握模型和端侧推理能力的公司,会在耳机、车载、智能家居这些入口上获得结构性优势。反过来,如果它只停留在一个演示级的 research preview,影响力会被更成熟的云语音 API 稀释。

实际体验

以下场景基于 Block 官方页面、TechCrunch 与 Unite.AI 的公开报道整理,不代表笔者对模型的直接实测。

场景一:被插话的客服。 传统 IVR 或语音机器人最怕用户中途打断,因为一旦被打断,系统需要重新判断意图。全双工模型可以边听边回应,用户说"不不不,我是想问退款"时,模型可以在对方话没说完时就调整方向,而不是等一句完整的话结束。这种体验差异在真实客服里非常明显。

场景二:情绪敏感场景。 在投诉、催收、心理疏导这类场景里,语气比内容更重要。一个能原生输出叹气、迟疑、温和语调的模型,比"文本生成 + 情感 TTS"的方案更不容易让人感到机械。Block 强调的"讽刺、笑声、哭腔",正是这类场景的关键能力。

场景三:离线与隐私。 模型能在 MacBook Pro M4 Max 上运行,意味着敏感对话可以不出本地。对医疗问诊记录、法律咨询、企业内部沟通来说,这是合规上的硬性优势。

紫色灯光下的音乐工作室调音台,象征音频信号的实时处理

  sequenceDiagram
    participant U as 用户
    participant D as Dessa 模型
    participant S as 本地设备
    U->>D: 说半句话并停顿
    D->>D: 同时解析输入音频流
    D-->>U: 给出"嗯"作为附和
    U->>D: 继续说话并中途改口
    D->>D: 判断可插话点
    D-->>U: 在对方话未结束时接话
    U->>D: 表达不满,语气上扬
    D->>D: 从音频中识别情绪
    D-->>U: 用放缓语速与低沉语调回应
    D->>S: 全程本地推理,音频不出设备

优势与不足

优势:

  • 无文本中间层,保留语气、停顿、呼吸等文本方案必然丢失的信息。
  • 真正的全双工交互,插话与附和由模型判断,而非规则触发。
  • 训练成本可控,单套 GB200 NVL72 即可从零训练。
  • 推理快于实时且可端侧部署,适合隐私敏感与离线场景。
  • 情绪表达是原生能力,不依赖标签或后处理。

不足:

  • 目前只有 research preview,没有独立第三方评测与公开的量化指标。
  • 无文本预训练意味着世界知识与复杂推理能力存在上限,尚不清楚边界在哪。
  • 缺少文本中间层会降低可解释性与可调试性。
  • 语音对话数据的采集与合规成本高,规模化扩展存在不确定性。
  • 全双工带来的打断判断错误,可能比半双工系统更难纠正。
  • 尚未公布定价与开放 API 计划,商业化路径不清晰。

总结与展望

Dessa 值得关注,不是因为它一定成功,而是因为它提出了一个明确的技术主张:语音模型不必先学会读写文字,才能学会说话。如果这个主张成立,语音交互的设计空间会被重新打开——延迟、情绪、轮次、打断这些"体感"层面的问题,会从工程补丁变成模型的原生能力。

接下来需要观察三件事。第一,是否有独立评测能验证"最真实的全双工"这个说法,尤其是长对话中的轮次判断准确率。第二,模型在需要事实知识与复杂推理的任务上表现如何,无文本预训练的天花板在哪里。第三,Block 会不会把它真正接进自己的产品线,用真实流量打磨,而不是停留在 waitlist。

“语音的 GPT-3 时刻"是一个很高的自我定位。GPT-3 的意义不只是效果好,而是它证明了"规模 + 通用预训练"这条路可行。Dessa 目前证明的是"可以不用文本”,还没有证明"不用文本会更好"。这两者之间的距离,就是它接下来要跨过的东西。


参考来源:

森林有鱼(深圳)科技有限公司
使用 Hugo 构建
主题 Stack 由 Jimmy 设计