Block Dessa 深度评测:纯语音训练的全双工模型,是语音的 GPT-3 时刻吗?

Mon, 26 Oct 2026 00:00:00 +0000

摘要

2026 年 10 月 23 日，Block 以 research preview 的形式发布了 Dessa。这个名字来自 2022 年被 Block 收购的语音 AI 公司 Dessa，如今对应的是 Block 内部一个规模不大的实验室，负责人 Ragavan Thurairatnam 直接向 Jack Dorsey 汇报。

Dessa 最反直觉的地方在于训练方式:它完全从零开始，只用人类的语音对话训练，没有文本、没有预训练模型、没有把语音先转成文字再转回来的中间步骤。输入是音频，输出也是音频，而且是真正的全双工——它可以一边听一边说，会插话、会附和、会在对方停顿的间隙接上话。

工程上的数字同样激进:训练只用了单套 NVIDIA GB200 NVL72，推理快于实时，模型可以本地跑在 MacBook Pro M4 Max 或更强的机器上。Block 自己的说法是，这是"最真实的 full-duplex 语音模型"，是"语音的 GPT-3 时刻"。本文会拆解这句话有多少可信度，以及它对语音交互产品意味着什么。

事件背景

语音 AI 在过去两年经历了两次范式变化。第一次是把语音识别、语言模型、语音合成串成流水线，代表产品是各类"语音助手 + 大模型"的组合；第二次是端到端的 speech-to-speech 模型，直接把音频映射到音频，减少中间环节的信息损失。但即便是第二代方案，绝大多数仍然依赖文本预训练——模型先在文本世界里学会"怎么想"，再学着把想法说出来。

Dessa 走的是第三条路:跳过文本。训练数据只有人类真实对话的语音，模型要学会的是"听到声音之后如何用声音回应"，而不是"把声音转成文字、生成文字、再转回声音"。这个选择带来的直接后果是，模型保留了大量在文本转录中会丢失的信息:语气、停顿、呼吸、笑声、犹豫，以及那些没有语义但承载社交功能的"嗯"“对"“是啊”。

Block 的组织安排也值得注意。Dessa 不是一个独立公司，也不是一个庞大产品线，而是 Block 内部的小型研究实验室。Jack Dorsey 在公开表态中把它和 Block 的长期方向联系在一起——语音是支付、客服、个人助理等场景最自然的入口。选择以 waitlist 加小范围 AI 安全研究者早期访问的方式发布，说明团队清楚这类模型的风险，也说明它还不到大规模商用的阶段。

核心技术解析

技术架构

Dessa 的架构可以用一句话概括:音频进、音频出、无文本中间层。它没有 ASR（自动语音识别）模块，也没有 TTS（文本转语音）模块，模型直接学习音频序列之间的映射关系。

这带来一个关键设计问题:模型如何获得"语义”？在文本预训练方案里，语义来自海量文本。Dessa 的答案是从对话语音本身学——人类在真实对话中已经把语义、情绪和社交信号编码进了声音里。模型通过预测"对方接下来会说什么声音"来学习语言结构，而非通过预测下一个 token。

全双工是第二个核心设计。传统语音系统是半双工的:要么在听，要么在说，靠 VAD（语音活动检测）判断轮次。Dessa 同时处理输入流和输出流，因此能做出两类传统系统很难自然完成的行为——插话（barge-in）和附和（backchannel）。前者是在对方还在说话时判断"这里可以打断"，后者是在对方叙述时给出"嗯"“对"这类不抢占话轮的反馈。

第三个设计是训练规模与推理效率的平衡。训练用单套 GB200 NVL72，说明团队在数据效率上做了大量工作:没有文本预训练就意味着没有现成的世界知识，模型必须从相对有限的对话语音里学到足够多的结构。推理端则做了激进的优化，使得模型能在 MacBook Pro M4 Max 这类端侧设备上运行，且速度快于实时。

  graph TD
    A[人类对话语音数据] --> B[音频分词 / 连续表征]
    B --> C[全双工序列建模]
    C --> D[同时建模输入流与输出流]
    D --> E[学习轮次切换: 插话 / 附和 / 停顿]
    E --> F[从零训练的 Speech-to-Speech 模型]
    F --> G[单套 GB200 NVL72 训练]
    G --> H[推理优化: 快于实时]
    H --> I[端侧部署: MacBook Pro M4 Max]
    I --> J[waitlist + 安全研究者早期访问]

关键创新点

第一，去掉文本中间层。 这是最本质的差异。文本转录是一个有损压缩过程:它丢掉了音高、语速、停顿、气息和情绪。把这些信息丢掉之后，再想让合成语音"听起来真实”，就只能靠后处理去"演"。Dessa 直接在音频空间建模，情绪、讽刺、笑声、叹气、哭腔都是模型原生输出的一部分，而不是后期贴上去的标签。

第二，真正的全双工而不是"伪打断"。 很多产品宣称支持打断，实际做法是检测到用户说话就停止播放。Dessa 的插话是模型自己判断的结果:它需要在"对方还没说完"的状态下预测一个合适的接话点。这件事的难度不在音频生成，而在对话节奏的建模。

第三，训练成本与推理成本的双向压缩。 单套 GB200 NVL72 在今天的大模型训练里算不上大投入，但它对应的是"从零训练一个可用的语音模型"。推理端能在笔记本上快于实时运行，意味着这类模型可以进入本地客服、离线助手、隐私敏感场景，而不必依赖云端。

第四，把"社交信号"当作一等公民。 附和、笑声、叹气这些行为在文本方案里几乎无法自然表达，因为它们在文字里要么显得多余，要么显得刻意。Dessa 把它们作为训练目标的一部分，这使对话的"体感"更接近真人。

性能评测

Block 没有公布标准 benchmark 分数，这在语音模型里并不罕见——语音自然度很难用单一指标衡量。可核实的信息集中在几个维度:

维度	Dessa 公开信息	传统端到端语音方案
训练数据	仅人类对话语音，无文本	文本 + 语音配对数据
预训练依赖	无	通常依赖文本大模型
交互模式	全双工，可同时听与说	多为半双工，靠 VAD 切轮次
情绪表达	原生（讽刺、笑声、叹气、哭腔）	依赖标签或后处理
训练算力	单套 GB200 NVL72	通常更高
推理部署	快于实时，可跑在 M4 Max 笔记本	多为云端 GPU

从产品视角看，这些数字的组合比单项指标更有意义:训练成本可控、推理可端侧、交互是全双工。它指向的不是"又一个语音助手 API"，而是"可以离线运行、不依赖云端的对话体"。

需要明确的是，目前没有独立的第三方评测，也没有公开的延迟、词错率或对话质量数据。Block 用"最真实的 full-duplex 语音模型"这类表述，本质是主观判断，不能当作客观结论。

行业影响

对市场的影响

Dessa 首先冲击的是"语音 Agent"这条产品线。过去一年，大量客服、外呼、语言陪练产品建立在"ASR + LLM + TTS"的流水线上，延迟通常在 800 毫秒到 2 秒之间，打断体验生硬。一个端侧可跑、全双工、原生带情绪的方案，会直接改变这类产品的体验上限。

其次是云厂商的语音 API 生意。如果模型能在笔记本上快于实时运行，那么"语音能力必须上云"这个前提就被打破了。对隐私敏感行业（医疗、金融、法律）来说，本地推理是刚需。

第三是硬件方向。Block 本身有硬件业务，Dorsey 也长期关注"更自然的人机接口"。一个能在端侧跑的语音模型，天然适合进入耳机、音箱、POS 终端这类设备。

对开发者的意义

对开发者来说，Dessa 打开的是"音频原生应用"的空间。传统语音应用的开发范式是"把语音变成文本，处理文本，再把文本变成语音"，工程师优化的是 ASR 准确率和 TTS 自然度。音频原生范式下，工程师要优化的是对话节奏、轮次判断和情绪一致性——这是一套新的工程问题。

挑战也很现实。没有文本中间层意味着可解释性下降:模型为什么在这里插话、为什么用这种语气，很难像文本链路那样逐步排查。同时，音频数据的标注和清洗成本高于文本，数据合规（尤其是对话录音）也更复杂。

商业化前景

Block 目前选择 waitlist + 安全研究者早期访问，说明短期内不会走大规模 API 路线。合理的路径可能是先在 Block 自己的产品里落地（客服、支付场景的语音交互），再考虑对外授权。

从商业逻辑看，Dessa 的价值不在"卖模型"，而在"定义交互"。如果全双工语音成为标配，那么掌握模型和端侧推理能力的公司，会在耳机、车载、智能家居这些入口上获得结构性优势。反过来，如果它只停留在一个演示级的 research preview，影响力会被更成熟的云语音 API 稀释。

实际体验

以下场景基于 Block 官方页面、TechCrunch 与 Unite.AI 的公开报道整理，不代表笔者对模型的直接实测。

场景一:被插话的客服。 传统 IVR 或语音机器人最怕用户中途打断，因为一旦被打断，系统需要重新判断意图。全双工模型可以边听边回应，用户说"不不不，我是想问退款"时，模型可以在对方话没说完时就调整方向，而不是等一句完整的话结束。这种体验差异在真实客服里非常明显。

场景二:情绪敏感场景。 在投诉、催收、心理疏导这类场景里，语气比内容更重要。一个能原生输出叹气、迟疑、温和语调的模型，比"文本生成 + 情感 TTS"的方案更不容易让人感到机械。Block 强调的"讽刺、笑声、哭腔"，正是这类场景的关键能力。

场景三:离线与隐私。 模型能在 MacBook Pro M4 Max 上运行，意味着敏感对话可以不出本地。对医疗问诊记录、法律咨询、企业内部沟通来说，这是合规上的硬性优势。

  sequenceDiagram
    participant U as 用户
    participant D as Dessa 模型
    participant S as 本地设备
    U->>D: 说半句话并停顿
    D->>D: 同时解析输入音频流
    D-->>U: 给出"嗯"作为附和
    U->>D: 继续说话并中途改口
    D->>D: 判断可插话点
    D-->>U: 在对方话未结束时接话
    U->>D: 表达不满，语气上扬
    D->>D: 从音频中识别情绪
    D-->>U: 用放缓语速与低沉语调回应
    D->>S: 全程本地推理，音频不出设备

优势与不足

优势:

无文本中间层，保留语气、停顿、呼吸等文本方案必然丢失的信息。
真正的全双工交互，插话与附和由模型判断，而非规则触发。
训练成本可控，单套 GB200 NVL72 即可从零训练。
推理快于实时且可端侧部署，适合隐私敏感与离线场景。
情绪表达是原生能力，不依赖标签或后处理。

不足:

目前只有 research preview，没有独立第三方评测与公开的量化指标。
无文本预训练意味着世界知识与复杂推理能力存在上限，尚不清楚边界在哪。
缺少文本中间层会降低可解释性与可调试性。
语音对话数据的采集与合规成本高，规模化扩展存在不确定性。
全双工带来的打断判断错误，可能比半双工系统更难纠正。
尚未公布定价与开放 API 计划，商业化路径不清晰。

总结与展望

Dessa 值得关注，不是因为它一定成功，而是因为它提出了一个明确的技术主张:语音模型不必先学会读写文字，才能学会说话。如果这个主张成立，语音交互的设计空间会被重新打开——延迟、情绪、轮次、打断这些"体感"层面的问题，会从工程补丁变成模型的原生能力。

接下来需要观察三件事。第一，是否有独立评测能验证"最真实的全双工"这个说法，尤其是长对话中的轮次判断准确率。第二，模型在需要事实知识与复杂推理的任务上表现如何，无文本预训练的天花板在哪里。第三，Block 会不会把它真正接进自己的产品线，用真实流量打磨，而不是停留在 waitlist。

“语音的 GPT-3 时刻"是一个很高的自我定位。GPT-3 的意义不只是效果好，而是它证明了"规模 + 通用预训练"这条路可行。Dessa 目前证明的是"可以不用文本”，还没有证明"不用文本会更好"。这两者之间的距离，就是它接下来要跨过的东西。

参考来源:

全双工语音 on 有鱼智界 | 森林有鱼