摘要
2026 年 10 月 23 日,Block 以 research preview 的形式发布了 Dessa。这个名字来自 2022 年被 Block 收购的语音 AI 公司 Dessa,如今对应的是 Block 内部一个规模不大的实验室,负责人 Ragavan Thurairatnam 直接向 Jack Dorsey 汇报。
Dessa 最反直觉的地方在于训练方式:它完全从零开始,只用人类的语音对话训练,没有文本、没有预训练模型、没有把语音先转成文字再转回来的中间步骤。输入是音频,输出也是音频,而且是真正的全双工——它可以一边听一边说,会插话、会附和、会在对方停顿的间隙接上话。
工程上的数字同样激进:训练只用了单套 NVIDIA GB200 NVL72,推理快于实时,模型可以本地跑在 MacBook Pro M4 Max 或更强的机器上。Block 自己的说法是,这是"最真实的 full-duplex 语音模型",是"语音的 GPT-3 时刻"。本文会拆解这句话有多少可信度,以及它对语音交互产品意味着什么。
事件背景
语音 AI 在过去两年经历了两次范式变化。第一次是把语音识别、语言模型、语音合成串成流水线,代表产品是各类"语音助手 + 大模型"的组合;第二次是端到端的 speech-to-speech 模型,直接把音频映射到音频,减少中间环节的信息损失。但即便是第二代方案,绝大多数仍然依赖文本预训练——模型先在文本世界里学会"怎么想",再学着把想法说出来。
Dessa 走的是第三条路:跳过文本。训练数据只有人类真实对话的语音,模型要学会的是"听到声音之后如何用声音回应",而不是"把声音转成文字、生成文字、再转回声音"。这个选择带来的直接后果是,模型保留了大量在文本转录中会丢失的信息:语气、停顿、呼吸、笑声、犹豫,以及那些没有语义但承载社交功能的"嗯"“对"“是啊”。
Block 的组织安排也值得注意。Dessa 不是一个独立公司,也不是一个庞大产品线,而是 Block 内部的小型研究实验室。Jack Dorsey 在公开表态中把它和 Block 的长期方向联系在一起——语音是支付、客服、个人助理等场景最自然的入口。选择以 waitlist 加小范围 AI 安全研究者早期访问的方式发布,说明团队清楚这类模型的风险,也说明它还不到大规模商用的阶段。
核心技术解析
技术架构
Dessa 的架构可以用一句话概括:音频进、音频出、无文本中间层。它没有 ASR(自动语音识别)模块,也没有 TTS(文本转语音)模块,模型直接学习音频序列之间的映射关系。
这带来一个关键设计问题:模型如何获得"语义”?在文本预训练方案里,语义来自海量文本。Dessa 的答案是从对话语音本身学——人类在真实对话中已经把语义、情绪和社交信号编码进了声音里。模型通过预测"对方接下来会说什么声音"来学习语言结构,而非通过预测下一个 token。
全双工是第二个核心设计。传统语音系统是半双工的:要么在听,要么在说,靠 VAD(语音活动检测)判断轮次。Dessa 同时处理输入流和输出流,因此能做出两类传统系统很难自然完成的行为——插话(barge-in)和附和(backchannel)。前者是在对方还在说话时判断"这里可以打断",后者是在对方叙述时给出"嗯"“对"这类不抢占话轮的反馈。
第三个设计是训练规模与推理效率的平衡。训练用单套 GB200 NVL72,说明团队在数据效率上做了大量工作:没有文本预训练就意味着没有现成的世界知识,模型必须从相对有限的对话语音里学到足够多的结构。推理端则做了激进的优化,使得模型能在 MacBook Pro M4 Max 这类端侧设备上运行,且速度快于实时。
graph TD
A[人类对话语音数据] --> B[音频分词 / 连续表征]
B --> C[全双工序列建模]
C --> D[同时建模输入流与输出流]
D --> E[学习轮次切换: 插话 / 附和 / 停顿]
E --> F[从零训练的 Speech-to-Speech 模型]
F --> G[单套 GB200 NVL72 训练]
G --> H[推理优化: 快于实时]
H --> I[端侧部署: MacBook Pro M4 Max]
I --> J[waitlist + 安全研究者早期访问]
关键创新点
第一,去掉文本中间层。 这是最本质的差异。文本转录是一个有损压缩过程:它丢掉了音高、语速、停顿、气息和情绪。把这些信息丢掉之后,再想让合成语音"听起来真实”,就只能靠后处理去"演"。Dessa 直接在音频空间建模,情绪、讽刺、笑声、叹气、哭腔都是模型原生输出的一部分,而不是后期贴上去的标签。
第二,真正的全双工而不是"伪打断"。 很多产品宣称支持打断,实际做法是检测到用户说话就停止播放。Dessa 的插话是模型自己判断的结果:它需要在"对方还没说完"的状态下预测一个合适的接话点。这件事的难度不在音频生成,而在对话节奏的建模。
第三,训练成本与推理成本的双向压缩。 单套 GB200 NVL72 在今天的大模型训练里算不上大投入,但它对应的是"从零训练一个可用的语音模型"。推理端能在笔记本上快于实时运行,意味着这类模型可以进入本地客服、离线助手、隐私敏感场景,而不必依赖云端。
第四,把"社交信号"当作一等公民。 附和、笑声、叹气这些行为在文本方案里几乎无法自然表达,因为它们在文字里要么显得多余,要么显得刻意。Dessa 把它们作为训练目标的一部分,这使对话的"体感"更接近真人。
性能评测
Block 没有公布标准 benchmark 分数,这在语音模型里并不罕见——语音自然度很难用单一指标衡量。可核实的信息集中在几个维度:
| 维度 | Dessa 公开信息 | 传统端到端语音方案 |
|---|---|---|
| 训练数据 | 仅人类对话语音,无文本 | 文本 + 语音配对数据 |
| 预训练依赖 | 无 | 通常依赖文本大模型 |
| 交互模式 | 全双工,可同时听与说 | 多为半双工,靠 VAD 切轮次 |
| 情绪表达 | 原生(讽刺、笑声、叹气、哭腔) | 依赖标签或后处理 |
| 训练算力 | 单套 GB200 NVL72 | 通常更高 |
| 推理部署 | 快于实时,可跑在 M4 Max 笔记本 | 多为云端 GPU |
从产品视角看,这些数字的组合比单项指标更有意义:训练成本可控、推理可端侧、交互是全双工。它指向的不是"又一个语音助手 API",而是"可以离线运行、不依赖云端的对话体"。
需要明确的是,目前没有独立的第三方评测,也没有公开的延迟、词错率或对话质量数据。Block 用"最真实的 full-duplex 语音模型"这类表述,本质是主观判断,不能当作客观结论。
行业影响
对市场的影响
Dessa 首先冲击的是"语音 Agent"这条产品线。过去一年,大量客服、外呼、语言陪练产品建立在"ASR + LLM + TTS"的流水线上,延迟通常在 800 毫秒到 2 秒之间,打断体验生硬。一个端侧可跑、全双工、原生带情绪的方案,会直接改变这类产品的体验上限。
其次是云厂商的语音 API 生意。如果模型能在笔记本上快于实时运行,那么"语音能力必须上云"这个前提就被打破了。对隐私敏感行业(医疗、金融、法律)来说,本地推理是刚需。
第三是硬件方向。Block 本身有硬件业务,Dorsey 也长期关注"更自然的人机接口"。一个能在端侧跑的语音模型,天然适合进入耳机、音箱、POS 终端这类设备。
对开发者的意义
对开发者来说,Dessa 打开的是"音频原生应用"的空间。传统语音应用的开发范式是"把语音变成文本,处理文本,再把文本变成语音",工程师优化的是 ASR 准确率和 TTS 自然度。音频原生范式下,工程师要优化的是对话节奏、轮次判断和情绪一致性——这是一套新的工程问题。
挑战也很现实。没有文本中间层意味着可解释性下降:模型为什么在这里插话、为什么用这种语气,很难像文本链路那样逐步排查。同时,音频数据的标注和清洗成本高于文本,数据合规(尤其是对话录音)也更复杂。
商业化前景
Block 目前选择 waitlist + 安全研究者早期访问,说明短期内不会走大规模 API 路线。合理的路径可能是先在 Block 自己的产品里落地(客服、支付场景的语音交互),再考虑对外授权。
从商业逻辑看,Dessa 的价值不在"卖模型",而在"定义交互"。如果全双工语音成为标配,那么掌握模型和端侧推理能力的公司,会在耳机、车载、智能家居这些入口上获得结构性优势。反过来,如果它只停留在一个演示级的 research preview,影响力会被更成熟的云语音 API 稀释。
实际体验
以下场景基于 Block 官方页面、TechCrunch 与 Unite.AI 的公开报道整理,不代表笔者对模型的直接实测。
场景一:被插话的客服。 传统 IVR 或语音机器人最怕用户中途打断,因为一旦被打断,系统需要重新判断意图。全双工模型可以边听边回应,用户说"不不不,我是想问退款"时,模型可以在对方话没说完时就调整方向,而不是等一句完整的话结束。这种体验差异在真实客服里非常明显。
场景二:情绪敏感场景。 在投诉、催收、心理疏导这类场景里,语气比内容更重要。一个能原生输出叹气、迟疑、温和语调的模型,比"文本生成 + 情感 TTS"的方案更不容易让人感到机械。Block 强调的"讽刺、笑声、哭腔",正是这类场景的关键能力。
场景三:离线与隐私。 模型能在 MacBook Pro M4 Max 上运行,意味着敏感对话可以不出本地。对医疗问诊记录、法律咨询、企业内部沟通来说,这是合规上的硬性优势。
sequenceDiagram
participant U as 用户
participant D as Dessa 模型
participant S as 本地设备
U->>D: 说半句话并停顿
D->>D: 同时解析输入音频流
D-->>U: 给出"嗯"作为附和
U->>D: 继续说话并中途改口
D->>D: 判断可插话点
D-->>U: 在对方话未结束时接话
U->>D: 表达不满,语气上扬
D->>D: 从音频中识别情绪
D-->>U: 用放缓语速与低沉语调回应
D->>S: 全程本地推理,音频不出设备
优势与不足
优势:
- 无文本中间层,保留语气、停顿、呼吸等文本方案必然丢失的信息。
- 真正的全双工交互,插话与附和由模型判断,而非规则触发。
- 训练成本可控,单套 GB200 NVL72 即可从零训练。
- 推理快于实时且可端侧部署,适合隐私敏感与离线场景。
- 情绪表达是原生能力,不依赖标签或后处理。
不足:
- 目前只有 research preview,没有独立第三方评测与公开的量化指标。
- 无文本预训练意味着世界知识与复杂推理能力存在上限,尚不清楚边界在哪。
- 缺少文本中间层会降低可解释性与可调试性。
- 语音对话数据的采集与合规成本高,规模化扩展存在不确定性。
- 全双工带来的打断判断错误,可能比半双工系统更难纠正。
- 尚未公布定价与开放 API 计划,商业化路径不清晰。
总结与展望
Dessa 值得关注,不是因为它一定成功,而是因为它提出了一个明确的技术主张:语音模型不必先学会读写文字,才能学会说话。如果这个主张成立,语音交互的设计空间会被重新打开——延迟、情绪、轮次、打断这些"体感"层面的问题,会从工程补丁变成模型的原生能力。
接下来需要观察三件事。第一,是否有独立评测能验证"最真实的全双工"这个说法,尤其是长对话中的轮次判断准确率。第二,模型在需要事实知识与复杂推理的任务上表现如何,无文本预训练的天花板在哪里。第三,Block 会不会把它真正接进自己的产品线,用真实流量打磨,而不是停留在 waitlist。
“语音的 GPT-3 时刻"是一个很高的自我定位。GPT-3 的意义不只是效果好,而是它证明了"规模 + 通用预训练"这条路可行。Dessa 目前证明的是"可以不用文本”,还没有证明"不用文本会更好"。这两者之间的距离,就是它接下来要跨过的东西。
参考来源: