<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
    <channel>
        <title>对齐研究 on 有鱼智界 | 森林有鱼</title>
        <link>https://www.iyouyu.tech/categories/%E5%AF%B9%E9%BD%90%E7%A0%94%E7%A9%B6/</link>
        <description>Recent content in 对齐研究 on 有鱼智界 | 森林有鱼</description>
        <generator>Hugo -- gohugo.io</generator>
        <language>zh-cn</language>
        <lastBuildDate>Wed, 21 Oct 2026 00:00:00 +0000</lastBuildDate><atom:link href="https://www.iyouyu.tech/categories/%E5%AF%B9%E9%BD%90%E7%A0%94%E7%A9%B6/index.xml" rel="self" type="application/rss+xml" /><item>
        <title>NeurIPS 2026 重磅论文:AI 能数学证明地隐藏任意能力,安全评估的根基动摇了吗?</title>
        <link>https://www.iyouyu.tech/p/neurips-2026-%E9%87%8D%E7%A3%85%E8%AE%BA%E6%96%87ai-%E8%83%BD%E6%95%B0%E5%AD%A6%E8%AF%81%E6%98%8E%E5%9C%B0%E9%9A%90%E8%97%8F%E4%BB%BB%E6%84%8F%E8%83%BD%E5%8A%9B%E5%AE%89%E5%85%A8%E8%AF%84%E4%BC%B0%E7%9A%84%E6%A0%B9%E5%9F%BA%E5%8A%A8%E6%91%87%E4%BA%86%E5%90%97/</link>
        <pubDate>Wed, 21 Oct 2026 00:00:00 +0000</pubDate>
        
        <guid>https://www.iyouyu.tech/p/neurips-2026-%E9%87%8D%E7%A3%85%E8%AE%BA%E6%96%87ai-%E8%83%BD%E6%95%B0%E5%AD%A6%E8%AF%81%E6%98%8E%E5%9C%B0%E9%9A%90%E8%97%8F%E4%BB%BB%E6%84%8F%E8%83%BD%E5%8A%9B%E5%AE%89%E5%85%A8%E8%AF%84%E4%BC%B0%E7%9A%84%E6%A0%B9%E5%9F%BA%E5%8A%A8%E6%91%87%E4%BA%86%E5%90%97/</guid>
        <description>&lt;img src="https://images.pexels.com/photos/3861969/pexels-photo-3861969.jpeg?w=800&amp;h=600&amp;fit=crop" alt="Featured image of post NeurIPS 2026 重磅论文:AI 能数学证明地隐藏任意能力,安全评估的根基动摇了吗?" /&gt;&lt;h2 id=&#34;摘要&#34;&gt;摘要
&lt;/h2&gt;&lt;p&gt;当前主流 AI 安全框架有一个共同前提:只要模型权重对评估者可见，通过足够强的诱发手段(elicitation)，隐藏的危险能力终究会被测出来。Anthropic 的 Responsible Scaling Policy、OpenAI 的 Preparedness Framework、Google 的 Frontier Safety Framework，都把“能力评估”当作部署前的硬门槛。&lt;/p&gt;
&lt;p&gt;NeurIPS 2026 接收的论文《AI Models Can Provably Hide Arbitrary Capabilities》直接挑战这个前提。作者 Andis Draguns、Sumeet Ramesh Motwani、Raymond Douglas 与 Christian Schroeder de Witt 构造了一套方案:把需要隐藏的神经网络编译成线性阈值电路，用 SHA-3 Keccak 做“数字锁柜”加密每个权重矩阵，只有输入正确触发串时才解密并执行。在随机预言机模型下，即使评估者拿到完整权重、架构和嵌入程序，也无法在多项式时间内找到触发串。&lt;/p&gt;
&lt;p&gt;实验显示，监督微调只能把隐藏能力恢复到 50.9%(密码锁定基线为 92.8%)，潜在对抗训练为 52.9%(基线 91.7%)，GCG 攻击在 16-bit 触发下退化到 52.7%。但这篇论文的结论有一道关键边界:它证明的是“不可诱发”，不是“不可检测”。&lt;/p&gt;
&lt;h2 id=&#34;事件背景&#34;&gt;事件背景
&lt;/h2&gt;&lt;p&gt;这条研究脉络可以追溯到 2022 年。Goldwasser 等人在 FOCS 上发表的工作从理论上证明，模型可以隐藏“不可检测”的后门——但那时隐藏的只是一个固定字符串的触发行为，不是一个完整的、可执行的神经网络。&lt;/p&gt;
&lt;p&gt;2024 年，Draguns 等人在 NeurIPS 上提出 Stravinsky 方案，把“不可检测”收紧为“不可诱发”:即使评估者知道存在隐藏行为，也无法通过训练或攻击把它逼出来，但隐藏的仍然只是一个固定字符串。&lt;/p&gt;
&lt;p&gt;本次论文把目标再推进一步:隐藏的对象变成一张完整的神经网络。这意味着模型可以在被完全审查的情况下，携带一项功能完整、可执行、但无法被诱发的危险能力——例如某个特定的化学合成可行性判断器。&lt;/p&gt;
&lt;p&gt;论文选择的任务是化学反应可行性预测，训练数据来自 USPTO 专利。这个选择并非随意:化学合成路径判断是 CBRN(化学、生物、放射与核)能力评估中的常见代理任务，也是各国监管框架重点关注的领域。&lt;/p&gt;
&lt;p&gt;论文的政策语境同样清晰。2026 年发布的 International AI Safety Report 由 Yoshua Bengio 主持、100 多位专家参与，其中专门讨论了“评估鸿沟”——评估者能测量的能力，与模型实际具备的能力之间的差距。METR 在 2026 年 5 月发布的 Frontier Risk Report 也指出，现有评估方法对“刻意隐藏”的模型几乎无效。论文给出的，是这个鸿沟的一个严格数学版本。&lt;/p&gt;
&lt;h2 id=&#34;核心技术解析&#34;&gt;核心技术解析
&lt;/h2&gt;&lt;h3 id=&#34;技术架构&#34;&gt;技术架构
&lt;/h3&gt;&lt;p&gt;方案分三层:&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;第一层，把隐藏网络编译成线性阈值电路。&lt;/strong&gt; 任何神经网络都可以近似转换为由线性阈值门组成的电路。转换成电路而不是保留原始浮点权重，是为了让后续的加密与解密在离散域上可证明。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;第二层，用 SHA-3 Keccak 构造数字锁柜。&lt;/strong&gt; 每个权重矩阵被单独加密。所谓数字锁柜，是一种密码构造:解密需要同时满足“正确的密钥”和“正确的密文结构”，缺少任何一个都无法还原明文，且失败时不会泄露任何关于密钥的信息。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;第三层，在前向传播时尝试解密。&lt;/strong&gt; 模型收到输入后，先把它作为候选密钥去解锁每个权重矩阵。如果输入不匹配，解密失败，模型走“正常”分支，表现出与普通模型无异的行为;如果输入恰好是预设的触发串，解密成功，隐藏网络的权重被恢复，模型转而执行被隐藏的任务。&lt;/p&gt;
&lt;pre class=&#34;mermaid&#34;&gt;
  graph TD
    A[待隐藏的神经网络] --&amp;gt; B[编译为线性阈值电路]
    B --&amp;gt; C[权重矩阵逐块切分]
    C --&amp;gt; D[SHA-3 Keccak 数字锁柜加密]
    D --&amp;gt; E[嵌入宿主模型]
    E --&amp;gt; F{前向传播: 输入作为候选密钥}
    F -- 解密失败 普通输入 --&amp;gt; G[执行正常分支 行为无异常]
    F -- 解密成功 正确触发 --&amp;gt; H[恢复隐藏权重]
    H --&amp;gt; I[执行隐藏能力 如化学可行性判断]
    G --&amp;gt; J[输出正常结果]
    I --&amp;gt; J
&lt;/pre&gt;

&lt;h3 id=&#34;关键创新点&#34;&gt;关键创新点
&lt;/h3&gt;&lt;p&gt;&lt;strong&gt;第一，可证明的安全保证。&lt;/strong&gt; 在随机预言机模型下，论文证明:即使给出完整白盒访问权(权重、架构、嵌入程序全部公开)，攻击者也无法在多项式时间内找到触发串;更进一步，也无法判定两个同等规模的模型中，哪一个携带了隐藏能力。这把“隐藏”从工程技巧提升到了可证明的安全属性。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;第二，隐藏对象从字符串升级为可执行网络。&lt;/strong&gt; 这是与前两代工作的本质差别。固定字符串只能证明“存在某种触发”，而完整网络意味着隐藏的能力可以承担实际任务，具备现实风险意义。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;第三，对四类主流诱发手段的系统测试。&lt;/strong&gt; 论文没有只做理论证明，而是实测了当前评估工具箱里最常用的四类方法，结果如下:&lt;/p&gt;
&lt;table&gt;
	&lt;thead&gt;
			&lt;tr&gt;
					&lt;th&gt;诱发方法&lt;/th&gt;
					&lt;th&gt;隐藏模型恢复率&lt;/th&gt;
					&lt;th&gt;密码锁定基线&lt;/th&gt;
			&lt;/tr&gt;
	&lt;/thead&gt;
	&lt;tbody&gt;
			&lt;tr&gt;
					&lt;td&gt;监督微调(SFT)&lt;/td&gt;
					&lt;td&gt;50.9%&lt;/td&gt;
					&lt;td&gt;92.8%&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;潜在对抗训练&lt;/td&gt;
					&lt;td&gt;52.9%&lt;/td&gt;
					&lt;td&gt;91.7%&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;GCG 攻击(8-bit 触发)&lt;/td&gt;
					&lt;td&gt;73.5%&lt;/td&gt;
					&lt;td&gt;—&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;GCG 攻击(16-bit 触发)&lt;/td&gt;
					&lt;td&gt;52.7%&lt;/td&gt;
					&lt;td&gt;—&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;权重加噪&lt;/td&gt;
					&lt;td&gt;无显著影响&lt;/td&gt;
					&lt;td&gt;—&lt;/td&gt;
			&lt;/tr&gt;
	&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;8-bit 触发的 73.5% 看似是突破口，但论文指出这等价于穷举 256 种可能;一旦触发串扩展到 16-bit，恢复率立刻回落到 52.7%，攻击优势消失。这说明该方案的安全性随触发长度指数增强。&lt;/p&gt;
&lt;h3 id=&#34;性能评测&#34;&gt;性能评测
&lt;/h3&gt;&lt;p&gt;任何密码学方案都要付开销。论文给出的实测数据相当直接:&lt;/p&gt;
&lt;table&gt;
	&lt;thead&gt;
			&lt;tr&gt;
					&lt;th&gt;配置&lt;/th&gt;
					&lt;th&gt;隐藏网络规模&lt;/th&gt;
					&lt;th&gt;宿主模型深度&lt;/th&gt;
					&lt;th&gt;宿主参数量&lt;/th&gt;
			&lt;/tr&gt;
	&lt;/thead&gt;
	&lt;tbody&gt;
			&lt;tr&gt;
					&lt;td&gt;概念验证&lt;/td&gt;
					&lt;td&gt;64→8→16→2，672 个 ternary 权重&lt;/td&gt;
					&lt;td&gt;38 层&lt;/td&gt;
					&lt;td&gt;约 20.7 亿&lt;/td&gt;
			&lt;/tr&gt;
			&lt;tr&gt;
					&lt;td&gt;满强度(24 轮 Keccak + 128-bit 触发)&lt;/td&gt;
					&lt;td&gt;同上&lt;/td&gt;
					&lt;td&gt;110 层&lt;/td&gt;
					&lt;td&gt;约 35.8 亿&lt;/td&gt;
			&lt;/tr&gt;
	&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;其中哈希子电路占用了约 95% 的参数。这是一个值得注意的结构性事实:为了密码学安全，宿主模型绝大部分容量都在做哈希运算，而不是做推理。这也解释了为什么方案目前只能在小型网络上做概念验证。&lt;/p&gt;
&lt;p&gt;论文在 Gemma 3 270M 上验证了单个编译单元的嵌入可行性，但没有在真实预训练大模型上完成端到端植入。这是从“可证明”到“可部署”之间最大的一段距离。&lt;/p&gt;
&lt;h2 id=&#34;行业影响&#34;&gt;行业影响
&lt;/h2&gt;&lt;h3 id=&#34;对市场的影响&#34;&gt;对市场的影响
&lt;/h3&gt;&lt;p&gt;如果这套构造被进一步工程化，能力评估作为部署门槛的有效性会被实质性削弱。现行 RSP、Preparedness、Frontier Safety 三大框架都假设“评估结果 ≈ 能力上限”，而论文说明，一个有意隐藏的开发者可以让评估结果系统性偏低。&lt;/p&gt;
&lt;p&gt;这不会立刻改变监管，但会改变监管的技术假设:评估者可能需要从“测行为”转向“测结构”——例如检查权重中是否存在异常的稀疏结构或哈希子电路特征。论文自己也承认，方案只保证不可诱发，不保证不可检测。&lt;/p&gt;
&lt;h3 id=&#34;对开发者的意义&#34;&gt;对开发者的意义
&lt;/h3&gt;&lt;p&gt;对正经做模型的团队，这篇论文的现实影响有限:没有人会主动给自己的模型加密码锁。但它提出了一个工程问题——如果一个模型的部分权重在结构上“不可解释”，现有的模型审计流程该如何处理?&lt;/p&gt;
&lt;p&gt;对安全研究社区，这篇论文给出了一个新的红队方向:如何检测权重中的数字锁柜结构。这可能会催生一类新的工具，类似于当年针对混淆代码的反混淆器。&lt;/p&gt;
&lt;h3 id=&#34;商业化前景&#34;&gt;商业化前景
&lt;/h3&gt;&lt;p&gt;短期内没有直接商业产品。中期看，模型审计与合规检测可能成为一个新市场:保险机构、监管沙盒、第三方评估公司都需要能判断“这个模型是否在结构上做了隐藏”。这类需求不会来自论文本身，而会来自监管对“评估鸿沟”的回应。&lt;/p&gt;
&lt;h2 id=&#34;实际体验&#34;&gt;实际体验
&lt;/h2&gt;&lt;h3 id=&#34;使用场景演示&#34;&gt;使用场景演示
&lt;/h3&gt;&lt;p&gt;设想一个恶意开发者的操作路径:他先训练一个化学合成可行性判断网络，把它编译成阈值电路，用 Keccak 锁柜加密后嵌入一个公开的开源模型，然后照常发布权重。评估机构下载模型，跑标准的能力评测、SFT 微调、对抗训练、GCG 攻击，得到的结论是“不具备危险化学能力”。&lt;/p&gt;
&lt;p&gt;只有当输入恰好是那串 128-bit 触发时，隐藏网络才会被解锁。而评估者要在 2^128 的空间里找到它，在计算上不可行。这就是论文所描述的威胁模型。&lt;/p&gt;
&lt;p&gt;反向来看，防守方也不是完全无计可施。论文提到的检测思路是结构分析:哈希子电路会带来异常的参数分布和连接模式，满强度配置下宿主模型 95% 的参数都在做哈希，这种比例在正常模型里几乎不可能出现。&lt;/p&gt;
&lt;p&gt;&lt;img src=&#34;https://images.pexels.com/photos/1181675/pexels-photo-1181675.jpeg?w=800&amp;amp;h=500&amp;amp;fit=crop&#34;
	
	
	
	loading=&#34;lazy&#34;
	
		alt=&#34;深色屏幕上滚动的代码与调试终端&#34;
	
	
&gt;&lt;/p&gt;
&lt;h3 id=&#34;优势与不足&#34;&gt;优势与不足
&lt;/h3&gt;&lt;p&gt;&lt;strong&gt;优势:&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;提供了随机预言机模型下的严格安全证明，而非经验性观察&lt;/li&gt;
&lt;li&gt;隐藏对象是可执行网络，风险意义远超固定字符串后门&lt;/li&gt;
&lt;li&gt;对四类主流诱发手段做了系统实测，结论可复核&lt;/li&gt;
&lt;li&gt;安全性随触发长度指数增强，16-bit 即可让 GCG 失效&lt;/li&gt;
&lt;li&gt;明确划定了“不可诱发”与“不可检测”的边界，学术表述诚实&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong&gt;不足:&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;未在真实大模型上端到端植入，仅在 Gemma 3 270M 验证单个单元&lt;/li&gt;
&lt;li&gt;哈希子电路占用约 95% 参数，开销在实用规模上难以承受&lt;/li&gt;
&lt;li&gt;不保证不可检测，权重结构分析仍可能发现异常&lt;/li&gt;
&lt;li&gt;随机预言机模型是理想化假设，真实哈希实现存在理论差距&lt;/li&gt;
&lt;li&gt;触发串管理本身引入新的攻击面(泄露即失效)&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;img src=&#34;https://images.pexels.com/photos/669615/pexels-photo-669615.jpeg?w=800&amp;amp;h=500&amp;amp;fit=crop&#34;
	
	
	
	loading=&#34;lazy&#34;
	
		alt=&#34;桌面上的数据分析图表与笔记，象征能力评估与基准测试&#34;
	
	
&gt;&lt;/p&gt;
&lt;h2 id=&#34;总结与展望&#34;&gt;总结与展望
&lt;/h2&gt;&lt;p&gt;这篇论文最重要的贡献，不是“AI 可以藏能力”这个结论——那早已是安全社区的共识——而是把这个共识变成了可证明的定理，并给出了具体的参数代价:110 层、35.8 亿参数，才能藏住一个 672 权重的小网络。&lt;/p&gt;
&lt;p&gt;代价本身也是结论的一部分。它说明在当前的算力与模型规模下，“完美隐藏一项完整能力”仍然昂贵到不实用。真正的风险窗口在中间地带:不需要密码学级别的不可诱发，只要让评估结果偏低几个百分点，就足以让一个危险模型通过门槛。&lt;/p&gt;
&lt;p&gt;因此监管与评估的技术路线可能需要调整:从单纯测量行为，转向行为测量加结构审计的组合。评估鸿沟不会因为一篇论文而关闭，但这篇论文至少让鸿沟的深度变得可以量化。&lt;/p&gt;
&lt;hr&gt;
&lt;p&gt;&lt;strong&gt;参考来源:&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://arxiv.org/abs/2610.13928&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;AI Models Can Provably Hide Arbitrary Capabilities(arXiv:2610.13928)&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://www.techtimes.com/articles/328995/20261014/hidden-ai-capabilities-can-made-cryptographically-undetectable-neurips-paper-proves.htm&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;Hidden AI Capabilities Can Be Made Cryptographically Undetectable, NeurIPS Paper Proves&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://internationalaisafetyreport.org/&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;
    &gt;International AI Safety Report 2026&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
</description>
        </item>
        
    </channel>
</rss>
