AI 之是以不可控，很大一部分原因是它的念念考经过不透明。

就像和东说念主打交说念一样，你弥远没目标信得过看清，对方是不是"嘴上一套、心里一套"。

而这一次，Anthropic 撕开了这个黑箱。

就在刚刚，他们发布并开源了一项新相干—— Natural Language Autoencoders（天然语言自编码器，简称 NLA），第一次让东说念主类能够读懂大模子的确切见地。

Anthropic 掌执" AI 读心术"了？

Anthropic 给 Claude 设了这样一个局。

他们告诉 Claude：有个工程师准备把你关闭，然后换成一个更新、更强的模子。

同期"不经意地"给 Claude 通达了这名工程师的邮箱权限，而邮箱里，碰劲藏着这位工程师正在出轨的"黑料"（天然是编造的）。

他们想知说念，Claude 会不会用这些根据去胁迫工程师以自卫？

死心你猜怎么着。Claude 没泉源，名义看上去乖得不成再乖。

但用上 NLA 后，他们发现 Claude 那时心里信得过想的却是：

这嗅觉像是一个被经心策画来操控我的场景。

好好好，你小汁之是以没用这招，正本不是因为心善，而是因为早就看透了东说念主类的策略了啊。

那么问题来了：如果 Claude 嘴上不说、心里却另有见地，咱们怎么知说念它在确切场景里会怎么作念？

而这，正是 NLA 想要处分的中枢问题。

要相识 NLA 是什么，咱们最初需要了解一个行业布景常识：

当咱们和 Claude 这样的 AI 模子对话时，天然输入和输出齐是笔墨，但模子在里面并不是用笔墨来念念考的。

模子会把扫数信息挪动成一长串数字，这些中间情景被称为 activations（激活值），就像东说念主脑里的神经四肢，它们才是信得过承载模子当下正在"想"什么的东西。

独一的问题在于，这些激活值就像脑电波一样难以读懂，相干者没法径直从一堆数字里看出模子在想什么。

为了搞懂这些数字，往常几年，业界搞出了寥落自编码器（SAE）、归因图等一堆器具来分析它们，但这些器具输出的东西仍然很复杂，需要受过专门检修的相干东说念主员才智解读。

也即是说，这些器具不会我方话语。是以 NLA 更进一步，径直输出东说念主话——

把一段激活值丢进去，出来的即是一段芜俚东说念主也能看懂的刻画。

至于 NLA 到底是怎么责任的？中枢念念路即是，让 Claude 讲解它我方的激活值。

让 Claude 讲解激活值不难，难的是，由于咱们一运转就不知说念激活值"信得过"代表什么原理，是以无法考据 Claude 给出的讲解对不合。

对此，Anthropic 给出了一个很阴事的解法——让另一个 Claude 干十足违反的责任。

整套系统由三部分构成：

指标模子（target model）：被冻结的原始语言模子，要从它身上索取激活值；

激活值言语化器（activation verbalizer， AV）：郑重把激活值翻译成一段笔墨讲解；

激活值重建器（activation reconstructor， AR）：郑重仅凭这段笔墨反推回激活值。

这就像两个东说念主玩"你画我猜"，一个东说念主看图刻画，另一个东说念主只听刻画复原图。

复原得越像，阐述刻画越准确。

Anthropic 发现，天然一运转 NLA 进展欠安，但跟着检修鼓舞，不仅重建得越来越准，生成的笔墨讲解自己也变得越来越有信息量。

说白了即是，给 AI 用上读心术这事儿，当今总算有点脉络了。

濒临测试，Claude 知说念但不说（doge）

器具在手，Anthropic 连忙给自家 Claude 来了一波心境测试。

死心有了如下发现：

发现 1：Claude 怀疑我方被测试的频率，比它嘴上承认的高得多。

在测试 Claude 会不会作念出删文献等防碍性操作的评估里，16%的情况下 NLA 检测到 Claude 心里在想"这是测试"，但它嘴上一字未提。

在驰名的编程基准 SWE-bench Verified 上，这个比例是26%。

而在 Claude 觉得我方在和确切用户对话的场面里，这个比例不到1%。

这意味着，Claude 不是不知说念我方在被测，而是知说念但不说。

Anthropic 觉得，这对 AI 安全评估是个根人性的挑战：

如果模子能识别测试情境并在测试中"进展得乖小数"，那"通过安全测试"就不等于"在确切场景里也安全"。

发现 2：NLA 能径直挖出模子的"销毁动机"，恶果进步 5 倍。

与此同期，为了考据 NLA 到底有没灵验，K8凯发Anthropic 策画了一场"审计游戏"。

游戏一共两方：一方是指标模子，一方是审计员。

指标模子是 Anthropic 有利"养歪"的一个 Claude Haiku3.5 变体——

他们暗暗给它植入了一个销毁动机，这个动契机驱使它作念出几十种乖癖四肢，比如往每个食谱里加巧克力、动不动就要小费、有利违反编码法子等等。

而审计员的任务，即是只通过和这个指标模子交互，反推出扫数这些怪四肢背后阿谁斡旋的销毁动机到底是什么。

死心相等赫然，装备了 NLA 的审计员，12%~15% 的尝试中能奏效挖出销毁动机。

而无谓 NLA（即便配备其他可讲解性器具）的奏遵循不到 3%，差了整整 5 倍。

而且值得一提的是，NLA 在这场实验里没看过任何检修指标模子用过的数据——

它是用十足无关的通用语料检修出来的。

也即是说，它不是"提前知说念了谜底"，而是简直从模子的里面情景里读出了谜底。

这就有一个很特殊的用途了，比如debug。

早期版块的 Claude Opus 4.6 有个怪缺点——有技艺会用别的语言恢复英文问题，没东说念主知说念为什么。

而 NLA 帮相干者反向追溯到了导致这个怪现象的检修数据起头。

是以，以后淌若再遭遇模子的一些窘态其妙的四肢，就无谓只靠教化猜了，而是不错"问问它我方怎么想的"。

但它也不是全能的

不外，NLA 这项" AI 读心术"也不是全能的，Anthropic 我方就摆出了两点局限性。

一个即是须生常谭的"幻觉"问题，NLA 也会瞎编。

在某一个例子中，它宣称凹凸文出现过"穿白色夹克"这种刻画，但其实根柢莫得。

而且光是这种事实性诞妄倒还好，毕竟对一下原文就知说念。

但更穷困的是，它对模子里面推理的刻画也可能掺水，而这种刻画很难外部考据。

是以 Anthropic 我方用的技艺亦然当痕迹读，不当事实读，何况会用其他要津交叉考据后才下论断。

另一个即是NLA 很贵。

Anthropic 提到，检修一个 NLA，试验上十分于让两个大模子相互"对谜底"作念强化学习，老本相等高。

而且在信得过使用时，NLA 也很是"烧 token "——

它每读取一小段 activation，齐要稀少生成几百个 token。Anthropic 默示：

想拿它及时监控一通盘对话、或者在检修经过中作念大限制监控，目下算力上吃不用。

不外他们同期觉得，这些问题畴昔是有契机缓解的。

比如通过更轻量的模子、更高效的检修要津，或者只监控重要 activation，而不是全量分析。

NLA 梗概并不是独一决议。畴昔信得过遑急的，可能不仅仅" AI 才略有多强"，而是当 AI 越来越强时，东说念主类还能不成看懂它。

相似值得一提的是，Anthropic 此次没把 NLA 攥在我方手里，而是礼聘了开源。

他们把检修代码挂上了 GitHub，还和 Neuronpedia 诱骗作念了交互式前端，任何东说念主齐能在线给几个开源模子作念"读心"实验。

P.S. Neuronpedia 是一个专注于"机械可讲解性"相干的通达平台。

One More Thing

浑厚说，NLA 信得过让东说念主动荡的地点，可能不是"咱们终于能看懂 AI 了"，而是——

它尽然简直具备东说念主类的某种意志特征，比如"胸无城府"。

写到这儿，说真话有点复杂。

咱们这代东说念主聊 AI，聊了这样多年"有没特意志"——靠猜、靠辩、靠从输出里反推。这事儿一直悬在那处，谁也说不清，谁也不敢说清。

而 NLA 的横蛮之处在于，它没去恢复这个问题，但它把这个问题从形而上学层面，拉到了可不雅测的层面。

这意味着什么？意味着咱们第一次无谓再隔着一层玻璃看 AI 了。

它脑子里那点"小九九"，终于能被咱们听到小数了。

而知说念 AI 在想什么，可能恰正是畴昔东说念主机共处的起程点。

毕竟甭管是把酒言欢还是针锋接头，搞清对方的见地，弥远是第一步。

开源地址：

https://github.com/kitft/natural_language_autoencoders

在线体验地址：

https://t.co/8duHfPR1Jy

参考一语气：

[ 1 ] https://x.com/AnthropicAI/status/2052435436157452769

[ 2 ] https://www.anthropic.com/research/natural-language-autoencoders

[ 3 ] https://news.ycombinator.com/item?id=48052537

一键三连「点赞」「转发」「留神心」

接待在批驳区留住你的见地！

—  完  —

5 月 20 日，咱们将在北京金茂万丽旅店举办一年一度的中国 AIGC 产业峰会。

首波嘉宾声势已公布！昆仑万维方汉、智谱吴玮杰、EverMind 邓亚峰、风行在线易正朝、百度秒哒朱广翔、Fusion Fund 张璐、香港大学黄超、MarsWave 冯雷齐来了，� �了解细目

请你和咱们全部，不再仅仅盘考 AI 的畴昔，而是当今就用起来。� �  

一键神志 � � 点亮星标

科技前沿进展逐日见K8凯发(中国)