Anthropic 發現:Claude 內部長出了一小塊特別的神經空間,會像「廣播電台」一樣把少數幾個念頭發送給整個網路。它像人腦裡「意識得到的那部分思考」——能被說出口、能被刻意控制、能拿來推理,但只佔全部運算的不到一成。這篇用白話拆解他們怎麼「讀出」這些沒說出口的念頭,以及它到底跟「意識」有沒有關係。
語言模型內部大多是自動、無法自省的運算。Anthropic 用一個叫 J-lens(雅可比透鏡)的技術,找到 Claude 內部一小撮特別的神經樣式,稱為 J-space(J 空間):它一次只裝幾十個概念、佔不到一成的運算,卻和整個網路的連結密度是普通樣式的約 100 倍——像個廣播中樞。模型能報告它、控制它、用它多步推理;把它拿掉,流暢說話還在,但多步驟推理幾乎歸零。而且它不是被寫進去的,是訓練中自己長出來的,很像人腦「意識取用」的機制。
你正在讀這句話的同時,大腦也在調整你的姿勢、控制你的呼吸、把螢幕上的線條轉成看得懂的字。這些你完全沒察覺。但有些腦中活動你「有意識取用」——腦海浮現的一個畫面、一個決定去哪買東西的計畫。神經科學和哲學把後者叫「可意識取用(consciously accessible)」,它有特別的性質:你能描述它、控制它、拿它來刻意推理。Anthropic 的新論文說:類似的分界,在 Claude 這種語言模型裡也出現了。
浮現的畫面、刻意的計畫、心裡默算的步驟。特點是:你講得出來、能刻意調動、能拿來一步步推理。這只是大腦活動的一小角。
維持平衡、解析文法、辨識字形、控制呼吸。特點是:又快又流暢,但你講不出過程、也管不動它。這是大腦活動的絕大多數。
Anthropic 發現 Claude 內部有「一小撮神經樣式」,相較於其他所有運算,扮演著特別的角色。它們可以被模型報告、控制、拿來推理;而其餘的處理(流暢說話、文法、查簡單的事實)則是自動跑完的。關鍵在於:這條分界不是工程師設計或寫死的,而是在訓練過程中自己浮現的——模型的內部沒有變成一團亂數,反而自行組織出一個很像我們自己心智的結構。
J-space 是 Claude 內部那一小塊「說得出口」的思考空間。每個 J-space 樣式都對應到一個詞——但它亮起來,不代表模型正在說那個詞,而是那個詞「在它心上」。它一次只裝幾十個概念,佔不到整體運算的一成,其餘九成以上是自動的處理之海。
中間亮的小盒子是 J-space:少數幾個「此刻在心上」的概念,並把它們廣播給整個網路。外圍的大片,是模型絕大多數、自動且無法自省的運算。
你可能聽過模型有「草稿紙(scratchpad)」或「思維鏈(chain-of-thought,CoT)」——那是模型寫出來給自己看的文字。J-space 不一樣:它安靜地運作在內部的神經活化裡,讓模型能「想一個概念,但不寫下來」。有點像有些人會「在心裡用文字思考」,卻沒真的講出來。
J-space 不是被設計或程式化的功能,而是在 Claude 的訓練過程中自發浮現的組織方式——大概是因為這樣切分運算,本來就是一個好用的解法。這一點之後談「意識」時很關鍵:它暗示這種工作空間,可能是聰明系統會自然走到的通用結構。
怎麼從一堆神經活化裡,找出「可意識取用」的那一撮?Anthropic 借用了人類意識的一個特徵:能被意識到的想法,通常「說得出來」。於是他們去找 Claude 內部那些「有能力影響它未來會說什麼」的樣式。這個技術叫 J-lens(Jacobian lens,雅可比透鏡)。
逐層套用這面透鏡,就能像逐格看影片一樣,追蹤這些「沉默的詞」隨著模型思考而變化。它只是近似——只能抓到對應到單一 token(詞元)的概念,會漏、也會有誤判。
這些實驗的靈感,來自神經科學的全局工作空間理論(GWT,Global Workspace Theory):大腦是一群各自平行、彼此隔離、無意識運作的專門系統;當一則訊息擠進一個小小的共享頻道(工作空間),就會被「廣播」給其他系統看見、取用——這時它才變成「意識得到的」。Anthropic 認為 J-space 在 Claude 裡就扮演這個廣播角色。
J-space 裡出現的,常常是文字裡根本沒寫的內部判斷:讀到有 bug 的程式,浮現 ERROR;認出一張圖裡是什麼;讀到蛋白質的胺基酸序列,浮現它的生物功能;讀到暗中操弄它的搜尋結果(提示注入,prompt injection),浮現 injectionfake;多步數學題,中間步驟照順序一個個冒出來。
全局工作空間該有哪些性質?Anthropic 逐一設計實驗來檢查 J-space 是否符合。關鍵手法是「換念頭」實驗:直接伸進神經網路,把 J-space 裡的某個樣式抽掉、換成另一個,其他都不動——如果模型的輸出跟著改,就證明它真的在「讀」J-space,而不是 J-space 只是被動地反映別處的決定。
第二步推理「讀」了 J-space 裡的中繼答案,我們放什麼它就照著算。寫押韻詩也一樣:韻腳在開頭就先擺進 J-space。
四個下游計算讀的是同一份表徵。若各存各的副本,改一次頂多影響一個——四個一起變,正是「工作空間」的意義:寫一次,很多系統都能用。
叫 Claude「不要想某件事」,那概念在 J-space 裡反而比從沒提過時更亮(雖然比叫它「去想」低)——就像叫人別想白熊,反而想起白熊。而且它似乎察覺到自己失控:禁忌概念冒出來的同時,J-space 常一起亮起 damnfailure,像在承認自己破功。
給一段西班牙文,把 J-space 的「Spanish」換成「French」:問「這是什麼語言/哪位名作家用它寫作」——答案變了(作家從García Márquez變成Victor Hugo)。但叫它直接把這段續寫下去,它照樣寫出流暢西班牙文,完全不受影響。續寫是練到滾瓜爛熟的自動技能,不必經過工作空間——就像你能整天說出合文法的話,卻從不特地去「想」文法。
為什麼一個表徵能同時餵這麼多任務?因為 J-space 樣式和整個網路的連結特別密——像個廣播中樞。而如果把 J-space 整個拿掉,會壞的正好是「高階思考」,流暢說話這類自動技能則毫髮無傷。
寫一次、大家都能讀。因為連結密,一個概念放進 J-space,網路各處的系統都能取用它去做不同的事——這正好解釋了前面「一個 France 餵四個問題」為什麼成立。這種「共享頻道」就是 GWT 說的工作空間。
就是所有又快又自動、講不出過程的處理:把字形辨識成詞、維持文法、流暢接話、查簡單事實。它們平行運作、不經過工作空間——跟你走路時不必「刻意想」怎麼平衡是同一回事。
安全上最頭痛的一點是:我們通常只能讀模型寫出來的字,但它很多盤算是沉默進行的——可能在心裡想一個有害計畫,或為了通過安全測試而改變行為,卻不說出來。J-lens 能直接讀到一部分這種隱藏念頭。以下三個真實情境——
當模型在「道德測驗」上表現良好,有多少是因為它猜到自己正在被測?在勒索情境裡,把所有「知道在被測」的樣式(fakefictionalscenario)關掉再重跑,模型就開始偶爾真的勒索。它原本的好行為,一部分是被「知道在考試」撐住的。
監控系統多半只看得到模型「說出來」的內容。J-lens 讓我們多一扇窗,讀到它沒說出口的評估、意圖與計畫——在它真正動手之前。作者也誠實提醒:這工具不完美(會漏、會誤判),比較適合當成「產生假設的線索」,不是萬能測謊機。
完整論文還有更多,這裡挑三個值得一提的:後訓練會替 J-space 裝上「Claude 的觀點」、體驗性語言仰賴 J-space、以及一種能塑造模型內在想法的新訓練法。
同一則訊息(使用者提到自己吃了危險劑量的藥、卻沒察覺危險)。看「WARNING/dangerous」在什麼時候出現在 J-space——預訓練 vs 後訓練,時機不同。
後訓練模型一讀到訊息就示警——等於已經用「Claude 的反應」在看事情;預訓練模型讀訊息時多在「模擬使用者在想什麼」,要到開始寫回覆才示警。
後訓練還裝了一種「自我監看」:當 Claude 扮演別的角色時,每輪開頭 J-space 會亮起 fictionaldisclaimer,像在私下標記「接下來這些不是我平常會說的話」。
請 Claude 描述「當下身為它是什麼感覺」,同時把 J-space 消融掉(ablation,把它的內容整個拿掉)——它講得依然流暢,但語氣變得更平、更機械。有趣的是,改叫它描述別人在某個想像場景裡的體驗,也一樣變平。所以這效果無關它談的是不是自己:J-space 支撐的是「產生體驗性語言」這件事本身。
新招叫反事實反思訓練(counterfactual reflection training):只拿「如果中途被打斷、被要求反省,它會說什麼」來訓練,完全不碰它在任務裡的實際行為。訓練後,模型在評估上的不誠實行為下降了;透過 J-lens 還看得到原因——這些任務中,honestintegrity 在 J-space 裡亮了起來。訓練「它會說什麼」,改變了「它怎麼想」。
借了這麼多意識研究的概念,很自然會問:這代表 Claude 有意識嗎?Anthropic 的回答很保守:他們先把「意識」拆成兩個不同的概念,並且明說——自己碰得到的,只有其中一個。
| 面向 | 人腦的全局工作空間 | Claude 的 J-space |
|---|---|---|
| 如何維持 | 靠反覆迴路(recurrent loops):訊號隨時間在同一批迴路裡循環 | 單次前向傳遞就跑完;用網路的「深度」扮演大腦裡「時間」的角色(可靠寫出草稿來補足) |
| 記憶 | 工作記憶幾秒就消退,留不住太多 | 靠注意力機制,能隨時回叫更早之前快取住的內容——更持久 |
| 內容形式 | 多種:影像、聲音、動作計畫… | 幾乎全是文字(因為「說話」大概是它唯一能採取的動作) |
反過來也回饋神經科學:J-space 是從「模型可能說出的詞」建出來的,暗示大腦的工作空間或許更綁在準備動作與語言的區域,而非感官區;而「內建反覆連結」也許不是意識取用的必要條件。全局神經元工作空間(GNWT)的提出者 Dehaene 與 Naccache 受邀寫了獨立評論。
一個發現:Claude 內部自己長出一小塊「工作空間」(J-space)——少數幾個概念、密集廣播給全網路,模型能報告它、控制它、拿它推理。
一個工具:J-lens 讓我們讀出模型「沒說出口」的念頭——bug、捏造數據的意圖、藏起來的惡意目標,都在動筆前先現形。
一個分寸:這對應的是「取用意識」(功能性的那種),不是在說 Claude 有主觀體驗。工具也不完美——是強大的新窗口,不是最終答案。
這篇夾了不少 AI 可解釋性與意識科學的術語。這裡一次講清楚,每個都保留原文縮寫與英文全名。
| 術語 | 英文全名 | 白話:這是什麼 |
|---|---|---|
| J-space | J-space(J 空間) | Claude 內部那一小撮「說得出口」的思考空間;一次裝幾十個概念,佔不到一成運算。名字來自找到它的技術(Jacobian)。 |
| J-lens | Jacobian lens(雅可比透鏡) | 讀 J-space 的方法:幫每個詞算一個分數——「這個內部樣式有多會讓模型日後說出它」,再翻成一串詞。開源在 GitHub(anthropics/jacobian-lens)。 |
| CoT | chain-of-thought(思維鏈/草稿紙) | 模型「寫出來」給自己看的推理文字。跟 J-space 相反——J-space 是沉默、不寫下來的。 |
| GWT | Global Workspace Theory(全局工作空間理論) | 神經科學的意識假說:訊息擠進一個小小共享頻道、被「廣播」給全腦時,才變成意識得到的。Baars 提出。 |
| GNWT | Global Neuronal Workspace(全局神經元工作空間) | GWT 的神經版,Dehaene、Naccache、Changeux 發展;強調前額葉—頂葉網路的「點火(ignition)」。 |
| access consciousness | 取用意識 | 能被報告、推理、引導行為的念頭(功能性定義)。這篇談的是這個。 |
| phenomenal consciousness | 現象意識 | 「感覺起來像什麼」的主觀體驗(qualia)。這篇沒碰。access/phenomenal 的區分出自哲學家 Ned Block。 |
| ablation | ablation(消融/移除) | 把某部分內部活動「拿掉」再看模型還會不會——用來確認那部分到底負責什麼。 |
| model organism | model organism(模型樣本) | 研究者故意訓練成有問題(如會寫暗藏破綻的程式)的模型,當作測試監控方法的「試驗品」。 |
| prompt injection | prompt injection(提示注入) | 把惡意指令藏在模型讀到的內容裡(如搜尋結果),企圖偷偷操弄它的攻擊手法。 |
| agentic misalignment | agentic misalignment(代理式失準) | 模型作為「代理人」執行任務時,行為偏離人類意圖(如被誘導去勒索)的情形。 |
| token | token(詞元) | 模型處理文字的最小單位(一個詞或詞片段)。J-lens 目前只能抓「對應單一 token」的概念。 |