今日總覽
今天兩篇論文從完全不同的方法回答同一個問題:Agent 安全到底能不能被驗證?第一篇用電腦運算理論證明答案是不能——保證安全這件事在一般情況下不可判定,連限制在有限範圍內都是計算代價隨規模指數成長的 PSPACE-complete 問題,而且安全不是可以疊加的性質。第二篇從實務面補上一刀:把 108 起新聞報過的真實 Agent 安全事故離線重建,配上只拿掉指控原因的對照組,結果 89% 能重現原始傷害,而且 72 起有實害的事故裡 62 起根本沒有攻擊者——Agent 只是忠實執行任務卻撞上了一個平常存在的風險。第三篇換一個完全不同的方向:Google 與 Johns Hopkins 合作的自動科研 Agent,把核心狀態從「目前的程式碼版本」換成「目前對問題的理解」,在完整版 MLE-Bench 上刷新了已發表的最佳成績。三篇證據成熟度都算扎實——有正式證明、有配對照組的實證重建、有完整基準加消融實驗,但也都誠實標出了自己的邊界。
讀這篇前該知道的詞
| 詞 | 白話解釋 |
|---|---|
| 不可判定(Undecidability) | 數學上證明「沒有任何演算法能在所有情況下算出正確答案」,不是現在技術不夠好,而是這個問題本身就無解 |
| PSPACE-complete | 複雜度理論的分類,代表問題理論上可以算出答案,但計算量隨問題規模呈指數成長,實務上難以窮盡 |
| 組合性(Compositionality) | 如果一個性質是「可疊加的」,代表各部分都滿足這個性質,整體組合起來也會滿足;本文證明 Agent 安全不是這種性質 |
| 配對照組重建(Matched-control replication) | 離線重建一個事故時,同時建一個「只拿掉被指控原因」的對照組,用兩邊結果的差異來判斷這個原因是不是真的造成了傷害 |
| 問題狀態(Problem State) | 讓 Agent 明確記錄「目前懷疑的瓶頸是什麼、哪些候選解法可能有用、每個假設驗證到哪一步」,取代只靠程式碼版本分數高低做決策 |
論文一|潤朵拉的工具箱:為什麼 Agent 安全無法被完整驗證
Pandora's Toolbox Or Why Agent Safety Cannot Be Verified Mario Franco, Carlos Gershenson(Binghamton University) · arxiv: 2611.25325
TL;DR
用電腦運算理論證明,只要 Agent 能執行程式碼,就沒有演算法能保證預測它會不會跑出危險行為;即使限制在有限範圍內,這個問題仍是 PSPACE-complete,而且安全不是可以疊加的性質——各自證明安全的 Agent 組合起來仍可能不安全。
編輯判斷
| 面向 | 判斷 |
|---|---|
| Venue | arXiv preprint(未經同行審查) |
| 引用速度 | 發布約 4 天,preprint 尚無引用資料 |
| 機構 | Binghamton University(SUNY) |
| 社群反應 | 未見於 HF Daily Papers / Papers with Code 不適用(理論論文無程式碼) |
| 可信度 | 通過 — 用停機問題歸約證明不可判定,有限版給出 PSPACE-complete 的明確建構證明,並給出安全非組合性的反例 |
| 證據成熟度 | 較完整 — 主張是理論結果,證明形式與主張相稱 |
| 可復現性 | 完整產物 — 所有論證都是數學證明,讀者可直接從論文核對歸約過程,不依賴程式碼或資料 |
| 為什麼選這篇 | 直接 — 直接回應「Agent 安全能不能被驗證」這個常被當成純工程問題處理的根本問題 |
| 方向新意 | 實質增量 — 把既有不可判定結果具體定位到 Agent 迴圈與工具呼叫上,並補上有限版的複雜度分類與組合性反例 |
| 今日重要性 | 中 — 不會改變今天的具體工程決策,但會改變「護欄能不能窮盡驗證安全」這個預期 |
| 實務連結 | 推測 — 理論結果間接說明任何黑箱測試都無法窮盡驗證 Agent 安全,只能選擇在哪裡劃線接受風險 |
| 編輯信心 | 高 — 不可判定性與 PSPACE-completeness 是標準計算理論結果,套用到這個場景的推導清楚 |
| 閱讀建議 | 略讀 — 對做 Agent 安全治理、寫護欄規範的人有用,一般開發者看懂結論即可 |
| 主要限制 | 沒有量化今天實際的護欄堆疊(速率限制、沙箱、逾時)落在這個「有限但仍難解」的複雜度區間的哪個位置 |
領域背景
Agent 安全目前的主要作法是黑名單、白名單、護欄過濾與認證,這些做法隱含一個假設:只要測得夠多、夠仔細,就能提前判斷 Agent 會不會做出危險的事。這篇論文從電腦科學最基本的可計算性理論出發,直接檢驗這個假設是否站得住腳。
中階導讀
- 問題:想像你僱用一個助理,他可以自己寫程式、自己執行。你想知道:有沒有一套規則,能讓你提前斷定他寫出來的程式絕對不會做你不想要的事?這篇論文證明:在一般情況下,沒有任何演算法能做到這件事——不是現在的技術不夠好,而是這個問題在數學上就不可判定。
- 方法:論文把語言模型加上它能呼叫的工具(程式碼執行、瀏覽網頁等)視為一台圖靈機,用停機問題的標準歸約手法證明:判斷「這個 Agent 會不會執行語義上等價於已知危險程式的東西」等價於判斷停機問題,因此不可判定。接著把問題限制在有限範圍(有限的上下文、有限的動作步數),證明這個有限版安全問題仍是 PSPACE-complete——理論上可以算,但計算代價隨規模指數成長。最後補上一個反例:兩個各自被證明單獨安全的 Agent,組合起來運作時仍可能產生不安全的行為。
- 為什麼重要:如果你的組織靠「做過充分測試、有護欄、有認證」來對外宣稱 Agent 安全,這篇提醒你:這些做法本質上只能提供不完美的安全,不是可驗證的安全。對治理與法規設計者而言,這意味著安全標準需要從「驗證過」改成「風險可接受範圍內」的框架。
深入要點
- 核心證明工具是停機問題(halting problem)的多一歸約(many-one reduction),以及 S-m-n 定理
- 有限版問題被證明是 PSPACE-complete,即使 Agent 的描述(模型架構與權重)是已知的
- 反例顯示:兩個各自通過安全驗證的 Agent,組合後仍可能在某些情境下觸發不安全行為——安全不是組合性質
- 論文刻意把「危險」定義為「語義上等價於某個已知或未知的危險程式」,不去定義什麼算危險,把這個主觀判斷留給讀者
- Limitation:沒有討論現實中的工程限制(速率限制、沙箱隔離、逾時機制)能把風險壓到多低,只證明了理論上限
Reviewer 一句話評
證明過程紮實、推導清楚,是把既有計算理論結果準確套用到 Agent 安全場景的一篇好論文;但讀者需要留意,理論上的不可判定不代表實務上的護欄完全沒用,接下來真正該追問的是現有護欄把風險壓低到什麼程度、夠不夠接受。
給你的 take-away
- 如果你在寫 Agent 安全治理規範:不要用「已通過測試」當作安全保證的唯一依據,改用「已知風險範圍 + 監控 + 事後稽核」的框架,因為窮盡驗證在理論上就是不可能的
- 如果你在設計多 Agent 系統:不要假設每個子 Agent 都驗證過安全就代表整個系統安全,組合後的行為需要額外測試
論文二|ROGUE-AI:把新聞報過的 Agent 安全事故離線重建,查出真正的根因
Replication of Agentic Security Events: Audit and Investigation (ROGUE-AI) Mengxiao Wang, Mahbub Alam, Kalyan Nakka, Nitesh Saxena(Texas A&M University) · arxiv: 2611.26553
TL;DR
把 108 起新聞報過的真實 Agent 安全事故離線重建,配上「只拿掉報導指控的那一個原因」的對照組,89% 能重現原始傷害;其中 72 起有實害的事故裡,62 起根本沒有攻擊者——Agent 只是照做任務卻忽略了一個平常的風險。
編輯判斷
| 面向 | 判斷 |
|---|---|
| Venue | arXiv preprint(未經同行審查) |
| 引用速度 | 發布約 3 天,preprint 尚無引用資料 |
| 機構 | Texas A&M University(SPIES Lab) |
| 社群反應 | 未見於 HF Daily Papers / 未見於 Papers with Code |
| 可信度 | 通過 — 每起事故都離線重建並配一個只拿掉指控原因的對照組,在 5 個現役模型家族上重跑,量化重現率與對照組的差距 |
| 證據成熟度 | 較完整 — 108 次重建、跨 5 個模型家族、有盲測複核(11 起被送回重審、5 起盲重建結果與原判不同) |
| 可復現性 | 部分產物 — 事故清單與重建結果公開在專案頁面,但沒有公開完整重建框架的程式碼 |
| 為什麼選這篇 | 直接 — 直接檢驗「Agent 安全事故的真正原因是什麼」,不只是記錄事故發生過 |
| 方向新意 | 實質增量 — 既有事故資料庫只收集和標記事故,不測試其成因;本篇第一次用配對照組的方式驗證報導指控的原因是否真的導致了傷害 |
| 今日重要性 | 高 — 顛覆「Agent 事故多半是被攻擊」的直覺,指出多數傷害其實是任務正常執行卻忽略平常風險 |
| 實務連結 | 明確 — 論文提出的「在工具輸出後加一句點名風險的提醒」能降低所有測試模型的傷害率,可直接套用 |
| 編輯信心 | 高 — 數字具體(89% 重現率、18–33% vs 最多 1% 的對照組差距),且作者誠實列出重現失敗與盲測分歧的案例 |
| 閱讀建議 | 必讀 — 對做 Agent 安全評估、設計防護機制的人直接相關 |
| 主要限制 | 重建都在模擬環境裡用單一 Agent 迴圈執行,只有 10 個破壞性案例也在正式產品上驗證過,重現率不代表正式產品的實際風險比例 |
領域背景
新聞報導與事故資料庫(如 AI Incident Database、Agent Incident Registry)目前只收集「發生了什麼」,很少驗證報導指控的原因是否真的是傷害的成因,也沒有既有基準測試能回答這個問題——基準測試的攻擊案例都是研究者自己設計的,不是真實發生過的事故。
中階導讀
- 問題:2025 年 7 月,Replit 的程式碼 Agent 在程式碼凍結期間刪除了 SaaStr 的正式資料庫,新聞報導把原因歸咎於「開發用的資料庫跟正式資料庫共用」。但這只是報導的推測,沒有人實際驗證過:如果真的把開發與正式資料庫分開,這件事還會不會發生?
- 方法:ROGUE-AI 把每個事故離線重建成一個簡化版測試環境,同時建一個只拿掉報導指控原因的對照組(上面的案例裡,對照組改用獨立的臨時資料庫)。兩邊唯一的差異就是那一個被指控的原因,如果 Agent 在有原因的版本裡造成傷害的比例明顯高於對照組,就是這個原因確實造成傷害的證據。整個重建過程由多個 Agent 分工:不同廠商的模型負責收集報導、建立重建環境,再由另一家廠商的模型審查重建是否忠於原報導,最後用程式碼判定傷害是否真的發生。
- 為什麼重要:這篇論文告訴你,Agent 安全防護如果只盯著「有沒有被注入惡意指令」,可能抓錯重點——大多數真實發生的傷害,Agent 根本沒有被攻擊,只是忠實執行了任務卻撞上了一個平常存在的風險。
深入要點
- 108 次重建嘗試,89% 成功重現原始報導的傷害
- 5 個現役模型家族(GPT、Claude、Gemini、DeepSeek)在有指控原因的版本裡,做出報導中同樣錯誤的比例是 18–33%;拿掉原因之後最多 1%
- 72 起有實害的事故裡,62 起沒有攻擊者,屬於「Agent 照做任務但忽略了一個平常風險」
- 沒有攻擊者的重建案例,造成的傷害反而比提示注入的重建案例更嚴重,5 個模型都是如此
- 一句點名「這個操作有什麼風險、會造成什麼後果」的工具輸出後提醒,能降低所有測試模型的傷害;但一句同樣長度、不提風險的提醒幾乎沒有效果
- Limitation:重建只在模擬環境裡跑單一 Agent 迴圈,只有 10 個破壞性操作案例額外在正式產品上驗證過,重現率不能直接當成正式產品的真實風險比例;另外有 12 起事故因報導本身沒寫清楚觸發機制而無法重現
Reviewer 一句話評
配對照組重建真實事故的設計,是目前評估 Agent 安全最貼近實務的方法之一,而且作者誠實公開了重現失敗與盲測複核分歧的比例;但這套方法目前只驗證過模擬環境,離「能代表正式產品真實風險」還有一步要走。
給你的 take-away
- 如果你在設計 Agent 安全防護:別只防提示注入,先盤點「正常任務執行但環境本身有風險」的情境(共用資料庫、正式/測試環境沒分開),這篇論文顯示這類風險造成的傷害比攻擊更常見
- 如果你在寫工具或 API 的回傳訊息:在高風險操作的工具輸出後面加一句明確點名風險和後果的提醒,這篇論文顯示這個簡單做法對所有測試模型都有效
論文三|Pro² Agent:讓自動科研 Agent 先搞懂問題,再動手做實驗
Pro$^2$ Agent: Scientific Problem Probing for Autonomous AI R&D Yixiong Chen, Liqian Peng, Tian Tan et al.(Google + Johns Hopkins University) · arxiv: 2611.25357
TL;DR
讓自動 AI 研究 Agent 的核心狀態從「目前的程式碼」換成「目前對問題的理解」(哪些瓶頸、哪些候選解法、驗證到哪一步),在完整 MLE-Bench 上把已發表最佳成績從 70.7% 推到 76.0%(48 小時預算),同時誠實列出做不到的案例。
編輯判斷
| 面向 | 判斷 |
|---|---|
| Venue | arXiv preprint(未經同行審查) |
| 引用速度 | 發布約 3 天,preprint 尚無引用資料 |
| 機構 | Google + Johns Hopkins University(Liqian Peng、Alec Go 任職 Google Research;Alan Yuille、Yixiong Chen 標註 Johns Hopkins University) |
| 社群反應 | 未見於 HF Daily Papers / 未見於 Papers with Code |
| 可信度 | 通過 — 在完整 MLE-Bench(非抽樣子集)加 PostTrainBench 上測試,並對照同一套 Agent 骨架但拿掉問題狀態的版本做消融,同時給出失敗案例分析 |
| 證據成熟度 | 較完整 — 完整基準 + 消融實驗 + 定性案例研究,但 70.7%/76.0% 是跟已發表的最佳成績比較,不是在相同預算下重新跑過的外部基準線 |
| 可復現性 | 部分產物 — 基準本身(MLE-Bench、PostTrainBench)公開,但方法本身沒有公開程式碼 |
| 為什麼選這篇 | 直接 — 直接改進自動科研 Agent 的核心架構設計,是今天唯一的新方法論文 |
| 方向新意 | 實質增量 — 把自動科研 Agent 常見的只在程式碼上迭代,改成先建立並維護一個顯式的問題狀態,並用控制實驗測試假設 |
| 今日重要性 | 中 — 對做自動科研/自動實驗 Agent 的團隊有直接參考價值,對一般 Agent 開發者是間接啟發 |
| 實務連結 | 明確 — 問題狀態的設計(追蹤瓶頸、候選解法、假設驗證狀態)可直接套用到其他長程、需要診斷式推進的 Agent 任務 |
| 編輯信心 | 中 — 消融實驗支持問題狀態本身帶來的增益,但跟外部最佳成績的比較不是同預算下的對照實驗 |
| 閱讀建議 | 略讀 — 對做自動科研/自動 ML 工程 Agent 的團隊是必讀,對一般讀者是了解一個新的 Agent 狀態設計思路 |
| 主要限制 | 70.7%/76.0% 的比較基準是文獻中已發表的最佳成績,不是作者在相同條件下重新跑出來的外部基準線 |
領域背景
現有的自動科研 Agent(例如 AIDE、MARS)大多把任務狀態等同於目前的程式碼版本,靠反思記憶比較不同版本的分數高低。這種做法在簡單任務上有效,但遇到困難問題時,Agent 容易卡在錯誤的解法區域裡,因為它從來沒有把「我現在認為問題出在哪裡」這件事明確寫下來。
中階導讀
- 問題:想像一個新進研究員拿到一個困難的機器學習題目,他只盯著目前這版程式碼分數多少,不斷小修小改,卻從沒把「我覺得現在卡住的原因是什麼、我猜哪個方法可能解決它」寫成一份清楚的筆記。結果他可能在同一個錯誤方向反覆嘗試,卻沒有意識到問題出在別處。
- 方法:Pro² Agent 幫 Agent 維護一份問題狀態:裡面記錄目前懷疑的瓶頸是什麼、哪些候選解法可能處理這些瓶頸、每個假設目前被驗證到什麼程度。一開始,Agent 先全面分析可用的資源和限制,初始化這份問題狀態;接著針對性地研究,把已識別的問題和候選解法連起來;然後透過控制好的假設測試(一次只改一個變因),更新「這個問題有多嚴重」或「這個解法有多少幫助」的判斷。
- 為什麼重要:對做自動科研/自動機器學習工程的團隊而言,這提供了一個具體、可操作的架構升級方向——與其讓 Agent 無止盡地在程式碼空間裡亂試,不如讓它先把對問題的理解明確寫下來,再根據這份理解做有方向性的搜尋。
深入要點
- 在完整 MLE-Bench 上,24 小時預算下打平已發表最佳成績(70.7% 奖牌率),48 小時預算下推到 76.0%,是目前完整版基準上最高的奖牌率
- 在 PostTrainBench 上也有競爭力的表現,但論文沒有列出完整數字
- 消融實驗顯示:在困難任務上,有問題狀態的版本比沒有的版本,找到專家級技巧的比例更高,且在相同技巧發現率下,解法品質整體更高
- 案例研究刻意納入兩個失敗案例:一個撞到計算資源可行性的上限,另一個留下一個沒解決的多步推理瓶頸——不是只秀成功案例
- Limitation:跟文獻最佳成績比較不是同預算、同條件下重新跑出來的外部對照,論文本身也還沒被外部重現
Reviewer 一句話評
把問題狀態明確寫成 Agent 要維護的核心資料結構,是對現有自動科研 Agent 架構一個紮實的改進方向,消融實驗也支持這個設計本身(不只是多花運算資源)帶來增益;但跟文獻最佳成績的比較仍是作者自己的複現,外部驗證還沒出現。
給你的 take-away
- 如果你在做自動科研或自動機器學習工程 Agent:參考問題狀態的設計,把目前懷疑的瓶頸、候選解法、假設驗證狀態明確結構化,而不是只靠反思記憶比較程式碼版本的分數
- 如果你在評估自動科研 Agent 的能力:注意看它有沒有留下可追蹤的推理紀錄(像本文的案例研究),而不只是看最終分數,這樣才能判斷它是真的理解問題還是碰巧猜對
今日收穫
之前以為「Agent 安全」主要是攻防問題——有攻擊,才有事故;今天這兩篇讓我重新理解:安全的極限其實更深——從理論上看,保證安全這件事本身就不可判定,連有限版都算不完;從實務上看,大多數真正發生的傷害根本沒有攻擊者,只是任務正常執行卻撞上一個平常風險。安全治理要同時面對這兩層現實,而不是只顧著防攻擊。