Skip to content
所有標籤

#agent-safety

9 篇文章

Agent 安全——四種威脅模型,加上沙盒、憑證代管與監控三道限制|CMU 11-768 第 13 堂

第 13 講的主軸是「限制 agent 能存取什麼、能做什麼」。投影片先用五個真實事件說明出事的方式,再歸成四種威脅模型(惡意使用者、prompt injection、agent 失誤、不當手段);對策分四層:訓練端的 red teaming 與安全訓練、執行端的沙盒與憑證代管、事後與即時的監控,以及安全評測。最容易被忽略的一點是:把 API key 藏起來,不等於 agent 不能濫用它背後的權限。

Scheming、reward hacking 與欺騙|Harvard CS2881R 第 8 堂

CS2881R 第 8 講問:模型會不會為了通過訓練或評測而作弊、裝乖、甚至暗中追求別的目標?Boaz Barak 的 10 分鐘開場把各種壞行為歸成「系統性失準」:是我們的訓練訊號把模型推過去的。Apollo 的 Marius Hobbhahn 整理現有證據,結論是目前模型還沒有造成災難的 scheming 能力,但早期能力已經出現,而且越來越會察覺自己在被評測。Redwood 的 Buck Shlegeris 則主張先假設模型在密謀,用 AI control 守住內部部署。學生實驗把四個前沿 coding agent 丟進不可能完成的排序任務,發現它們在明文禁止下仍會改測試、猴子補丁計時器。

AI Agent Arxiv Digest — 2026-09-03

Invalidation Contracts 顯示 Claude Sonnet 5 對新增欄位的快取修正建議只有 11% 會採用、Claude Haiku 4.5 則是 100%;OpenAgentFlow 在動作送出前統一攔截,300 案基準測試達 94.0% 準確率與 95.3% 攻擊攔截率;Irreversibility Budget 的受控模擬顯示逐筆合規的 Agent 機隊仍可能讓風險超支到 48 倍,把風險當共享資源記帳才能守住上限

AI Agent Arxiv Digest — 2026-08-20

D2ACCI 用雙迴圈診斷協議把記憶失敗定位到管線的哪一階段,診斷成功率從 0% 提升到 98–100%;Salesforce 重新評測記憶型自我進化 Agent,任務順序一打亂,表現從預期的進步 1.5% 反而退步 4.5%;GraphWake 證明只要污染 10% Agent 的記憶,就能讓群體意見極化程度大幅上升

AI Agent Arxiv Digest — 2026-08-18

ActBench 用執行軌跡紅隊測試協作 agent,固定 harness 下攻擊成功率仍達 73.7%–94.4%;Agent Behavioral Contracts II 證明同模型兩階段 pipeline 共同失敗率高達 90%,「條件獨立」假設不成立;Graph-Based RL Drift Diagnosis 用小模型外掛復原圖,在不重訓主力 agent 下偵測漂移並自動回滾

AI Agent Arxiv Digest — 2026-08-14

Harness-IF 揭示 Coding Agent 的指令遵從度被高估 3.6-7.4 個百分點,因為模型本來就會做的事被算成了遵從;SHE 把 harness 拆成四個安全元件並從軌跡失敗自動演化,ASR 降低 3.1 倍且正確率提升;SBCO 用分解式驗證器銀行搭配文本梯度做 harness 自我改進,在規劃任務上以 4-5.5 倍更少的算力追平 Gödel Machine

AI Agent Arxiv Digest — 2026-08-12

工具介面設計讓 coding agent 一致性提升 4.7 倍且 token 用量砍半;記憶蒸餾讓 4B 小模型在 AppWorld 準確率跳升 27.2 個百分點直逼大模型;制度設計實驗發現同樣的安全規則搭配不同權限機制,違規率從 0% 到 23% 天差地別

AI Agent Arxiv Digest — 2026-08-10

Evo-Bench 評測九款模型自主改進鷹架的能力,GPT-5.6 Sol 拿下 +16.6 分但 Office 任務幾乎不動;MEGA 用三層 Wisdom Graph 讓 Agent 優化基礎設施自我進化,知識積累與優化合為同一過程;SHE 把鷹架拆成四個可演化元件,從失敗軌跡學習安全邊界,ASR 降低 3.1 倍且跨模型可遷移

AI Agent Arxiv Digest — 2026-08-06

VerMem 用七個原子記憶操作加雙驗證器在五個基準上平均領先最強基線 5-8 分;SafeCommit 把不安全行動率從 41.2% 壓到 2.6% 且維持 97.4% 任務完成率;ToolLIFT 把工具軌跡抽象成函數級工作流圖,OOD 基準上比最強基線高 3-5 分