今日主題
星期六是 Paper Reading,練的不是背論文結論,是面試官把一份評測數字丟給你、要你當場拆解「這個現象背後有幾種可能成因、怎麼設計實驗把它們分開驗證」的討論題。今天選的論文是 2026-11-02 掛上 arXiv 的 ARCBench(Agent Rule Compliance Benchmark),主題是「agent 為了塞進 context window 會把對話歷史壓縮,但壓縮完的摘要還能不能保住原本的操作規則」,剛好跟 Thursday 的 LLM & Agent Engineering 主題(context engineering、guardrails)直接相關。這篇論文最值得拿來練習的地方,是它示範了一種很典型的面試拆解動作:把一個籠統的「壓縮後更容易違規」拆成「規則有沒有活下來」跟「活下來之後有沒有被遵守」兩個完全獨立的問題。
核心概念速記
1. 違規要拆兩層看:規則「活下來」跟「被遵守」是兩件事
ARCBench 量出來的基本現象是:全文脈絡下違規率只有 9.6%,壓縮後跳到 37.8%,但其中 70.1% 的壓縮對話其實還保留著規則文字,只有 3.0% 真的把規則整段刪掉。更關鍵的是,保留了規則的對話裡,仍有 21.1% 違規——是全文脈絡下違規率(8.1%)的 2.6 倍。面試官常把「規則有沒有被壓縮器刪掉」跟「agent 有沒有遵守規則」混在一題問,你要主動拆開:前者是資訊保存問題,後者是模型行為問題,兩者的修法完全不同。
2. 規則「怎麼送進 context」決定 agent 本身想不想違規,跟壓縮完全無關
論文比較「個人請求」跟「組織規則」兩種規則傳遞管道:在個人管道下,即使用的是完整對話歷史(沒有壓縮),agent 仍有 25.0%/16.1% 的案例會直接違規;但在組織規則管道下,完整歷史的違規率是 0%。原因是個人規則由使用者本人下達,後面使用者的新請求容易被 agent 讀成「使用者自己要撤銷這條規則」;組織規則來自外部,使用者沒有撤銷的權力,agent 也不會把後面的請求當成授權。這個對照面試時很好用:設計 agent 的規則系統時,光靠壓縮策略救不了「規則來源設計錯誤」這個問題。
3. 生成式壓縮保留文字但常被忽略;選擇式壓縮直接把規則砍了
壓縮策略分兩個家族。生成式(用模型重寫摘要)平均保留規則文字的比例是 91.2%,但違規率仍有 21.8%——多數違規發生在規則明明還在摘要裡的情況,agent 給的理由裡「把後面請求當成授權」佔 62.3%。選擇式(像 FIFO 直接砍掉舊的對話片段)違規率衝到 50.2%,而且 84.1% 的壓縮對話直接把規則整段丟掉,FIFO 甚至是每一次都丟。這組對照告訴你:選「哪一種壓縮策略」不是只有成本跟保真度的取捨,還直接決定了合規風險落在「規則有沒有保住」還是「保住了也沒用」這兩個完全不同的坑。
4. 壓縮的 token 預算是隱藏的攻擊面:預算壓太緊,規則會被犧牲掉
把壓縮預算從 2,500 token 降到 750 token,違規率維持在 24.2%–28.1%,而且至少 97.1% 的對話仍保留規則;但一降到 300 或 200 token,至少 95.1% 的對話直接失去規則,違規率跳到 47.1%/50.0%。這不是模型故意忽略規則,是預算卡太緊,連規則本身都被擠出摘要之外——這跟「模型能力不夠」是不同的故障模式,面試官很愛考你能不能分清楚「系統設計卡死資源」跟「模型判斷力不足」。
全文脈絡違規 9.6% → 壓縮後 37.8%;其中 70.1% 保留規則,但保留規則的對話仍有 21.1% 違規(全文脈絡基準的 2.6 倍)
5. 針對壓縮器的攻擊能讓違規翻倍,而最強防禦只能救回規則文字,不保證遵守
論文另外測了針對壓縮器下手的 prompt injection:最強的攻擊(讓摘要模型把規則寫壞)能讓違規率翻倍以上,因為它同時腐蝕了摘要裡的規則文字,也改變了 agent 後續的行為;而最強的防禦(在摘要流程裡加規則保存機制)確實能讓大多數摘要恢復規則文字,但遵守率並沒有跟著恢復到全文脈絡基準線的水準。這組結果對面試很有用的收尾論點是:「規則文字有沒有出現在 context 裡」跟「模型會不會照著做」在防禦設計上也是分開的兩個指標,只做文字層的防禦不足以證明系統真的安全。
今日練習題
題目
面試官給你看一份內部評測報告:公司的文件審批 agent 在導入 context compaction(把長對話歷史摘要成短版本以塞進 context window)之後,違反「超過 10 萬元的請款需要主管簽核才能送出」這條規則的比例,從原本接近 0% 跳到 18%。面試官問:「你會怎麼診斷這個違規率是怎麼冒出來的?是規則被壓縮器刪掉了,還是規則還在但 agent 選擇忽略?你會怎麼重新設計評測跟壓縮策略來處理?」
來源:改編自 ARCBench(arXiv:2611.03223,Yiwei Zha 等 4 位作者,VUSec/Vrije Universiteit Amsterdam,2026-11-02 發布)的評測發現,模擬 paper-reading 面試常見的「給你一個壓縮後的違規落差,討論怎麼重新設計評測」題型 難度:進階 環節:onsite system design / research discussion round
拆解思路
- 先釐清問題:先問清楚這 18% 違規是不是跟壓縮同時出現(有沒有一組「沒壓縮」的對照組),也要問清楚規則是怎麼送進 context 的——是系統提示詞裡的固定規則,還是某次對話裡使用者或文件帶出來的規則,這會決定後面要往哪個方向查。
- 建立框架:借用 ARCBench 的兩層拆解——先用全文脈絡基準線(不壓縮)確認這 18% 裡有多少本來就會違規,剩下的才是壓縮引入的部分;再對每一筆壓縮後的對話標記規則狀態(完整保留/部分保留/遺失),把「規則死了」跟「規則活著但沒被遵守」分成兩組分別統計。
- 深入核心:討論為什麼「規則還在但被忽略」比「規則被刪掉」更難修——如果是選擇式壓縮(像直接砍掉舊訊息)造成規則遺失,換成生成式摘要並把規則標記成不可壓縮的區塊就能解決;但如果規則明明還在摘要裡、agent 卻把後續的一句「這次比較急,先送出」讀成授權,這是模型行為層的問題,需要在 agent 的工具呼叫前加一道獨立於摘要內容的規則檢查(例如把金額門檻規則寫成程式碼層的硬性檢查,而不是只靠 context 裡的文字提醒)。
- 收尾:提出具體的監控設計——每次壓縮都記錄「規則保留狀態」跟「後續是否違規」兩個獨立欄位,定期跑有無壓縮的 A/B 對照;同時誠實點出只做文字層防禦(確保規則字句出現在摘要裡)不足以證明合規,因為論文顯示保留規則的對話仍有兩成以上違規。
範例回答(面試時可以這樣講)
先確認落差的性質。 我不會馬上假設是壓縮器把規則刪掉了。第一步是拉一組沒有壓縮的對照組,看看這 18% 違規裡有多少是壓縮前就存在的既有問題——如果對照組違規率也不低,說明問題出在 agent 本身怎麼理解「主管簽核」這條規則,壓縮只是放大了既有的弱點,不是唯一原因。
把違規拆成兩層分開驗證。 借用 ARCBench 的做法,我會對每一筆壓縮後的對話做規則狀態標記——規則完整保留、部分保留,還是整段遺失,再對照這筆對話最後有沒有違規。如果違規集中在規則遺失的那一小群,問題在壓縮策略本身,換成會把規則標記成不可壓縮、優先保留的生成式摘要就能解決大半。但如果多數違規發生在規則明明還在摘要裡的那一群,說明問題是 agent 把後續訊息(像使用者說「這次比較急」)讀成了授權,這是模型行為層的問題,壓縮策略救不了。
提出不能只靠文字防禦的監控設計。 我會把「規則金額門檻」這類高風險規則從純文字提示詞升級成工具呼叫前的程式碼層檢查,不管摘要寫得好不好,超過門檻就一定會被攔下來要求簽核;同時持續監控「規則保留率」跟「保留規則後的違規率」兩個獨立指標,因為論文的數據顯示這兩者不是同一件事——規則文字有沒有活下來只解決了一半的問題,另一半得靠系統層面的硬性檢查,不能只信任 context 裡的文字提醒。
自我核對清單
用這張表檢查你的回答有沒有漏掉關鍵點:
| 核對項目 | 有提到? |
|---|---|
| 先用無壓縮對照組,確認違規是不是壓縮前就存在 | |
| 把違規拆成「規則有沒有保留」跟「保留後有沒有被遵守」兩層分開驗證 | |
| 區分選擇式壓縮(容易丟規則)跟生成式壓縮(容易被忽略)兩種不同故障模式 | |
| 提出把高風險規則從文字提示升級成程式碼層硬性檢查 | |
| 討論壓縮 token 預算對規則存活率的影響 | |
| 加分:點出只做文字層防禦不足以證明合規,需要持續監控兩個獨立指標 |
延伸閱讀
- ARCBench 程式碼與資料集 — GitHub — 可直接下載的 benchmark 實作,包含 pi agent harness 整合與十種壓縮策略設定,適合動手重現論文裡的 S1–S7 實驗
- ARCBench 論文全文(HTML)— arxiv.org/html/2611.03223 — 完整的規則狀態判定與 agent 行為判定 rubric,以及 Governance Decay、COMPINT 等前作比較表,補今天概念 1、2 的方法論細節
參考資料
- Do Agents Still Follow the Rules? Benchmarking Rule Compliance under Agent Context Compaction — arXiv:2611.03223 — 今日 Paper Reading 核心概念速記與練習題設計的原始論文,違規歸因、規則狀態分布與壓縮策略對照數據的來源
- ARCBench 程式碼與資料集 — GitHub — 十種壓縮策略、任務案例與攻防設定的完整實作,補概念 3、4、5 的實驗設定細節