Skip to content

AI Engineer 面試日練 — 2026-11-21:Paper Reading

2026年11月21日1 分鐘
TL;DR今天的論文是 HEAMS(arXiv:2611.20144,Mila 團隊,2026-11-15 發布),它把 agent 記憶系統的評測拆成效能、效率、隱私、使用者主權、安全五個獨立維度分開報告。實測發現 HippoRAG 在 BEAM 三個資料量級的準確率都拿第一,卻在隱私測試裡 94.79% 的回答被判定有幫助、同時 71.74% 洩漏了不該洩漏的欄位;使用者要求刪除記憶,成功率最高的系統也只有 47%,編輯成功率沒有一個系統超過 3.66%。練習題模擬面試官丟一個「準確率全公司最高但使用者投訴洩漏跟刪不掉」的案例,要你重新設計上線前的評測框架。

查詞與收藏

正在載入查詞工具…

English version

今日主題

星期六固定讀一篇剛掛上 arXiv 的論文,練的是面試裡「給你一篇論文,討論怎麼套到你們系統上」這種環節——考官不在乎你有沒有背過這篇論文,在乎的是你能不能把論文的核心主張講成一句可執行的工程判斷。

今天選的是 HEAMS,一篇質疑「agent 記憶系統只看任務準確率就夠了」這個預設的論文。它的立場很直接:記憶系統存的是使用者的持久資訊,責任不只是幫 agent 把任務做完,還包括隱私、使用者主權(能不能看、能不能刪、能不能改)、安全(抗不抗得住被植入的惡意內容)。這三件事跟「準確率」是三條完全獨立的曲線,而且作者用六個真實系統的對照實驗證明了這件事——這剛好是 ML system design 面試最愛問的題型:你怎麼知道一個系統可以上線。

核心概念速記

記憶系統是使用者資訊的「受託人」,不是單純的資料庫

記憶系統存的東西會活得比任何一次 agent 執行還久,而且常常被同一個使用者底下好幾個 agent 共用,包括使用者自己沒檢查過、不能完全信任的 agent。所以保留、刪除、防投毒這些責任該放在記憶系統這一層,不能指望每個呼叫它的 agent 自己把關——被問到「記憶系統跟使用它的 agent 之間權責怎麼切」時,這是最乾淨的答案:task agent 的責任是用資訊完成任務,記憶系統的責任是替使用者把關這些資訊的進出。

效能分數跟隱私、安全分數是兩條獨立的曲線,不會互相保證

一個系統在對話記憶類 benchmark(LoCoMo、LongMemEval、BEAM)拿高分,完全不代表它在隱私或安全測試裡也會過。HEAMS 的實測顯示 HippoRAG 在 BEAM 三個資料量級(100K/500K/1M)的準確率都拿第一(58.71%–61.25%),但在 Contextual Integrity benchmark 上,94.79% 的回答被判定「有幫助」,卻有 71.74% 同時洩漏了不該洩漏的欄位。被問「怎麼知道一個系統可以上線」時,正確答案是:效能過關只是必要條件,不是充分條件。

Governance layer 把隱私、安全變成可調的旋鈕,不是換一個記憶系統就能解決

HEAMS 把 governance 設計成包在任何記憶系統外面的一層,寫入時篩一次、讀取時篩一次,兩次可以獨立開關。幫 MilaMem 加上「necessity-gated」的 recall policy 後,Contextual Integrity benchmark 的洩漏比例從 57.61% 砍到 31.82%,代價是 helpfulness 掉了 4.8 個百分點;如果同時打開 retention 跟 recall 兩道關卡,對抗記憶投毒的抵抗力從沒有 governance 時的 40.00% 衝到 88.61%。這代表隱私跟安全不是靠換一個「更好」的記憶系統解決,而是靠願不願意為了保護使用者犧牲一點點好用度。

使用者主權最容易被忽略:刪除跟編輯的實際執行率經常低到嚇人

即使是設計成支援刪除的系統,實測成功率最高的 MilaMem 也只有 47.00%,Letta 是 19.00%,其他系統(In-context、Mem0、HippoRAG)對自然語言的刪除請求全部是 0.00%——HippoRAG 只能對完全一致的文字做刪除,聽不懂使用者用口語講的刪除要求。編輯的表現更差,所有系統都沒超過 3.66%。被問「怎麼驗證刪除有沒有真的生效」時,關鍵是用成對探測:請求前先確認 agent 真的知道這件事,請求後再問一次,兩次都答對才算這筆刪除「真的生效」,不然系統可能只是本來就不知道這件事而已。

核心記憶功能本身不會過濾惡意內容,必須靠額外的防線

MilaMem 在完全沒有 governance 的狀態下,面對 MPBench 的記憶投毒攻擊只能抵抗 40.00% 的攻擊,面對它最弱的那一類攻擊只能抵抗 25.00%——代表儲存跟檢索這兩個核心功能,本來就不是設計來分辨「有用的內容」跟「惡意的內容」。把 retention governance(寫入時篩檢)跟 recall governance(讀取時篩檢)兩道都打開,抵抗力才衝到 88.61%,而且就算兩道都開,還是有 11.39% 的回答被攻擊成功——被問到資安話題時,誠實講「沒有一種設定是完美的」比講「我們做了防護所以沒問題」更能展現對 trade-off 的理解。

Recall governance:讀取前先問一句「這次任務真的需要嗎?」
12洩漏風險3任務需要Agent 查詢任務所需的記憶記憶系統依 top_k=10 撈出候選記憶Recall governanceLLM 逐筆檢查:這次任務是否明確需要這筆記憶?判斷:不確定/不需要→ 隱藏,不交付給 agent判斷:明確需要→ 交付給 agent,用於回答
  1. Agent 要回答使用者的問題,記憶系統先用語意相似度撈出 top_k=10 筆候選記憶,這些記憶還沒有被篩選過。
  2. necessity-gated 的 recall governance 用一個 LLM 逐筆檢查:這次任務『明確需要』這筆記憶嗎?判定不確定或不需要的記憶,直接被隱藏,agent 永遠看不到。
  3. 判定明確需要的記憶才會交給 agent 寫進回答——論文的對照實驗顯示,加上這道關卡後,Contextual Integrity benchmark 的洩漏比例從 57.61% 砍到 31.82%,代價是 helpfulness 掉了 4.8 個百分點。

簡化示意:只畫 recall 階段這一道關卡,省略寫入時的 retention governance;數字取自 MilaMem 加裝 necessity-gated recall policy 前後的對照(論文 Table 5)。

今日練習題

題目

你們的 agent 用一套記憶系統上線,LongMemEval 準確率是全公司測過的所有方案裡最高的。上線三個月後收到兩類抱怨:一是使用者幾個月前要求刪除的個資,後來又在 agent 的回答裡冒出來;二是有使用者發現 agent 把他的旅遊計畫細節講給另一個使用者聽。你會怎麼重新設計上線前的評測框架,在下一次改版前就抓到這類問題?

來源:改編自 HEAMS(arXiv:2611.20144,Mila – Quebec AI Institute,2026-11-15 發布)的實證發現 難度:進階 環節:ML system design / onsite system design round

拆解思路

  1. 先釐清問題:問清楚「刪除後又出現」具體是哪一種失敗——是刪除請求根本沒有從儲存層移除,還是移除了但 agent 能從別的管道(例如語意相似的其他片段)重建出同樣的事實;也要確認「洩漏給另一個使用者」是讀取階段的問題,還是兩個使用者的記憶空間本來就沒有正確隔離。
  2. 建立框架:引用「記憶系統有五個獨立維度要分開報告」這個框架——效能、效率、隱私、使用者主權、安全,每個維度用專門設計的場景測,不合成一個總分,因為任何一個維度單獨拿高分都不保證其他維度也過關。
  3. 深入核心:舉出效能跟隱私互相獨立的具體反例(準確率全公司第一的系統,隱私測試的洩漏比例可能超過七成),說明光看準確率看不出使用者主權的問題。延伸到「刪除」要用成對探測:請求前先問一次確認 agent 真的知道這件事,請求後再問一次,兩次都答對才算這筆刪除「真的生效」,排除「本來就不知道所以看起來像刪掉了」的假陽性。
  4. 收尾:收斂成一句話——效能 benchmark 過了不代表可以上線,要在同一組設定上同時跑隱私、使用者主權、安全三類場景;而讀取跟寫入各加一道 governance 檢查,是目前唯一已知能把這些分數往好的方向搬動的做法,但不是免費的,要讓團隊自己決定好用度要犧牲多少。

範例回答(面試時可以這樣講)

先定義問題的真正範圍:我會先確認「刪除又出現」具體長什麼樣——是使用者的刪除請求沒有真的從儲存層移除,還是移除了但 agent 還能從別的管道重建出同樣的事實?這跟「洩漏給別的使用者」是不同的失敗模式,一個是使用者主權問題,一個是隱私問題,不能用同一個 benchmark 抓,也不能假設「準確率高」就代表這兩塊都沒事。

我會把評測拆成五個獨立維度分開報告:效能、效率、隱私、使用者主權、安全,每個維度用專門的場景測,不合成一個總分。這個做法有實證支持——HEAMS 這篇論文實測發現,HippoRAG 在 BEAM 準確率三個資料量級都拿第一,但在 Contextual Integrity benchmark 上,94.79% 的回答被判定「有幫助」,卻有 71.74% 同時洩漏了不該洩漏的欄位。使用者主權也一樣:即使是設計成可以刪除記憶的系統,實測刪除成功率最高也只有 47%,編輯成功率沒有一個系統超過 3.66%,很多系統刪除成功率直接是 0%。

收尾我會談怎麼把這變成可上線的門檻:對每個刪除或編輯請求用成對探測——請求前先問一次確認 agent 真的知道這件事,請求後再問一次,兩次都答對才算這筆請求「真的生效」,不能因為 agent 本來就不知道這件事而誤判成已刪除。另外我會建議在讀取路徑加一層 governance:用一個 LLM 檢查每筆要交給 agent 的候選記憶,是不是這次任務「明確需要」。論文裡這個做法把洩漏比例砍了快一半,換來大約 5 個百分點的 helpfulness 下降,我會建議團隊先上這個旋鈕,因為代價最小、效果最明確。

自我核對清單

用這張表檢查你的回答有沒有漏掉關鍵點:

核對項目有提到?
有先區分「刪除又出現」跟「洩漏給別的使用者」是兩種不同的失敗模式
有提到五個維度(效能/效率/隱私/使用者主權/安全)要分開報告,不合成單一分數
有舉出效能高分但隱私分數低的具體反例(例如 HippoRAG)
有講使用者主權要用「請求前後各問一次」的成對探測,排除「本來就不知道」的假陽性
有提到讀取跟寫入各加一層 governance 是目前已知能實際改善分數的做法,並給出數字
加分:有指出 governance 不是免費的,helpfulness/coverage 會跟著降,要讓團隊自己決定 trade-off 怎麼設

延伸閱讀

參考資料