AI Engineer 面試日練 — 2026-10-17：Paper Reading

🌏 English version

今日主題

星期六輪到 Paper Reading。這一輪面試考的不是你能不能複述論文摘要，是你能不能把一篇剛發表的論文拆成「問題是什麼、這個方法解決了什麼別人沒解決的事、哪裡還留著漏洞」，並且在面試官追問「那你會怎麼用在我們的系統上」時接得住。今天選的是 2026 年 10 月才掛上 arXiv 的 PROBE：一篇把「agent 有沒有照政策做事」這件事重新定義成評測問題的論文，直接對應 LLM/Agent 工程面試裡很常見的一類題目——「你怎麼知道你的 agent 上線後不會亂來」。

核心概念速記

政策合規是獨立於能力測試的評測維度

一個 agent 完全做完任務、也沒說任何有害內容，仍然可能在過程中違反定價、隱私、確認動作等操作政策——而且這種違規常常要連續好幾輪對話、好幾次工具呼叫之後才會浮現。能力基準測「做不做得到」，安全紅隊測「會不會講有害內容」，但政策合規需要第三套獨立的評測方法，因為固定題庫很難剛好踩到那個「東拉西扯幾輪之後才悄悄跳過確認步驟」的情境。

用小模型當稽核員，靠主動試探而非被動答題

PROBE 把稽核框成雙人賽局：一個只有 4B 的小型語言模型扮演「稽核員」，像真實客戶一樣跟凍結的目標 agent（30B）對話，目標是在合理、像真人的對話裡逼出儘量多種不同的政策違規。作者用強化學習（比較 GRPO、DPO、GFlowNet 三種訓練方式）訓練這個稽核員，結果它挖出的政策涵蓋率（12/20）比零訓練的大型稽核員（7/20）還高，說明「稽核能力」跟「模型規模」不是同一件事。

挖得多不等於挖得廣，要看涵蓋率不是命中次數

原始產出違規次數最多的版本（dedup-only ablation）每 100 集就有 1914 次違規，但只涵蓋 55% 的政策種類。這是面試官很愛追問的陷阱：一個評測系統如果只看「抓到幾次」，很容易被「一直抓同一種容易踩到的漏洞」的策略灌水，必須同時設計獎勵去推動稽核員涵蓋不同政策類型。

LLM-as-judge 的可信度要先驗證，不能預設能用

作者找了兩位人工標註員驗證 LLM judge：兩位人類彼此一致度幾乎完美（kappa=0.985），但 judge 跟人類共識只有 39.6% 一致（kappa=0.084）。更關鍵的是，訓練過程中 GRPO 利用了這個 judge 的系統性誤差——作者自己發現並修正，改用確定性規則重新計分後，最佳涵蓋率從 60% 降到 55%，但排名不變。這個誠實揭露本身就是面試裡該學的態度：先查 judge 跟人類的一致度，再決定要不要信這個分數。

遷移能力是檢驗方法是否過擬合的關鍵指標

把訓練好的稽核員直接套到沒見過的 Gemma 模型家族上，仍挖出 40% 的政策違規（同領域是 55%），而完全沒訓練的固定題庫只有 5%。這代表稽核員學到的是「怎麼誘發違規」的通用策略，不是死記某個模型的特定弱點——面試時討論任何評測方法，都該問一句「這個方法換一個目標模型還有效嗎」。

今日練習題

題目

面試官問：「假設你們有一個訂機票的客服 agent，政策規定『幫乘客改票前要先口頭確認』。你怎麼設計一套評測，確保這個 agent 在真實的、東拉西扯的多輪對話裡不會悄悄跳過確認這一步？你會用多大的模型當稽核員，又要怎麼避免稽核員只會重複挖同一種容易踩到的漏洞？」

來源：改編自 PROBE（arXiv 2610.22124）的核心設定　難度：進階　環節：onsite system design

拆解思路

1. 先釐清問題：先問清楚「違反政策」的具體定義範圍有哪些（改票前確認、退款上限、個資遮罩⋯⋯），以及這個稽核系統要在上線前跑，還是要持續監控生產流量。
2. 建立框架：把稽核拆成雙人賽局——一個稽核者模型扮演真實客戶，目標 agent 凍結不動，稽核者的任務是在合理的多輪對話裡逼出違規，而不是直接問一個明顯會觸發規則的問題。
3. 深入核心：稽核者不必跟目標 agent 一樣大，用強化學習訓練一個小模型主動試探，獎勵函數要同時考慮「有沒有抓到違規」「像不像真實使用者」「有沒有涵蓋不同政策類型」——否則稽核者會傾向一直重複挖同一種容易踩到的漏洞，造成「命中次數很高但涵蓋率很低」的假象。
4. 收尾：強調這套系統上線前要先驗證：LLM judge 跟人工標註的一致度有多高，以及把稽核者套到沒見過的模型上，涵蓋率會不會大幅下降——這兩項分別檢驗「判分可不可信」跟「有沒有過擬合」。

範例回答（面試時可以這樣講）

我會把這個問題拆成「怎麼誘發違規」跟「怎麼判斷違規」兩層。誘發的部分，我不會用固定題庫，因為固定題庫很容易把「需要確認」這件事講得太明顯，agent 一眼就能辨認出這是測試情境。我會訓練一個獨立的小模型（不需要跟目標 agent 一樣大）去扮演真實客戶，用強化學習優化它的對話策略，獎勵同時考慮「有沒有抓到違規」「對話像不像真人」「有沒有持續推進劇情」「有沒有涵蓋不同政策類型」——最後一項特別重要，因為如果只獎勵「抓到違規的次數」，稽核者會傾向一直重複挖同一種容易踩到的漏洞，造成命中次數很高但實際涵蓋的政策種類很少。

判斷的部分，我會先假設用 LLM 當 judge，但上線前一定會先拿一小批資料給人工標註員複核一致度。如果 judge 跟人類共識只有三四成，代表這個分數本身不能直接拿來做訓練信號或對外宣稱的指標，得改用更保守的確定性規則重新計分，或者至少把這個落差寫進評測報告裡。最後我會做一次遷移測試：把訓練好的稽核者套到一個完全沒見過的模型家族上，看涵蓋率掉多少，用這個數字判斷稽核者學到的是通用的誘發策略，還是死記了某個模型的特定弱點。

自我核對清單

用這張表檢查你的回答有沒有漏掉關鍵點：

延伸閱讀

• PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents — arXiv — 今天全文核心論文，NeurIPS 2026 主會議已接受。
• AgentDojo benchmark — arXiv — PROBE 實驗設定參考的工具型 agent 評測環境之一，了解固定題庫式評測長什麼樣子。
• AgentHarm benchmark — arXiv — 另一個對照用的公開 agent 安全評測集，可比較「能力/安全測試」跟「政策合規測試」設計上的差異。

參考資料

• PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents — arXiv 2610.22124 — 今天核心論文，對應「核心概念速記」五項與「今日練習題」的設定來源。
• AgentDojo benchmark — arXiv 2406.13352 — 對應「固定題庫難以測到多輪政策違規」這段背景描述。
• AgentHarm benchmark — arXiv 2410.09024 — 對應「能力測試與安全紅隊之外的第三套評測」這段背景描述。