目錄
今日總覽
今天三篇論文從不同層面回答同一個問題：「怎樣才算一個真正能用的 agent 系統？」SearchOS-V1 給出架構答案——把搜尋進度外顯成結構化狀態、記錄失敗路徑，讓 multi-agent 協作搜尋更可靠；AutoSynthesis 展示高度結構化的學術任務（系統性文獻統合分析）可以被 multi-agent 流水線全自動化；Digital Pantheon 則解決「如何讓 agent 在壓力下維持既定人設」的角色工程問題，並引入可審計的多 agent 協商架構。三篇合看，分別對應 agent runtime 設計、workflow 編排、與人設工程三個核心挑戰的最新解法。
讀這篇前該知道的詞
| 白話解釋 | 詞 |
|---|---|
| Reinforcement Learning from Human Feedback，用人類評分強化訓練 LLM 讓它更安全、更有幫助——但這也讓模型難以維持「立場鮮明」的行為 | RLHF |
| Direct Preference Optimization，一種比 RLHF 更簡單的訓練方式：給模型「好答案 vs 壞答案」配對，讓它學會偏好，不需強化學習獎勵函數 | DPO（直接偏好優化） |
| 蒐集多篇研究的數字，用統計方法算出「整體效果有多大」——學術界最耗時的工作之一，一次通常要幾個月人工 | meta-analysis（統合分析） |
| SearchOS 提出：記錄哪些搜尋路徑已嘗試且失敗，避免 agent 不斷走同一條死路，概念上像演算法裡的 visited set | Failure Memory（失敗記憶） |
| 追蹤 agent 搜到的資訊、它的來源、以及各資訊之間的關聯；確保每個資料點都有可溯源的引用出處 | Evidence Graph（證據圖） |
論文一｜SearchOS-V1: Towards Robust Open-Domain Information-Seeking Agent Collaboration
作者: Yuyao Zhang, Junjie Gao, Zhicheng Dou 等 14 位 · 機構: 中國人民大學高瓴人工智慧學院 ＋ 螞蟻集團 · arxiv: 2607.15257 連結: arxiv · alphaxiv · GitHub
TL;DR
搜尋型 agent 老是卡迴圈？SearchOS 把搜尋進度變成「顯性的共享狀態」，加上失敗記憶機制，讓 multi-agent 協同搜尋比 baseline 快 24%、F1 提升 4.3 分。
Read Priority
必讀 如果你在做任何需要 web search 的 agent（deep research、RAG pipeline、資料查詢），這篇直接給你 production 系統的架構藍圖。
領域背景
LLM agent 加上 web search 工具是 2026 年的標配，但一旦搜尋沒找到有用資訊，agent 很容易原地打轉——換個關鍵字再搜、再換、再搜，浪費 token 預算卻找不到答案。現有的 single-agent 和 multi-agent 系統都把「搜尋進度」藏在 prompt 上下文裡，隱性且脆弱，多個 agent 無法有效共享狀態協作。
中階導讀
問題
想像你請 agent 研究「各國電動車補貼政策」。它開始搜尋，搜了德國、搜了美國，但日本那篇沒找到——於是它再搜「Japan EV subsidy」，還是沒有，又試「日本 電動車 補助」……最後耗盡搜尋預算，回傳一份殘缺報告。問題根源：agent 不知道「我已試過什麼」、「還缺哪些資料」。
方法
SearchOS 提出 SOCM（Search-Oriented Context Management，搜尋導向上下文管理），把搜尋狀態外顯成四個結構：Frontier Task（下一步要搜什麼）、Evidence Graph（已蒐集的資訊與來源）、Coverage Map（哪些欄位已填、哪些仍空）、Failure Memory（哪些搜尋路徑已失敗）。這個狀態對所有協作 agent 共享。系統另加一層 Search Tool Middleware Harness（搜尋工具中介層）攔截工具呼叫、記錄證據，並在搜尋卡住時自動觸發恢復策略。任務被形式化為「關聯式 schema 補全」（relational schema completion）——agent 的工作就是把一張表格填滿、每格都要有引用出處。
為什麼重要
對 agent 平台開發者而言，這篇提供了可直接落地的架構方向：state 要外顯、failure 要記憶、middleware 要攔截並記錄。這些概念可對應到 LangGraph 的 state graph、LangSmith 的 trace，或自建的 agent runtime 設計。
深入要點
- SOCM 核心思想：把 agent 工作記憶從 prompt context 移到結構化外部狀態，避免隨 context window 增長而失真或遺忘
- Evidence Graph 用圖結構儲存引用關係，每個 node 有 grounded citation，資訊可溯源，適合用來做 hallucination 檢查
- Failure Memory 讓系統在多輪或多 agent 場景下不重複無用路徑，概念上類似 BFS/DFS 的 visited set
- Search Tool Middleware Harness 的設計讓 budget 管控和 stall 偵測「不改 LLM 本身」就能實現，可遷移到任何工具呼叫框架
- Hierarchical skill system（階層式技能系統）讓搜尋子任務可封裝成可重用技能，降低 prompt engineering 重複工作
- 評估 benchmark：WideSearch 和 GISA 兩個開放域資訊搜尋基準
- 結果：WideSearch F1 提升 4.3 分，端到端搜尋時間縮短 24.3%，在所有 single- 和 multi-agent baseline 中表現最佳
- ⚠️ WideSearch 是 Ant Group 相關機構的資料集，存在自家測試集偏差風險；GISA 為外部 benchmark，結果較具參考性
- Limitation：系統需要預先定義 schema 結構，對完全開放式任務的 schema 自動生成尚未深入討論
Reviewer 一句話評
架構設計扎實、四組件切割工程感強，是近期 agent runtime 論文中少見有完整系統設計的一篇；但實驗依賴自家資料集，且 F1 +4.3 在沒有外部驗證的情況下請保持觀察態度——整體偏向工程報告多於學術研究。
給你的 take-away
- 在設計 agent 的搜尋迴圈時，參考 SOCM 四組件：把「已知、待搜、失敗、已搜」分開維護，比塞在 prompt 裡更可控、更易 debug
- 你的 agent 有 search budget 管控嗎？Middleware Harness 的攔截模式可直接套用：在工具呼叫前後加 hook，記錄結果並在 stall 時觸發備援邏輯
論文二｜AutoSynthesis: An agentic system for automated meta-analysis
作者: Moein Taherinezhad, Francesco Pierri（Politecnico di Milano）· Sebastian Maier, Stefan Feuerriegel（LMU Munich / MCML）· Gerardo Vitagliano（MIT CSAIL） · arxiv: 2607.15247 連結: arxiv · alphaxiv
TL;DR
統合分析（meta-analysis）本來要幾個月人工，AutoSynthesis 用 multi-agent 流水線把它變成：輸入一個研究問題，輸出一份符合學術規範（PRISMA）的完整分析報告。
Read Priority
📖 略讀 做 AI for science、文獻分析自動化、或想了解「如何把複雜領域任務拆成 agent pipeline」的讀者值得一看。純 agent 平台工程師可選讀。
領域背景
Meta-analysis（統合分析）是醫學、社會科學的黃金標準：把數十篇研究的數字合計，算出「這個介入真的有效嗎、效果多大」。問題是流程極度繁瑣——搜文獻、篩選、讀全文、抓統計數字、算 effect size（效果量）、跑統計模型——一個人做要幾個月，而且每換一個研究問題就要重來。
中階導讀
問題
研究者想知道「AI 生成的說服性文字比人工撰寫更有說服力嗎？」要回答這問題，需要找出所有相關研究、篩選哪些符合條件、從每篇抓出效果數字、再用統計方法合計——整個過程可能要一個人花幾個月。
方法
AutoSynthesis 把流程拆成 8 個 agent 階段，逐步處理：
- 根據研究問題產生搜尋策略
- 搜尋學術文獻資料庫
- 篩選標題與摘要（title/abstract screening）
- 讀全文判斷是否符合納入標準（full-text eligibility）
- 從符合論文中提取統計數字
- 計算標準化效果量（Hedges' g）
- 執行隨機效果統合分析（random-effects meta-analysis）
- 產出 PRISMA 格式報告，附異質性分析與偏誤風險評估
為什麼重要
這是「agent 執行高度結構化專業任務」的完整示範。對 agent 平台的啟示：複雜任務可以用 deterministic pipeline 架構（每個 agent 只做一件事、輸出格式嚴格定義）來規避 LLM 的不穩定性，且每個階段可獨立評估品質、單獨替換。
深入要點
- 8 階段 agent pipeline 對應領域專家的標準作業程序（PRISMA checklist），「先定 SOP 再 agent 化」的方法論值得借鑑
- 案例研究：對「AI 生成說服性文字」這個研究問題，搜到 28 篇 → 標題摘要篩後 25 篇 → 全文審後 19 篇符合 → 最終納入 8 篇，共計 20 個 effect size 估計值
- 產出的 Hedges' g 效果量與人工進行的同主題 meta-analysis 結果接近，顯示系統統計步驟正確性
- 系統支援異質性分析（Heterogeneity analysis）：自動探索哪些因素讓效果量在不同研究間產生差異
- 並支援 risk-of-bias 評估（研究偏誤風險評分），接近完整的 PRISMA 規範輸出
- ⚠️ 論文只提供一個案例研究（最終納入 N=8 篇論文），缺乏大規模 benchmark，系統泛化性尚待驗證
- 與現有框架的關係：pipeline 架構類似 LangGraph 的 sequential graph，但領域知識（PRISMA 規則、Hedges' g 計算）hardcoded 到 prompt，遷移到其他領域需重新設計
- ⚠️ 對非英文文獻的支援，以及無法取得全文 PDF 的情況，論文未明確說明處理方式
Reviewer 一句話評
系統設計清晰、對應真實痛點，PRISMA 對齊讓輸出具學術可信度；但只有一個 case study 且 N 非常小，目前更像概念驗證，結論的泛化性需謹慎。統計結果令人鼓舞，期待後續更大規模的評估。
給你的 take-away
- 需要「多步驟文件處理 ＋ 結構化輸出」的 agent 嗎？AutoSynthesis 的設計模式值得參考：先把人的 SOP 拆成階段，每個階段定義嚴格的輸入輸出格式，再用 agent 執行
- 「領域知識要 hardcode 到哪一層」是關鍵決策：把明確的專業規範（如 PRISMA 規則）直接放進 agent 的 system prompt，是降低 LLM 幻覺、提高輸出一致性的有效手段
論文三｜Digital Pantheon: Simulating and Auditing Coalition Formation with LLM Agents
作者: Dylan Van Mulders, Matthias Bogaert, Dirk Van den Poel（根特大學 Ghent University） · arxiv: 2607.15095 發表: AIDEM Workshop @ ECML PKDD 2026 連結: arxiv · alphaxiv
TL;DR
RLHF 訓練讓 LLM 太「溫和」，無法扮演立場鮮明的政黨談判者。這篇用 DPO 灌入黨派人設、用 RAG 綁定黨綱，打造能維持強硬立場的 agent，再讓他們模擬真實選後的多黨組閣協商。
Read Priority
📖 略讀 對 agent persona 工程、DPO 微調應用、或 multi-agent 協商系統有興趣的讀者值得一看。「如何讓 agent 在壓力下不偏離預設人設」是許多產品都會遇到的問題。
領域背景
用 LLM 模擬人類行為（社會科學研究、談判訓練、adversarial testing）是近年熱門應用。但標準 RLHF 訓練讓 LLM 天生傾向中立、樂於妥協——對日常使用是優點，但對「需要 agent 維持強硬立場」的場景是嚴重障礙：agent 扮演強硬政黨幾輪對話後就開始軟化，模擬失真。
中階導讀
問題
2019 年比利時法蘭德斯地區大選後，多黨必須談判組成聯合政府。研究者想用 LLM agent 模擬這個協商過程，但 LLM 被 RLHF 訓練成「友善、願意妥協」，扮演強硬右翼或強硬左翼政黨時，幾輪對話後就開始偏離黨的立場，模擬完全失真。
方法
三層解法組合：
- SFT（監督微調）：先用各黨的發言風格資料微調基礎模型，建立基本語氣
- DPO（直接偏好優化）：用「這個回應符合黨的立場（正例）vs 這個太中立/妥協（負例）」的配對資料強化 agent，讓它學會「頑固」
- Per-party RAG：每個 agent 各自有一個「本黨黨綱知識庫」，回答時從官方黨綱取出依據，確保立場有事實基礎而非 hallucination 談判架構採用 hub-and-spoke（輪輻式）：一個 formateur agent（組閣人）居中協調，各黨 agent 分別與它談判，所有溝通都有記錄可審計。
為什麼重要
「如何讓 agent 在對話壓力下維持預定行為」在很多產品場景都存在：客服 agent 維持品牌語氣、教育 agent 維持教學風格、role-play agent 維持角色設定。DPO ＋ RAG 的組合是一個可跨域複用的技術框架。
深入要點
- DPO 在這裡的作用不是讓 LLM「更好用」，而是讓它「更頑固」——這是 DPO 被用於 agent persona 工程的少見案例，提供了一個反向應用思路
- Per-party RAG 確保每個 agent 的立場有事實依據（官方黨綱），而非 LLM 的推斷或 hallucination，這是 RAG-grounded persona 的示範
- Hub-and-spoke 架構讓所有協商溝通都經過 formateur agent，方便完整記錄談判軌跡，是可審計（auditable）的 multi-agent 設計
- ⚠️ 只有一個 case study（2019 年法蘭德斯選舉），SFT/DPO 訓練資料的來源與規模在論文中描述較簡略
- 與現有框架的關聯：DPO persona 工程可套用在任何「需要 agent 角色堅守立場」的場景；RAG-grounded persona 是對抗 LLM 立場漂移的低成本手段
- 落地門檻：需要有品質的 DPO 訓練配對資料（正例 vs 負例），資料準備是最大難題；RAG 部分相對門檻較低
- ⚠️ 論文缺乏量化對照實驗（例如 DPO 前後的立場維持率比較），主要是定性分析，結論請謹慎外推
Reviewer 一句話評
DPO 用於 agent persona 工程的思路創意十足，hub-and-spoke 協商架構設計合理；但實驗設計薄弱（單一 case、缺乏量化對照），更像是技術概念驗證加 political science 故事包裝，而非嚴謹的 agent 研究論文。
給你的 take-away
- 你的 agent 有「立場漂移」問題（對話幾輪後偏離預設人設）？先試低成本方案：把 agent 的「行為依據」綁定在一個專屬 RAG 知識庫，讓它回答時從那裡取依據
- DPO 微調是更根本的解法，關鍵是準備「符合人設的正例 vs 偏離人設的負例」訓練配對；如果你有標記資料，這是值得投資的技術路線
參考資料
Loading...