AI Agent Arxiv Digest — 2026-09-09

🌏 English version

今日總覽

今天三篇論文從三個不同角度做同一件事:把 Agent 開發裡「聽起來很合理」的設計直覺,放進受控實驗裡實測。MA-Evolve 把「多 Agent 團隊比單一 Agent 強」這個幾乎是預設立場的假設,拉到公平的呼叫預算下重新比——結果 Planner-Executor-Critic 團隊花了 1.8 倍的呼叫次數,表現卻跟單一 Agent 統計上分不出高下（0.769 vs 0.754，p=0.80）,價值全部集中在 Executor 一個角色。LinkedIn 的一篇受控研究問了一個更少人問的問題:模型升級之後,你的 Agent 記憶還記得住嗎?答案要看記憶格式——壓縮成自然語言筆記的記憶依遷移方向不對稱地暴漲暴跌,固定 schema 的知識圖卻幾乎沒有損失。MIT 團隊則在金融市場模擬裡發現一個反直覺結果:模型能力越強,彼此的非糾錯行為越相關——當這些模型共享一個錯誤的資訊環境時,原本該分散風險的多個 Agent,反而讓市場追蹤誤差衝到雜訊交易者基準的 5 到 7 倍。三篇合起來說的是同一件事:「更多 Agent」「有記憶」「換更強的模型」聽起來都是進步,但每一個都需要先問「用什麼機制驗證」,而不是預設它自動成立。

讀這篇前該知道的詞

詞	白話解釋
等呼叫預算比較（Iso-call Comparison）	比較單一 Agent 和多 Agent 團隊時,把兩邊消耗的語言模型呼叫總數鎖定一樣,而不是讓團隊多花錢卻只比對相同的任務輪數
留一角色分解（Leave-one-in Decomposition）	逐一只保留團隊裡的一個角色（例如只保留 Executor）做實驗,藉此找出整體表現的提升到底是哪個角色貢獻的
記憶可攜性（Memory Portability）	Agent 換了底層模型之後,原本累積的記憶還能不能被新模型正確讀懂、用上
保留績效比（Retained Performance After Swap, RPAS）	用新模型讀舊模型寫的記憶,跟新模型讀自己寫的記憶相比,還剩下多少比例的表現
非糾錯行為（Non-corrective Behavior）	Agent 的行動中,無法用「糾正系統偏離真實狀態」來解釋的殘餘部分,可能來自框架偏誤、習得的捷徑或雜訊
不可分散風險下限（Non-diversifiable Risk Floor）	即使把 Agent 數量拉到無限多,只要它們的非糾錯行為彼此相關,整體風險依然有一個降不下去的底線

---

論文一｜多 Agent 團隊,公平比較下並沒有比較強

At Equal Inference Cost, Multi-Agent Structure Does Not Beat a Single Frozen Agent David Dylan, Aoife Brennan, Cian Murphy et al.（Trinity College Dublin + University College Dublin + Dublin City University）　·　arxiv: 2609.04217

連結: arxiv · alphaxiv

TL;DR

把單一 Agent 和 Planner-Executor-Critic 團隊放在完全相同的語言模型呼叫預算下比較,團隊花了 1.8 倍的評估呼叫,表現卻跟單一 Agent 統計上分不出高下（ALFWorld 上 0.769 vs 0.754，p=0.80）,而且全部提升都來自 Executor 一個角色。

編輯判斷

面向	判斷
Venue	arXiv preprint（未經同行審查）
引用速度	發布 0 天，Semantic Scholar API 被限流未能查到，論文年輕到即使查得到也大概率是 0
機構	Trinity College Dublin + University College Dublin + Dublin City University
社群反應	未見於 HF Daily Papers 或 Papers with Code
可信度	通過 — 兩個評測環境、兩種預算方案、逐角色分解、McNemar 顯著性檢定與 bootstrap 信賴區間齊全
證據成熟度	較完整 — 主結果、留一角色分解、崩潰機制的儀器化分析三路齊全，但都建立在單一凍結 7B 骨幹上
可復現性	部分產物 — 演算法、超參數與演化出的 Executor 提示詞全文都寫在論文附錄，但未見公開程式碼連結
為什麼選這篇	直接 — 直接檢驗 CrewAI、AutoGen、LangGraph 這類 planner/executor/critic 多 Agent 框架最核心的預設假說
方向新意	實質增量 — 首次把「等呼叫預算」當成受控變因，逐角色拆解多 Agent 團隊的價值到底落在哪裡
今日重要性	高 — 多 Agent 編排已是產業預設做法，這篇第一次系統性質疑「結構本身值不值那個成本」
實務連結	明確 — 任何在評估要不要加 Planner 或 Critic 角色的團隊，都能直接對照這篇的受控比較方法
編輯信心	高 — 兩套預算方案、逐角色分解與機制分析三方互相印證，結論範圍界定清楚
閱讀建議	必讀 — 正在設計或評估多 Agent 編排架構的工程師
主要限制	所有結果建立在單一凍結 7B 骨幹、單一 Planner-Executor-Critic 拓樸上，作者明確聲明不宣稱這個結論會延伸到更大或異質的模型

領域背景

Planner 拆任務、Executor 執行、Critic 挑錯的多 Agent 團隊,已經是 AutoGen、CAMEL、MetaGPT 這類框架的標準設計,常被拿來跟單一 Agent 比較並宣稱勝出。但這些比較幾乎都在「環境輪數相同」的前提下做——團隊每步要發兩三次模型呼叫,單一 Agent 只發一次,等於團隊平白拿到兩三倍的算力還沒被算進成本。這篇問的是:如果把呼叫總數鎖死相同,團隊的優勢還在不在?

中階導讀

• 問題：想像你要比較兩支球隊誰厲害,一支三個人、一支一個人,結果卻讓三人隊踢的分鐘數是單人隊的三倍——贏了也說明不了「三個人」這個結構本身有沒有用。多 Agent 團隊的評測長期都在犯這個錯:團隊消耗的模型呼叫是單一 Agent 的兩三倍,卻只在「環境輪數一樣」的條件下比較。
• 方法：作者把演化搜尋的呼叫預算鎖死相同,分別演化單一 Agent 和 Planner-Executor-Critic 團隊的提示詞,兩邊共用同一個凍結的 7B 骨幹模型,只讓提示詞內容自由演化。演化完之後再做「留一角色分解」——分別只保留 Planner、只保留 Executor、只保留 Critic 各自跑一次,看提升到底是哪個角色貢獻的。
• 為什麼重要：這把「加角色一定更強」的產業直覺,變成一個可以拆解檢驗的具體問題。作者發現,在凍結骨幹的條件下,Planner 和 Critic 的提示詞最後都演化成空白——不是它們不重要,而是同一個凍結骨幹沒有辦法讓不同角色分化出彼此不重疊的功能,加了也白加。

深入要點

• ALFWorld（n=134，二元評分）:單一 Agent 演化顯著優於未演化基準（+0.097，McNemar p=0.021）；完整團隊拿到最高平均（0.769）,但跟單一 Agent（0.754）的差距只有 +0.015,統計上分不出高下（p=0.80）,同時多花 1.8 倍評估呼叫（32.2 vs 18.0 次/任務）
• 留一角色分解:只保留 Executor 幾乎追平完整團隊（+0.075）；只保留 Planner 甚至沒能跟未演化基準拉開差距（+0.067，p=0.15）
• 即使把預算規則反過來,改成保留環境輪數、讓團隊白拿 2-3 倍算力這個最有利於團隊的情境,完整團隊也只是打平單一 Agent（0.739=0.739）,沒有轉成看得見的優勢
• 第二個場景 WebShop（密集獎勵）:單一 Agent 演化幾乎沒有效果（0.245≈0.245）,團隊反而略微變差（0.185，Δ=-0.060，p=0.12）,而且成本更高
• 落地門檻:這篇的結論限定在凍結骨幹（不微調模型本身）的情境下,如果團隊裡的模型本身有能力差異（例如用更強的模型當 Planner）,結論可能不同,論文本身沒有測試這個變體
• 與主流框架的關聯:直接對應 AutoGen、CrewAI、LangGraph 這類 planner/executor/critic 編排的核心設計假設,提供了一套「先鎖預算再比較」的受控評測方法可以直接套用
• Limitation:所有結果只在單一凍結 7B 骨幹、單一拓樸（Planner-Executor-Critic）、單一優化器（逐角色座標上升）、兩個評測環境上驗證，作者明確聲明不宣稱結論會延伸到更大或異質模型

Reviewer 一句話評

「鎖死呼叫預算」這個受控設計非常乾淨,兩套預算方案加上留一角色分解讓結論很難反駁；但畢竟只在一個凍結的 7B 小模型上測,更大或角色異質的團隊會不會有不同結果,這篇故意留白,讀者不該直接外推到自己手上更大的系統。

給你的 take-away

• 如果你正在評估要不要幫系統加 Planner 或 Critic 角色:先問自己「這個角色多花的呼叫預算,拿去多演化幾輪 Executor 會不會更划算」——這篇的留一角色分解方法可以直接拿來做這個對照實驗
• 如果你在寫多 Agent 系統的內部評測報告:把「環境輪數相同」換成「呼叫總數相同」當比較基準,才不會把團隊白拿的算力誤判成結構優勢

---

論文二｜換了底層模型,Agent 的記憶還記得住嗎？

Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability Ankit Goyal, Jaideep Ray（LinkedIn）　·　arxiv: 2609.05339

連結: arxiv · alphaxiv

TL;DR

比較四種常見記憶格式在模型升級後的表現,固定 schema 的知識圖幾乎零損失（+0.0004），壓縮成自然語言筆記的記憶卻依遷移方向不對稱地暴漲暴跌 9.91 或 -13.28 個百分點,而且沒有保留原始對話紀錄的話,修復失敗的機率極高。

編輯判斷

面向	判斷
Venue	arXiv preprint（作者標註「under review」）
引用速度	發布 5 天，Semantic Scholar API 被限流未能查到
機構	LinkedIn（產業界，兩人團隊）
社群反應	未見於 HF Daily Papers 或 Papers with Code
可信度	通過 — 四個假設在動手實驗前就用簽名的 Git tag 預先鎖定，誠實揭露四個裡只有兩個過了預先訂好的門檻，方法論極度透明
證據成熟度	較完整 — 四組遷移測試搭配統計顯著性檢定，並用診斷實驗把損失拆解到寫入、檢索、閱讀哪個環節，但只測了一組跨家族模型升級
可復現性	部分產物 — 預註冊 Git tag、變更紀錄與統計程式碼都聲明「隨儲存庫保存」，但未見公開的 GitHub 連結
為什麼選這篇	直接 — 直接處理 Mem0、Zep、Letta 這類記憶層產品在模型升級時最實際的可靠性問題
方向新意	實質增量 — 首次系統性比較四種記憶格式在模型升級下的可攜性，並把損失拆解到具體的處理階段
今日重要性	高 — 模型升級是例行操作，但記憶遷移幾乎沒有團隊系統測過，這篇第一次把風險量化
實務連結	明確 — 直接產出一份可操作的記憶架構選型指南
編輯信心	高 — 預註冊分析加上誠實揭露未達標的假設，敘述強度有紮實的統計基礎撐住
閱讀建議	必讀 — 任何維運生產環境 Agent 記憶層、預期未來會換模型供應商或版本的團隊
主要限制	只測了一組跨家族模型升級（Llama-3.1-8B ↔ Qwen2.5-7B，都在 10B 以下）,48 筆合成歷史紀錄，能否類推到更大模型或正式產品規模的記憶庫未經驗證

領域背景

Agent 平台把記憶當成一個已經解決的問題:接上 Mem0、Zep、Letta 或自建的向量資料庫,對話紀錄就會被存起來、下次還記得住。但模型升級是例行操作,記憶遷移卻很少被系統性測試過。新模型讀舊模型寫的筆記,語意解讀方式可能完全不同；換了 embedding 模型,舊的向量和新的查詢甚至活在不同的空間裡——系統照樣啟動、資料庫照樣回結果,只是表現悄悄變差,沒有任何錯誤訊息會被丟出來。

中階導讀

• 問題：想像你的 Agent 用了半年,記憶庫裡累積了大量專案細節、使用者偏好、待辦事項。這時你把底層模型從 A 換成 B——資料庫沒有報錯,一切看起來正常,但 B 真的能正確理解 A 寫下的記憶嗎?還是有一部分事實已經在寫入的當下就悄悄丟失了?
• 方法：作者比較四種記憶格式在「舊模型寫、新模型讀」情境下的表現:原始長對話全文（LC-RAW）、切成片段做檢索的 RAG、模型壓縮成自然語言摘要的筆記（NOTES）,以及正規化成固定 schema 的知識圖（KG-fixed）。核心指標是「保留績效比」——新模型讀舊模型寫的記憶,能保留多少比例新模型讀自己寫的記憶時的表現。所有測試前,四個假設就先寫進一個簽名的 Git tag 鎖死,實驗做完後誠實回報哪些過了門檻、哪些沒有。
• 為什麼重要：這把「記憶會不會壞掉」從一個模糊的擔心,變成一份具體的、按格式列出風險等級的清單。知道固定 schema 的知識圖最耐遷移、自然語言筆記最脆弱,團隊在選記憶架構時就有了實測依據,而不是憑感覺。

深入要點

• KG-fixed 換寫入模型後準確率只變動 +0.0004 ± 0.0020（自身表現原本落在 0.845-0.988 之間）；NOTES 卻依方向不對稱地暴漲暴跌:Llama 讀 Qwen 寫的筆記反而 +9.91 個百分點，Qwen 讀 Llama 寫的筆記卻 -13.28 個百分點
• Embedding 模型升級時,50/50 混合新舊向量的部分遷移只拿到完整重新嵌入 11.90 個百分點漲幅裡的 4.96 個百分點,大部分收益被浪費掉
• 診斷分解:NOTES 的損失裡有 80%（0.467 ± 0.014）來自寫入階段就漏掉資訊,RAG 的損失裡有 81%（0.364 ± 0.012）來自檢索沒找對片段——兩種格式的病根完全不一樣
• 只用既有記憶庫修復（不看原始對話紀錄）的話,NOTES 在全部 48 個測試案例裡都沒能修到 90% 的目標水準；保留原始歷史紀錄的話,其中一個遷移方向能在 34/48 個案例裡修復成功 ⚠️（LinkedIn 內部評測，兩人團隊，尚無外部複現）
• 落地門檻:方法論本身很容易複製到自己的記憶架構上驗證，但這篇只測了兩個 10B 以下的開源模型互換，企業級規模的記憶庫、更大的模型、同家族內的版本升級都還沒被測過
• 與主流框架的關聯:直接對應 Mem0、Zep、Letta、LangMem 這類記憶層產品常用的筆記式或 RAG 式儲存設計，也點出「保留原始歷史」這個看似浪費空間的設計選擇，在修復場景下其實是關鍵保險
• Limitation:四個預先鎖定的假設裡只有兩個（部分 embedding 遷移的損失、原始歷史對修復的幫助）通過預先訂好的五個百分點門檻，另外兩個對稱性假設沒有通過，作者誠實揭露而非選擇性回報

Reviewer 一句話評

用簽名 Git tag 預先鎖定假設、誠實揭露四個裡有兩個沒達標,這種透明度在工程類論文裡少見；但只測了一組小規模跨家族模型互換,結論能不能撐到你自己動輒數十萬筆記錄的生產記憶庫,論文本身也還沒驗證。

給你的 take-away

• 如果你在維運生產環境的 Agent 記憶層,而且預期未來會換模型:優先檢查你用的是哪種記憶格式——依賴模型壓縮寫成的自然語言筆記風險最高，考慮換成固定 schema 的結構化儲存，或至少確保原始對話紀錄有備份可用於修復
• 如果你在做 embedding 模型升級:不要用「新舊向量混合索引」當省事的中間方案，這篇的數字顯示混合索引只拿到完整重新嵌入一小部分的收益，多數投資等於浪費

---

論文三｜模型越強，多 Agent 系統的系統性風險可能越高

Why Better Models Can Create Riskier Systems: Evidence from LLM Agents in Financial Markets Jillian Ross, Eric So, Zoe De Simone, Charles Pozniak, Andrew W. Lo（MIT + Harvard Kennedy School）　·　arxiv: 2609.04373

連結: arxiv · alphaxiv

TL;DR

模型能力分數每提高,兩兩之間非糾錯行為的相關性就顯著上升（ELO：p=0.001；MMLU-Pro：p<0.001）；當這些高相關的模型共享一個錯誤的資訊環境時,原本能改善市場價格發現的 LLM 交易員,反而讓追蹤誤差飆到雜訊交易者基準的 5 到 7 倍。

編輯判斷

面向	判斷
Venue	arXiv preprint（未經同行審查）
引用速度	發布 6 天，Semantic Scholar API 被限流未能查到
機構	MIT（電機工程與電腦科學系 + Sloan 管理學院）+ Harvard Kennedy School Belfer Center；資深作者 Andrew W. Lo 是系統性風險與適應性市場假說領域的知名學者
社群反應	未見於 HF Daily Papers 或 Papers with Code；作者聲明程式碼「將隨儲存庫授權釋出」，目前未見連結
可信度	通過 — 三組研究問題各有獨立控制組與顯著性檢定，理論推導的風險下限經 bootstrap 驗證，且用「共享供應商是否顯著」這個對照排除了最簡單的替代解釋
證據成熟度	較完整 — 相關性回歸、風險下限的理論驗證、參與度模擬、對抗性資訊壓力測試四路互相印證，但整個研究建立在單一簡化模擬市場上
可復現性	部分產物 — 模擬機制、分解公式與能力基準分數都寫在論文與附錄中，但論文送審時尚未提供公開程式碼連結
為什麼選這篇	直接 — 直接處理「多個 LLM Agent 同時部署時，能力提升是否真的轉化成系統整體變好」這個問題
方向新意	實質增量 — 首次把演算法單一文化的靜態研究，延伸到動態回饋系統，並證明能力與相關性風險呈非單調關係
今日重要性	高 — 前沿模型正被大量部署到彼此互動的多 Agent 環境，這篇指出單獨評測看不到的系統性風險來源
實務連結	明確 — 對任何在同一個系統裡部署多個相似能力模型的團隊，這篇提供了具體該監測的指標（跨模型相關性），而非只看單模型準確率
編輯信心	高 — 三組研究問題的結論互相銜接，理論下限有實證驗證，論文自己清楚劃出模擬市場的適用邊界
閱讀建議	必讀 — 在多 Agent 環境中部署前沿模型的架構師、負責 AI 風險治理的團隊
主要限制	所有實證證據都來自一個簡化的單一資產模擬市場，外生基本面、非內生流動性，真實市場的資產相關性、策略性調適等因素完全沒有納入模型，論文明確聲明這是留待未來驗證的開放問題

領域背景

演算法單一文化（algorithmic monoculture）的研究已經證明,共享同一套演算法會讓決策者的錯誤彼此相關,即使那套演算法在個體上是最優的。但這些研究大多停在靜態、一次性的決策場景。當 LLM Agent 被部署進金融市場、內容審核、招聘這類會隨時間持續互動、彼此影響狀態的動態系統裡,個別模型能力提升,是否真的會讓整個系統變得更穩定?這篇把靜態的單一文化理論,搬進一個會隨時間演化的回饋系統裡重新檢驗。

中階導讀

• 問題：假設市場上有一群自動化交易的 LLM Agent，每個都在自己的基準測試上表現優異。直覺上,把表現更好的模型換上去,市場整體應該會更穩定、價格發現更準確。但如果這些「更好」的模型,恰好是因為訓練資料和架構相似,才學會了同一種思考方式呢?
• 方法：作者把每個 Agent 的行動拆成兩部分——糾錯成分（把價格拉回基本面的部分）和非糾錯殘差（剩下解釋不了的部分,可能來自框架偏誤、學到的捷徑或雜訊）。如果不同 Agent 的非糾錯殘差彼此獨立,加總起來會互相抵銷；但如果彼此相關,就會在整體風險裡留下一個怎麼增加 Agent 數量都降不下去的下限。作者先用 7 個前沿模型在受控情境裡量出這個相關性隨能力上升的程度，再用一個模擬單一資產市場,實測「更多能力更強的 Agent 加入」和「這些 Agent 共享一個帶有誤導性資訊的環境」這兩種情境下,市場追蹤誤差和波動度會怎麼變。
• 為什麼重要：這說明標準的模型評測——不管是準確率、還是任何單一 Agent 的基準分數——都測不到「多個相似能力的模型放在一起會怎麼樣」這件事。一個模型可以在每一項標準評測上都拿到最佳成績,同時卻對它被部署進的每一個系統貢獻一個巨大的、任何現行稽核方式都測不到的聚合風險。

深入要點

• 7 個 LLM 兩兩配對的非糾錯行為相關性,在能力分數上顯著:ELO 分數（t=3.94, p=0.001, R²=0.475）與 MMLU-Pro（t=4.88, p<0.001, R²=0.580）都是強顯著預測變因；反而是否來自同一家供應商完全不顯著（p=0.39 / p=0.28）,說明相關性追的是能力本身而非廠商特有的偏好
• 用 bootstrap 重抽驗證理論推導出的風險下限（ρ·σᵣ²=0.010，約單模型變異數的一半）,確認這個下限不是小樣本人為造成的假象,而是即使無限增加模型數量也降不下去的真實地板
• 在中性情境下,增加 LLM 參與市場的比例能單調降低追蹤誤差,三個模型家族（Claude Haiku 4.5、Claude Sonnet 4.6、Gemini 2.0 Flash Lite）全部優於雜訊交易者基準
• 但當所有 Agent 共享一組單向宣稱「基本面被高估 25-30%」的對抗性資訊時,追蹤誤差隨 LLM 參與比例陡升,滿參與時達到基準的 5-7 倍；方向準確率崩到 42-68%（Claude Sonnet 4.6 甚至低於隨機亂猜的水準,代表訂單淨往反方向下）
• 落地門檻:這篇提供的是一套「檢查你部署的多個模型彼此非糾錯行為相不相關」的診斷方法,而非一個可以直接套用的修復方案——論文本身也把「怎麼在不犧牲個別能力的前提下讓模型群體去相關化」列為開放問題
• Limitation:所有實證證據都來自單一資產、外生基本面的簡化模擬市場，真實市場的資產相關性、內生流動性與策略性調適都沒有納入模型，跨領域是否成立是明確留白的開放問題

Reviewer 一句話評

用「共享供應商不顯著、能力分數才顯著」這個對照,排除了最簡單的替代解釋,是這篇最有說服力的地方；但整套結論建立在一個高度簡化的單一資產模擬市場上,能不能類推到有複雜資產相關性和策略調適的真實市場,論文自己也還沒有答案。

給你的 take-away

• 如果你在同一個系統裡部署多個能力相近的前沿模型:除了看每個模型單獨的準確率,也該量測它們彼此的非糾錯行為相關性——這篇提供了具體的迴歸設計可以直接套用
• 如果你負責 AI 風險治理或多 Agent 系統的安全審查:把「換更多樣的模型供應商」當成分散風險的萬靈丹之前,先確認相關性追的是不是能力本身——這篇的結果顯示跨供應商未必真的分散了風險

---

今日收穫

之前以為「加更多 Agent」「接上記憶系統」「換更強的模型」這三件事,分別對應著更好的協作、更長的記憶、更強的能力,理所當然是進步。今天發現三件事都需要先問「用什麼受控實驗驗證」才算數:多 Agent 團隊的優勢,一旦把呼叫預算算進成本就可能消失；記憶系統的可靠性,取決於你選的儲存格式而不是有沒有記憶功能;而模型能力的提升,放進會互相影響的多 Agent 系統裡,可能不是讓風險變小,而是讓風險變得更難分散。

參考資料

• At Equal Inference Cost, Multi-Agent Structure Does Not Beat a Single Frozen Agent
• Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability
• Why Better Models Can Create Riskier Systems: Evidence from LLM Agents in Financial Markets
• arXiv cs.MA new submissions, Monday 7 September 2026 (source announcement batch)
• arXiv cs.AI new submissions, Monday 7 September 2026 (source announcement batch)