Skip to content

AI Agent Arxiv Digest — 2026-11-08

2026年11月8日1 分鐘
TL;DRCoca-Cola 把工具回傳壓成潛在 token,省下 70%-89% token 與 24%-56% 執行時間還提升任務表現;How Do AI Agents Waste Your Money? 用拔掉重跑的因果實驗量出 Agent 推理裡 41%-46% 可移除而不影響結果;DPDM 用凍結的小型預測器取代少樣本提示做決策,50 個 benchmark 平均準確率從 78.80% 提升到 84.92%

查詞與收藏

正在載入查詞工具…

今日總覽

今天三篇論文從三個不同角度回答同一個問題:Agent 的效率與判斷力,能不能在不重新訓練主幹 LLM 的前提下變好?Coca-Cola 把工具回傳的文字壓成不佔位置的連續潛在 token,直接省掉七到九成的 token;《How Do AI Agents Waste Your Money?》沒有停在「量出浪費」,而是真的把標記的內容拔掉、重跑 Agent,用結果驗證拔掉的東西真的可以拔;DPDM 則示範「怎麼從過去經驗做判斷」本身可以外包給一個凍結的小型預測器,不用更新語言模型的參數。三篇合起來的訊息很一致:下一輪 Agent 進步,很可能不是換更貴的模型,而是幫它裝上更會管資源、更會從歷史學習的小零件。三篇都是 2026 年 11 月初剛掛上 arXiv 的 preprint,還沒經過同行審查,但都開放了程式碼或公開了底層模型,讀者可以自己驗證。

讀這篇前該知道的詞

詞白話解釋
潛在 token(Latent Token)不是文字、而是一串數字向量的「token」,可以塞進模型的輸入嵌入空間,資訊密度比文字 token 高,但人類讀不懂
Token 浪費 vs Token 花費花費是帳單上的總用量;浪費是其中「拿掉也不影響結果」的那一部分——兩者不是同一回事
LLM-as-a-Judge(LLM 當裁判)用另一個 LLM 讀 Agent 的執行記錄,標記哪些內容是重複、贅述或可以移除的
凍結骨幹模型(Frozen Backbone)訓練時不更新主要語言模型的參數,只訓練旁邊一個小模組(壓縮器、預測器),讓改動成本低、風險小
Agent 鷹架(Harness)包著 LLM 的程式框架,負責決定模型看到什麼、記憶怎麼存、能呼叫哪些工具

論文一|Coca-Cola:讓工具回傳不再用文字說話

Tools Need Not Speak in Text: Latent Context Compression for Agents Yuetong Liu, Zhehao Zhou, Yitong Zhang et al.(Tsinghua AI Agent Group, 清華大學) · arxiv: 2611.06500

連結: arxiv · alphaxiv

TL;DR

把工具回傳的文字壓成幾個連續潛在 token 塞進 Agent 的輸入嵌入空間,在四個網頁搜尋 QA benchmark、兩組模型組合上省下 70.01%-89.24% 的 token 與 24.45%-55.97% 的執行時間,而且任務表現比不壓縮還好。

編輯判斷

面向判斷
VenuearXiv preprint(未經同行審查)
引用速度發布約 4 天,Semantic Scholar 連續多次 HTTP 429,引用資料暫缺
機構清華大學 Tsinghua AI Agent Group
社群反應HuggingFace Daily Papers 有收錄,Papers with Code 無額外復現 repo
可信度通過 — 正文提供 2 組模型家族 × 4 個 QA benchmark 對 4 個基準方法(Vanilla、LongLLMLingua、LLMSummary、ICAE)的完整對照表,外加消融與案例研究
證據成熟度較完整 — 效率與任務表現兩套指標都有對照組與多基準方法比較,但只在網頁搜尋這一種工具情境下驗證
可復現性完整產物 — 程式碼開源於 github.com/THU-Agent/Coca-cola
為什麼選這篇直接 — 任何用 ReAct 風格呼叫工具的 Agent 都會遇到工具回傳塞爆上下文的問題,這篇直接處理這個痛點
方向新意實質增量 — 先前的壓縮方法都把結果壓回文字 token,這篇是第一個把工具回傳直接壓成不用還原成文字的連續向量
今日重要性高 — 上下文成本是目前部署 Agent 最直接的痛點之一
實務連結明確 — 設計上不綁定搜尋工具,理論上可以套用到任何回傳長文字的工具
編輯信心高 — 多基準方法比較、兩組模型家族、開源程式碼,足以支持「這個方法有效」的主張
閱讀建議必讀 — 工具回傳動輒上萬 token 的 Agent(搜尋、爬蟲、文件問答)可以直接參考
主要限制只在網頁搜尋場景驗證,尚未測試程式碼執行、API 呼叫等其他工具類型

領域背景

LLM Agent 呼叫工具後,一般做法是把回傳的原始文字直接貼進上下文,讓模型自己讀。但工具回傳常常又長又雜訊多——論文量出在第 4 步時,工具回傳可以佔掉整個上下文的 96.7%。之前解決這個問題的方法分兩派:一派是 token pruning(像 LLMLingua,刪掉不重要的 token)、一派是文字摘要(用另一個 LLM 把工具回傳寫短)。但兩派都有個共同限制:壓完的結果仍然是人類能讀的離散文字 token,受詞彙表大小限制,壓縮率有天花板。

中階導讀

  • 問題:想像你的 Agent 查了一場賽車比賽,只為了確認「這位車手是哪年出生的」。搜尋結果回來一整段比賽細節、賽道資訊、歷史戰績,但 Agent 真正需要的只有車手的名字,好讓它決定下一步要搜尋什麼。多餘的細節不只佔位置,還會把模型的注意力從真正有用的那一句話上拉走。
  • 方法:Coca-Cola 用一個小型編碼器讀「任務指令 + 目前推理過程 + 工具回傳」三者,壓成幾個連續向量(潛在 token),再用一個轉接層把這些向量投影進 Agent 的輸入嵌入空間,讓 Agent 可以直接用這些向量繼續推理,不用先還原成文字。訓練時用「Action-Preserving Training」:同時餵完整版工具回傳跟壓縮版給 Agent,要求 Agent 在兩種輸入下做出的下一步行動分佈盡量一致,逼壓縮器只保留會影響決策的資訊,不是盡量還原原文。
  • 為什麼重要:這代表壓縮的目標從「盡量保留原文資訊」換成「盡量保留會影響下一步決策的資訊」——這是個更精準、對 Agent 更有用的壓縮目標,也解釋了為什麼壓縮後任務表現反而比不壓縮還好:被丟掉的剛好是會讓模型分心的雜訊。

深入要點

  • 四個 benchmark:NQ、TriviaQA(單跳 QA)、2Wiki、HotpotQA(多跳 QA);兩組模型組合:Qwen3.5-35B-A3B + Qwen3.5-4B、GLM-4.7-Flash + GLM-Z1-9B
  • Token 消耗降幅依 benchmark 與模型組合在 70.01%-90.5% 之間、執行時間降幅在 24.45%-56.0% 之間
  • 在 8 個「模型 × 資料集」組合中,Coca-Cola 的 EM/F1 有 6 組是所有方法裡最好的,多跳 QA(2Wiki、HotpotQA)的 EM 提升幅度最大,最高到 133.64%
  • 落地門檻:需要額外訓練一個壓縮模型(用 LoRA 微調編碼器 + 轉接層),但 Agent 骨幹模型全程凍結不動
  • 設計上不限定搜尋工具——理論上任何回傳長文字的工具都能套用,但論文只驗證了網頁搜尋場景
  • Limitation:作者自己承認只測試了網頁搜尋這一種工具類型,尚未驗證在程式碼執行、API 呼叫等場景下是否一樣有效

Reviewer 一句話評

把「壓縮」的目標從「還原原文」換成「保留決策所需資訊」是個漂亮的框架轉換,四個基準方法的對照也做得紮實;但目前只驗證了網頁搜尋這一種工具,要不要用在程式碼執行或資料庫查詢這類結構化回傳上,還需要再觀察。

給你的 take-away

  • 如果你在做大量呼叫搜尋 API 的 Agent:工具回傳動輒上萬 token、佔滿上下文視窗,Coca-Cola 的 Action-Preserving Training 思路值得直接參考——目標不是壓縮後還原文字,是壓縮後下一步決策一樣
  • 如果你在評估現有的摘要式上下文壓縮:這篇的理論分析(第 3.2 節的 codebook capacity 分析)提供了一個解釋「為什麼連續向量能壓得比離散文字更多」的角度,可以拿來重新檢視自己系統的壓縮上限

論文二|Agent 到底把你的錢燒在哪裡?

How Do AI Agents Waste Your Money? Huimin Zeng, Yuxuan Lu, Jesse Cai et al.(UIUC、Northeastern University、UCLA、UT Austin) · arxiv: 2611.07238

連結: arxiv · alphaxiv

TL;DR

不只是「量出 Agent 花了多少 token」,而是真的把判定為浪費的內容拔掉、重跑 Agent,驗證拔掉之後結果有沒有變——線上剪除實驗顯示拿掉 41%-46% 的推理內容,SWE-bench Verified 與 MCP-Atlas 上的任務成功率基本沒掉。

編輯判斷

面向判斷
VenuearXiv preprint(未經同行審查)
引用速度發布約 4 天,Semantic Scholar 連續多次 HTTP 429,引用資料暫缺
機構伊利諾大學香檳分校(UIUC)、東北大學(Northeastern)、加州大學洛杉磯分校(UCLA,Kai-Wei Chang 為通訊作者之一)、德州大學奧斯汀分校(UT Austin)
社群反應本輪查詢時未出現在 HuggingFace Daily Papers 或 Papers with Code 熱門清單
可信度通過 — 用「拔掉標記內容後重跑、重新抽樣下一步動作分佈」做因果驗證,不只是用 LLM 標記浪費就下結論,涵蓋 6 個前沿模型、5 種 Agent 鷹架、4 個 benchmark
證據成熟度較完整 — 用介入實驗(intervention)而非純相關性觀察驗證「浪費真的可以拔掉」,但浪費的標記本身依賴 LLM-as-a-Judge,裁判本身的誤判率未獨立稽核
可復現性完整產物 — 框架與程式碼開源於 github.com/huiminzeng/How_Do_AI_Agents_Waste_Your_Money,標記後的軌跡資料集公開於 HuggingFace
為什麼選這篇直接 — 任何在生產環境跑 Agent 的團隊都在意 token 成本,這篇提供一個可操作的診斷框架,不只是又一份「Agent 很貴」的觀察報告
方向新意實質增量 — 先前對 Agent 成本的研究多停在量測總用量,這篇是第一個用直接介入實驗驗證「浪費」這個標籤本身是否成立的框架
今日重要性高 — 把「省成本」從盲目砍 token 變成有依據的優化訊號
實務連結明確 — 框架設計成只需少量程式碼改動就能接上現有鷹架,開源程式碼可直接套用
編輯信心高 — 因果介入實驗加上開源程式碼與資料,足以支持「這套方法量出的浪費是真的可拔掉」的主張
閱讀建議必讀 — 在生產環境跑 Agent、在意 token 帳單的團隊
主要限制LLM-as-a-Judge 本身標記「可移除」的準確率沒有被獨立稽核,裁判的系統性偏差可能影響後續的浪費統計

領域背景

先前對 Agent 成本的研究,多半停在「量出用了多少 token、花了多少錢」這種聚合指標。問題是:token 用量高不代表浪費多——一個任務本來就需要大量推理和多輪互動,花得多是正常的;反過來,一段看起來精簡的回應也可能藏著重複或離題的內容。聚合指標沒辦法分辨「貴」和「浪費」,這篇論文要補的正是這個測量上的空白。

中階導讀

  • 問題:想像你的客服 Agent 每次回覆前都先寫一段「我理解您的困擾,讓我協助您解決這個問題」的開場白,再去查資料庫。這段開場白沒有錯,但拿掉它完全不影響任務能不能完成——這就是論文定義的「Padding(填充)」浪費。論文另外定義了三種:Restate(重複講已經在上下文裡的內容)、Duplicate-Fetch(重複呼叫已經查過的工具)、Detour(當下看起來合理、但事後證明沒必要的探索)。
  • 方法:框架分三階段——先用一個基於 LiteLLM 的代理層(proxy)攔截 Agent 和模型之間的所有請求,把完整的執行軌跡記錄下來並標準化;再用 LLM-as-a-Judge 讀整段軌跡,標出符合四種浪費模式的文字片段;最後用「介入實驗」驗證:把標記的片段從軌跡裡拔掉,讓 Agent 從下一輪繼續跑,量測任務結果跟下一步動作有沒有變化。如果拔掉後結果基本不變,才能說這段真的是浪費,不是錯殺。
  • 為什麼重要:這把「省成本」從「砍掉越多 token 越好」變成「先找出真的能砍、不影響結果的那一部分,再砍」。論文發現浪費在不同任務、不同鷹架之間差異很大(例如 MCP-Atlas 的浪費明顯高於 SWE-bench Verified),但在不同模型之間差異反而較小——這意味著想省錢,調整任務設計跟鷹架架構可能比換模型更有效。

深入要點

  • 線上剪除實驗:SWE-bench Verified 拿掉 41% 的推理內容,解題率從 89.0% 降到 89.5%(幾乎沒變甚至微升);MCP-Atlas 拿掉 46%,解題率從 65.0% 降到 62.3%
  • 對照組:如果把全部推理都拔掉(而不是只拔標記的浪費),SWE-bench 解題率會掉到 73.0%,MCP-Atlas 掉到 56.0%——證明框架挑出的「浪費」確實跟「必要的推理」不一樣
  • 橫跨六個前沿模型(Kimi-K3、Gemini 3.1 Pro、GPT-5.6 Terra、GPT-6 Astra、Claude Sonnet 5、Claude Fable 5.1)的分析顯示:平均約 18% 的輸出 token 被判定為浪費,超過 45% 的任務裡,一個 Agent 浪費的輸出量就超過另一個成功解題的 Agent 的總輸出量
  • 浪費的結構:多數模型的浪費以「Detour(探索性迂迴)」為主,代表減少不必要的工具探索(更好的工具選路、更結構化的工具描述)可能是比單純裁剪輸出更有效的省錢方向
  • 落地門檻:框架本身用「切換 API base URL 到代理層」接入現有鷹架,改動量小;但要在自己的任務上跑完整分析,仍需要一定的工程設置成本
  • Limitation:作者自己也承認 LLM-as-a-Judge 的標記準確率沒有獨立驗證,如果裁判系統性地放過某類浪費或錯殺某類必要內容,後續統計都會跟著偏

Reviewer 一句話評

用「拔掉重跑」做因果驗證,而不是停在「LLM 說這段是浪費」就結案,是這篇論文最紮實的地方,四種浪費模式的分類也貼近實務;但裁判本身的可靠度沒有被獨立檢驗,是這整套測量方法目前最大的未知數。

給你的 take-away

  • 如果你在管理生產環境的 Agent 成本:別急著用「總 token 用量」砍預算,先用這篇框架(或類似思路)分出「浪費」和「必要花費」,再針對浪費動刀,才不會砍到真正需要的推理
  • 如果你在設計 Agent 鷹架:論文發現浪費主要來自「探索性迂迴」,代表更好的工具描述、更結構化的環境資訊,可能比裁剪輸出文字更有效——值得先檢查自己的工具說明夠不夠清楚

論文三|用一個凍結的小模型取代少樣本提示做決策

Decoupled Predictive Decision Making: A Shared Conditional Predictor for Agents Lang Mo, Xingxuan Zhang, Qi Wang et al.(Stable AI、清華大學) · arxiv: 2611.02075

連結: arxiv · alphaxiv

TL;DR

把「從過去經驗判斷」拆成語言模型負責理解問題、一個凍結的結構化資料預測器(LimiX-2)負責從歷史紀錄推斷答案兩塊,在 50 個 benchmark 上把 Qwen3.5-27B 的少樣本提示準確率從 78.80% 推到 84.92%,在相同歷史紀錄下也有 82.33% 對 78.80% 的提升。

編輯判斷

面向判斷
VenuearXiv preprint(未經同行審查);16 頁、7 張圖、11 張表,含附錄
引用速度發布約 7 天,Semantic Scholar 連續多次 HTTP 429,引用資料暫缺
機構Stable AI(清華團隊創立的新創,開源結構化資料基礎模型 LimiX 系列)、清華大學(Peng Cui 為通訊作者之一)
社群反應HuggingFace Daily Papers 收錄,觀測到 79 個 upvote——是本系列近期觀測到數值最高的社群訊號之一
可信度通過 — 50 個 benchmark、82 個任務設定、4 種語意編碼器,加上標籤置換消融(排除「只是看過更多例子」的混淆因子)與不平衡歷史測試
證據成熟度較完整 — 消融設計用心(置換歷史標籤、固定相同歷史),但 50 個 benchmark 的組成與評測流程全部由作者自訂,查核時未找到公開的評測程式碼或 benchmark 清單 repo
可復現性部分產物 — LimiX-2 模型權重公開於 huggingface.co/stable-ai/LimiX-2,但本篇的評測框架與 50-benchmark 清單查核時未見公開程式碼
為什麼選這篇直接 — 處理的是「Agent 怎麼從過去經驗學習」這個長期痛點,給出一個不用微調就能做的架構方案
方向新意實質增量 — 把「語意理解」跟「從歷史學習」拆成兩個獨立、各自可替換升級的元件,而不是全部塞給同一個 LLM 做少樣本提示
今日重要性高 — 多數團隊目前靠少樣本提示讓 Agent「學」歷史經驗,這篇提供一個不用微調主模型的替代路線
實務連結明確 — 對已經在用 in-context learning 做決策輔助(工具可用性判斷、候選排序)的團隊直接相關
編輯信心高 — 標籤置換等消融設計排除了常見的混淆因子,支持「這個架構真的學到了輸入-目標關係」的主張
閱讀建議略讀 — 核心發現(凍結預測器可以取代少樣本提示)值得知道,但要落地需要整合 LimiX-2,一般團隊可以先讀結論評估是否值得投入
主要限制50 個 benchmark 的組成、歷史預算與評分流程全部由作者自訂,查核時未見公開的評測程式碼,無法獨立檢查評測流程的細節

領域背景

LLM Agent 想要「從過去經驗學習」,目前主流做法大致是兩種:一種是把過去的軌跡或心得存進外部記憶,檢索出來再丟給語言模型自己讀、自己判斷(像 ExpeL、Rememberer);另一種是直接微調模型。前者的問題是,語言模型既要負責理解當下的問題,又要負責從歷史紀錄裡抓出有用的統計規律——這兩件事其實需要不同的能力,硬塞給同一個模型做,可能哪個都做不到最好;後者的問題是微調成本高,每次有新任務又要重做。

中階導讀

  • 問題:想像一個客服 Agent 要判斷「這個使用者的問題,需不需要呼叫退款工具」。少樣本提示的做法是把過去幾十個類似案例連同答案一起塞進提示,讓語言模型自己「看出規律」。但語言模型本來的訓練目標是理解語意、生成流暢文字,不是統計推斷——當案例一多,它未必能穩定抓出「什麼條件下該呼叫退款工具」這種經驗規律。
  • 方法:DPDM 把這個決策拆成兩塊——語言模型只負責把「目前的狀況」和「歷史紀錄裡的每一筆」都轉成語意向量(它本來就擅長的事);一個獨立、凍結不動的小型預測器(LimiX-2,原本是為表格類結構化資料訓練的基礎模型)專門負責:給定這些語意向量和歷史紀錄裡觀察到的答案,推斷當前案例最可能的答案是什麼(它本來就擅長的事)。兩個模型全程凍結,換資料就換判斷,不用重新訓練。
  • 為什麼重要:這證明「從經驗學習」可以是一個獨立於語言模型之外、可以單獨優化的能力——以後想讓 Agent 更會從歷史學習,不一定要重新訓練或微調主模型,換一個更強的預測器元件就有機會。論文用「把歷史標籤打亂重排」的消融實驗證明,DPDM 的提升真的來自學到「輸入長什麼樣、答案就長什麼樣」的規律,不是單純看過更多例子的效果。

深入要點

  • 50 個 benchmark、82 個任務設定,橫跨 5 類任務(Agent 任務、知識問答、證據一致性、安全可靠性、語言理解);4 種語意編碼器:Qwen3.5-4B/9B/27B、Llama-3.1-8B
  • 用 Qwen3.5-27B:DPDM 平均準確率 84.92% vs 少樣本提示 78.80%;固定相同歷史與查詢下仍是 82.33% vs 78.80%,排除「單純看到更多資料」的解釋
  • 標籤置換消融:原始標籤準確率 80.71%,打亂歷史標籤後掉到 50.13%,跟「永遠猜最常見標籤」的 50.52% 相近——證明提升確實來自學到真正的輸入-目標關係
  • 在 ToolPRMBench 的 BFCL 任務,絕對準確率提升 34.26 個百分點;在不平衡歷史的 BIG-Bench Mistake 測試中,balanced accuracy 從 59.86% 提升到 74.37%
  • 落地門檻:需要整合 LimiX-2(清華團隊自己的結構化資料基礎模型,權重公開)跟自己的語意編碼器,對已經在用檢索式記憶的團隊來說是額外的架構投入
  • Limitation:50 個 benchmark 全由作者自行組成,評測框架查核時未見公開程式碼,獨立團隊想完整重現目前還有門檻

Reviewer 一句話評

標籤置換消融是這篇最讓人信服的設計——它排除了最常見的質疑(「會不會只是看到更多例子就變強」);但 50 個 benchmark 的組成跟評測流程都是自訂的,還沒有公開程式碼讓外部團隊按圖重現,距離「可以直接拿來用」還有一段整合工作。

給你的 take-away

  • 如果你的 Agent 靠少樣本提示做決策輔助(工具可用性判斷、候選排序、回覆品質評估):DPDM 的「語意理解跟歷史學習分工」思路值得參考——先想清楚自己的任務是不是真的需要語言模型做統計推斷,還是這部分可以外包給更專門的小模型
  • 如果你在設計檢索式記憶系統:這篇的標籤置換消融方法可以直接借來驗證自己的記憶系統——拿掉真正的歷史標籤、換成打亂的標籤,看效能掉多少,就知道系統是不是真的在學東西,還是只是看過更多文字

今日收穫

之前以為想讓 Agent 更省、更準,得靠換更貴的模型或整段重新訓練。今天三篇論文一起說的是另一件事:真正值錢的改動常常發生在模型外面——壓縮工具回傳的方式、驗證浪費的方法、把統計推斷外包給專門的小模型,都不用動主幹 LLM 一根毛,照樣能把成本砍下來、把準確率推上去。

參考資料