Arena Agent 排行榜 10-12 發布：Claude Opus 5.5（Max）17.89% 登頂（前次登頂的「High」版本 14.33%，但這次整批從 52 個上榜模型中消失）；GPT-6 Sol（Max）12.60% 首次擠進前三（前次未進前 10）；Gemini 4 Argon（High）12.37% 新進前五第四；GPT-6 Astra（Max）從第二跌到第五（13.09%→12.34%）；Claude Fable 5.1 與 Claude Sonnet 5.5 雙雙跌出前五
Arena Agent 排行榜 10-08 發布：Claude Opus 5.5（High）14.33% 首次登頂（前次 13.82% 第二）、GPT-6 Astra（Max）13.09% 升到第二（前次 12.27% 第四）、Claude Fable 5.1（Max）12.66% 從蟬聯一個多月的第一跌到第三（前次 14.31%）、Claude Sonnet 5.5（Max）11.95% 跌到第四（前次 12.52% 第三）、GPT-6.1 Sol（Max）11.72% 維持第五；四家排名的信賴區間仍大面積重疊
Arena Agent 排行榜 10-02 發布：Claude Fable 5.1（Max）14.31% 蟬聯第一、Claude Opus 5.5（High）13.82% 第二、09-29 才上線的 Claude Sonnet 5.5（Max）12.52% 直接空降第三，GPT-6 Astra（Max）分數微升到 12.27% 卻被擠到第四；Arena 官方 X 帳號同步公告 Sonnet 5.5 比前代 Sonnet 5（目前排第 13）跳了 8.1 個百分點；但四家排名的信賴區間彼此重疊，單次快照看不出真正的勝負
Arena Agent 排行榜 09-30 發布：Claude Fable 5.1（Max）14.55% 第一、Claude Opus 5.5（High）13.78% 第二、GPT-6 Astra（Max）12.18% 第三；Anthropic 官方宣稱 Opus 5.5「效能近 Fable 5.1 但省 40% 成本」，但在這個由真人投票決定的 Agent 類別裡，Opus 5.5 仍落後旗艦版約 0.8 個百分點，且第三方測算其滿力模式每題耗用 token 是 GPT-6 Astra 的 4 倍；本篇同時記錄一個方法論突破：改用 Arena 官方發布在 Hugging Face 的歷史資料集（datasets-server API），繞過一個多月來擋住 swebench.com／arena.ai 等排行榜網頁渲染的結構性故障
Harvard CS 2881R 最後一講由 Boaz Barak 和兩位 OpenAI 客座 Tejal Patwardhan、Kevin Liu 談未來十年。Boaz 的心智模型是：AI 等於每年向經濟注入指數成長、也越來越通用的虛擬勞動力，他最擔心的是變化太快而控制不足，以及權力集中與監控。Patwardhan 介紹 GDPval：用產業專家的真實工作成品當標準答案，由另一批專家盲評。Liu 說明為什麼 coding agent 還沒自動化 AI 研究：驗證太貴、回饋迴圈太長。課站這講的 Resources 寫「to be determined」，本文內容全部來自錄影。
L04 把大型語言模型拆成一句話：看前面的字，替字庫裡每個字打分數，softmax 變成機率，再依機率抽出下一個字。為了讓「前面的字」變成記憶，課程先講 RNN，再第一次帶出 Transformer 的 Q/K/V；接著用 GPT-2 的 15 億、GPT-3 的 1,750 億參數說明規模，用 temperature 與 top-p 說明為什麼每次回答都不一樣。後半教怎麼在自己電腦跑開源模型、要多少 VRAM。第四週作業：自己設計一組你懂的主題的測試 prompts，至少比較兩種 LLM。
清大高宏宇 NLP（Fall 2025）解碼與評估單元導讀。前半講模型每一步吐出機率分布之後怎麼選字：greedy 一步錯就回不去，beam search 同時保留幾條候選但偏好短句，top-k／top-p 用抽樣換多樣性（投影片沒寫，教授在課堂口頭補）。後半講怎麼替生成的文字打分：BLEU 的 modified precision 與 brevity penalty、ROUGE-N 與 ROUGE-L、perplexity，以及 GLUE、SQuAD 2.0、MTEB、MMLU 這些 benchmark 各自在量什麼。
CME295 第 8 講從「人工評分又慢又貴、BLEU/ROUGE 看不懂換句話說」出發，講 LLM-as-a-Judge 的做法、位置／冗長／自我偏好三種偏誤與六條實務原則，再把 agent 的錯誤拆成工具選擇、工具執行、回答生成三段，最後用 MMLU、AIME、SWE-bench、HarmBench、τ-bench 說明 benchmark 各量什麼，以及 pass^k 和 Goodhart 定律。
11-768 的 Assignment 2 要學生只用一個固定的 Qwen3-VL-30B-A3B 當裁判，替資料視覺化 agent 的每一次執行判四類錯誤，並用四類 MCC 的平均在私有測試集上評分（占作業 30%）；後半還要把自己出的題包成 Harbor 任務，寫一個被驗證器擋下、一個騙過驗證器的錯誤解。它的主題是：評分器就是之後 RL 的 reward。
Neubig 的 L6 把 coding agent 拆成三層：先把模型訓練成會寫程式（預訓練、中訓練、infilling、測試獎勵的 RL），再用 localize–edit–verify 迴圈和一套編輯工具讓它改 repo，最後用 SWE-bench 類的可執行環境評測與訓練；修 bug 只佔開發者一天的 15%，下一步是測試、CI、維護這些外迴圈任務。
JY Koh 這講把 computer use agent 拆成三件事：評測從單步點擊（ScreenSpot-Pro、Mind2Web）一路走到程式驗證終態（WebArena、OSWorld）、VLM 評審與長時程 rubric（Odysseys、OSWorld 2.0）；模型就是吃「截圖＋動作」交錯歷史的 VLM；訓練走預訓練 grounding → SFT 模仿人類與合成軌跡 → 在可重置的模擬環境做 RL。
CS224U 第四單元先問一個問題：行為測試能證明什麼、不能證明什麼。答案是它永遠給不了保證，而且失敗時要先分清是模型的問題還是資料的問題——BERT 在否定句 NLI 上 2.2% 的準確率，用少量例子微調後就回到 90%。接著看 SQuAD 的干擾句、Breaking NLI、ANLI 的人機對抗收集，最後以 DynaSent 兩輪資料收尾。
COGS 有幾個泛化切分幾乎每個模型都是 0 分。CS224U 用自家的 ReCOGS 研究拆解原因：遞迴切分的 0 分主要是長度泛化問題，介系詞片語切分的 0 分來自訓練資料只讓它出現在特定變數與位置。作業三 hw_recogs.ipynb 用 13.5 萬筆 ReCOGS 訓練資料，先要你找出 Charlie 與 Lina 這兩個訓練與測試角色完全相反的名字，再看一個訓練好的模型怎麼栽在它們身上。
2026 上半年 OpenAI、Anthropic、Letta、LangChain 不約而同選了 Markdown 檔案 + 索引取代向量資料庫；寫入權從 agent 交還給人；遺忘機制終於出現但沒人做 Ebbinghaus；LoCoMo 被 Penfield Labs 抓出 6.4% 錯答；三家同時用「Dreaming」指離線記憶整併。五個趨勢，一個結論：記憶不是功能，是架構決策。
DeepResearch Bench II 用 9,430 個專家 rubric 覆蓋 132 個任務，發現最強的 agent 也只滿足不到 50% 的標準。這篇拆解基準架構、评分方法、領先者，並分析整個 deep research 評估格局。
Deep research agent 跑出來的報告，該怎麼評分？用 LLM 當評審有偏，問人類太貴，測基準又跟不上。STC 等新方法試圖從「自信度」切入解決這個根本問題——但還沒有完美的答案。
Groundlane v0.1.0 新增四個品質機制：web_extract 的 selector healing（三層確定性 fallback，不用 LLM）、corpus_retrieval_test（RAG 召回品質驗證，受 RAGFlow 啟發）、document benchmark CLI（character-level F1）、search benchmark framework（ground truth corpus + 多 provider 比較）。工具數從 54 增至 55。
CursorBench 3.2：Fable 5.1 Max 73.4%（前冠軍 Grok 4.6 Extra High 70.8%）首次上榜即包辦第一、第二名；Fable 5.1 Max 比舊冠軍高 2.6 個百分點，且每題成本只要 $9.64，比前代 Fable 5 Max 的 $17.32 便宜 44%；Anthropic 官方網站目前仍只列出 Fable 5，Fable 5.1 尚無正式公告
OMP 的 metaharness 不是單純跑分工具，而是為了在硬體隔離的 microVM 裡、統一 auth gateway、可對照 baseline 的實驗級基礎設施。
Keenable.ai 把自己定位成給 AI agents 用的搜尋基礎設施：100B+ 文件索引、Search/Fetch API、 MCP/CLI 入口、100K 免費月額度與 keyless public endpoint。對台灣／繁中 agent 團隊來說， 現階段最合理的位置是 provider matrix 裡的實測候選；Brave、Exa、Tavily 或 Serper 仍要留著對照。
每個模型發布都帶 benchmark 數字，但同一個模型在不同 harness 上可以差 20 分、SWE-bench Verified 的 32% 驗證器判斷有誤、DeepSWE 113 題讓多數模型掛零。這篇拆解六個主要 coding benchmark 各自測什麼、哪些容易灌水、讀者該看哪個。
2026 年幾乎所有前沿開源模型都是 MoE 架構：Ornith 35B 只啟用 3B 打贏 31B dense、MiniMax M3 用 456B 總量但 45.9B 啟用拿下 SWE-bench Pro 59%、DeepSeek V4 用 1.6T 總量但 49B 啟用。這篇用四個案例解釋 MoE 為什麼在 coding 和 agentic 任務上佔據主流。
模型發布時貼的 benchmark 數字有三個常見陷阱：只秀贏的（cherry-picking）、訓練資料混入考題（contamination）、大家都考 90 分以上就沒鑑別力（saturation）。最抗操弄的訊號是 Chatbot Arena 的 Elo 排名——真人盲測投票，模型廠商無法控制題目。
MiniMax 從消費級聊天 App 起家，M2.5 在 SWE-bench Verified 拿 80.2% 但 API 價格只有 Claude Opus 的 1/10-1/20；M3（456B 總量 / 45.9B 啟用）是首個在 SWE-bench Pro 突破 59% 的開源權重模型，還有 1M context。
DeepReinforce 用 self-improvement RL 訓練的 Ornith 1.5 家族：397B 旗艦在 SWE-bench Verified 拿 86.0 追平 Claude Opus 4.8，35B-A3B 每 token 只啟用 3B 參數卻在同量級 coding benchmark 全面領先，9B 版本可以跑在手機上。MIT 授權、完全開源。
CLI 工具每次叫用都要付一次啟動成本，而沒有 baseline 的效能優化等於沒有回歸保護。codex 用 daemon 重用與 skill snapshot 快取、claude-code 把入口切成七十個動態 import 加上內建啟動 profiler、opencode/omp 各有 lazy 載入紀律；pi 則什麼都沒做，靠 Bun 的速度快撐著。looplane 是 Python，天生慢，所以把紀律做滿：lazy import、單飛磁碟快取、背景預熱 controller、hyperfine paired benchmark 加上 CI 大於 10% 退步就擋 merge。
模型廠商的自測數字不能直接信。這篇整理 2026 年最重要的獨立評測平台、領域 benchmark、市場熱度指標和官方來源，說明各自測什麼、怎麼解讀、偏差在哪，附上不同情境的選型該看哪些數字。
第 11 講把評估拆成測什麼、怎麼量與何時不再可信：benchmark 會飽和、遭污染或被提示格式左右，LLM judge 也只是帶著自身偏差的模型。
第十二講從 perplexity 走到考試、聊天偏好、agent、推理與安全評測；每次換 benchmark 都同時換了能力定義、scaffold、judge 與污染風險，因此評分前必須先說清楚到底在比較 method、model 還是完整 system。
Repo 已有 20 題繁中／英文 golden dataset，但缺少文件層級 qrels、retrieval run、延遲原始值與執行 script；目前不能誠實報 Recall@k、MRR 或 nDCG 實測分數。本文把缺口整理成可重跑的評估契約。
抽取工具不能只比 HTTP 200；同一組 20 個 URL 要分別量正文、heading、table、code、link、metadata、雜訊、延遲與成本。本文先公開 corpus、adapter contract 與評分 gate，但因目前缺 Firecrawl credential 與四條同版本 raw run，尚不發佈勝負。
Web retrieval 要測的是完整 task，不是 HTTP 200：固定 30 題、五種失敗層、三條 live channel，同時量答案、引用、freshness、延遲、成本與不必要升級。本文交付可執行 harness 與 gate，但因目前沒有三條 live channel 設定，不提供虛構排名。
純圖片理解已經打平：MMMU-Pro 上四家前沿模型全部過 80%，差距在 3 分內。真正分勝負的是影片、長文件 OCR、即時語音這幾條軸線，各有不同的領先者。但整理這些排名時最該學的一課，是兩份都算可信的來源對同一個 Video-MME 給出的榜首可以差超過 10 分，而且不是同一家。七月與八月又各換過一輪。
問模型「你心目中的鵝長什麼樣」，它畫出一大群鵝——因為標註資料把一群鵝標成 goose，它以為整群才是那個標籤。這一講給了七種打開 CNN 看內部的方法，然後誠實地說：這套方法到 transformer 上，最前沿的研究也只解釋得了兩層。
用 4 份台大碩班掃描考古題實測 10 種開源 PDF 解析工具。VLM 類（Firecrawl、MinerU 3.4、Marker v2）在公式和程式碼上全面碾壓傳統 OCR，但安裝踩坑才是真正的門檻——MinerU 舊包名會進依賴地獄、Marker 首次模型下載要 10 分鐘、PaddleOCR 缺引擎。實務推薦兩階段策略：RapidOCR 粗篩 + MinerU/Firecrawl 精查。