2026 Coding Benchmark 怎麼讀：SWE-bench、Terminal-Bench、DeepSWE、Aider 各自測什麼
每個模型發布都帶 benchmark 數字，但同一個模型在不同 harness 上可以差 20 分、SWE-bench Verified 的 32% 驗證器判斷有誤、DeepSWE 113 題讓多數模型掛零。這篇拆解六個主要 coding benchmark 各自測什麼、哪些容易灌水、讀者該看哪個。
#llm-evaluation
10 篇文章模型成績單怎麼看：Benchmark、Arena Elo、還有那些數字背後的陷阱
模型發布時貼的 benchmark 數字有三個常見陷阱：只秀贏的（cherry-picking）、訓練資料混入考題（contamination）、大家都考 90 分以上就沒鑑別力（saturation）。最抗操弄的訊號是 Chatbot Arena 的 Elo 排名——真人盲測投票，模型廠商無法控制題目。
2024 AI 頂會導讀：自然語言處理篇
2024 年的 NLP 頂會在 LLM 全面統治下重新定義自己：ACL 把開放科學列為年度主題、七篇 Best Paper 有四篇在問語言模型的根本能力邊界；EMNLP 則把焦點轉向多語言與跨文化，Best Paper 從語音表徵做到梯度可解釋性。投稿量持續爆炸（ACL+EMNLP 合計破萬），但社群真正焦慮的不是數量，而是當 LLM 能做幾乎所有 NLP 任務時，NLP 研究本身還剩什麼。
2025 AI 頂會導讀：自然語言處理篇
2025 年 NLP 頂會的投稿量全面翻倍（ACL 8,360 篇、EMNLP 8,174 篇），中國第一作者在 ACL 佔比突破 51%，DeepSeek 的 Native Sparse Attention 拿下 ACL Best Paper——但最值得注意的是會議本身的身份危機：ACL 主席說『ACL 不是 AI 會議』，一篇量化分析問『Has ACL Lost Its Crown?』，EMNLP 被質疑跟 ACL/NAACL 還有什麼差別。
Braintrust：把 LLM 評估做成從 Dataset 回到 Production 的迴圈
Braintrust 把 versioned datasets、immutable experiments、scorers 與 production traces 接成同一個評估迴圈；它的價值不是多一個分數，而是把線上失敗送回離線測試。公司在 2026-02 宣布 8,000 萬美元 B 輪，客戶名單為公司自報。
CS224N 第 11 講：Benchmark 與 LLM 評估為什麼會過期
第 11 講把評估拆成測什麼、怎麼量與何時不再可信：benchmark 會飽和、遭污染或被提示格式左右，LLM judge 也只是帶著自身偏差的模型。
CS336 Lecture 12：沒有一個真正的 LLM 評分，只有規則不同的遊戲
第十二講從 perplexity 走到考試、聊天偏好、agent、推理與安全評測；每次換 benchmark 都同時換了能力定義、scaffold、judge 與污染風險，因此評分前必須先說清楚到底在比較 method、model 還是完整 system。
Galileo 深入介紹：Experiments、Evaluators 與 Agent Observability 的完整評估迴圈
Galileo 把 dataset experiment、LLM/code/Luna evaluator、production traces 與 runtime guardrail 接成一個迴圈；適合需要企業級可觀測性與線上介入的團隊，但舊 Protect 名稱已 deprecated，評分模型也不能取代人工校準與應用安全。
Patronus AI 深入介紹：從 Evaluator、Experiment 到 Production Monitoring
Patronus AI 把 evaluator 當成可重用評分單元，再接到離線 experiment 與線上 trace；它適合要現成幻覺、安全與多模態評估模型的團隊，但 judge 分數不能取代人工標註、確定性測試或真正的資安驗證。
Promptfoo 深入介紹：把 LLM Eval 與 Red Team 寫進本機測試迴圈
Promptfoo 用 YAML 把 prompts、providers、test cases 與 assertions 組成可在本機與 CI 重跑的 LLM 評估矩陣，並共用同一套 target 做 red team；它降低測試門檻，但隨機輸出、LLM judge 偏差與 hosted data flow 仍要另外治理。