Keenable 該放進台灣 Agent 團隊的搜尋備選嗎？
Keenable.ai 把自己定位成給 AI agents 用的搜尋基礎設施：100B+ 文件索引、Search/Fetch API、 MCP/CLI 入口、100K 免費月額度與 keyless public endpoint。對台灣／繁中 agent 團隊來說， 現階段最合理的位置是 provider matrix 裡的實測候選；Brave、Exa、Tavily 或 Serper 仍要留著對照。
#benchmark
16 篇文章2026 Coding Benchmark 怎麼讀：SWE-bench、Terminal-Bench、DeepSWE、Aider 各自測什麼
每個模型發布都帶 benchmark 數字，但同一個模型在不同 harness 上可以差 20 分、SWE-bench Verified 的 32% 驗證器判斷有誤、DeepSWE 113 題讓多數模型掛零。這篇拆解六個主要 coding benchmark 各自測什麼、哪些容易灌水、讀者該看哪個。
MoE 為什麼贏：從 Ornith 到 MiniMax，2026 年前沿模型都在用的架構
2026 年幾乎所有前沿開源模型都是 MoE 架構：Ornith 35B 只啟用 3B 打贏 31B dense、MiniMax M3 用 456B 總量但 45.9B 啟用拿下 SWE-bench Pro 59%、DeepSeek V4 用 1.6T 總量但 49B 啟用。這篇用四個案例解釋 MoE 為什麼在 coding 和 agentic 任務上佔據主流。
模型成績單怎麼看：Benchmark、Arena Elo、還有那些數字背後的陷阱
模型發布時貼的 benchmark 數字有三個常見陷阱：只秀贏的（cherry-picking）、訓練資料混入考題（contamination）、大家都考 90 分以上就沒鑑別力（saturation）。最抗操弄的訊號是 Chatbot Arena 的 Elo 排名——真人盲測投票，模型廠商無法控制題目。
MiniMax：聊天機器人公司做出的 Coding 模型，性價比碾壓閉源
MiniMax 從消費級聊天 App 起家，M2.5 在 SWE-bench Verified 拿 80.2% 但 API 價格只有 Claude Opus 的 1/10-1/20；M3（456B 總量 / 45.9B 啟用）是首個在 SWE-bench Pro 突破 59% 的開源權重模型，還有 1M context。
Ornith：小團隊用自我改進 RL 做出的開源 Coding 黑馬
DeepReinforce 用 self-improvement RL 訓練的 Ornith 1.5 家族：397B 旗艦在 SWE-bench Verified 拿 86.0 追平 Claude Opus 4.8，35B-A3B 每 token 只啟用 3B 參數卻在同量級 coding benchmark 全面領先，9B 版本可以跑在手機上。MIT 授權、完全開源。
跟成熟 coding agent 學設計（17）：啟動效能與工程紀律——慢的從來不是語言
CLI 工具每次叫用都要付一次啟動成本，而沒有 baseline 的效能優化等於沒有回歸保護。codex 用 daemon 重用與 skill snapshot 快取、claude-code 把入口切成七十個動態 import 加上內建啟動 profiler、opencode/omp 各有 lazy 載入紀律；pi 則什麼都沒做，靠 Bun 的速度快撐著。rivumi 是 Python，天生慢，所以把紀律做滿：lazy import、單飛磁碟快取、背景預熱 controller、hyperfine paired benchmark 加上 CI 大於 10% 退步就擋 merge。
AI 模型評測來源指南——怎麼判斷一個模型好不好用
模型廠商的自測數字不能直接信。這篇整理 2026 年最重要的獨立評測平台、領域 benchmark、市場熱度指標和官方來源，說明各自測什麼、怎麼解讀、偏差在哪，附上不同情境的選型該看哪些數字。
CS224N 第 11 講：Benchmark 與 LLM 評估為什麼會過期
第 11 講把評估拆成測什麼、怎麼量與何時不再可信：benchmark 會飽和、遭污染或被提示格式左右，LLM judge 也只是帶著自身偏差的模型。
CS336 Lecture 12：沒有一個真正的 LLM 評分，只有規則不同的遊戲
第十二講從 perplexity 走到考試、聊天偏好、agent、推理與安全評測；每次換 benchmark 都同時換了能力定義、scaffold、judge 與污染風險，因此評分前必須先說清楚到底在比較 method、model 還是完整 system。
私有語料 Retrieval Eval 實測：先把繁中題庫變成可重跑的 benchmark
Repo 已有 20 題繁中／英文 golden dataset，但缺少文件層級 qrels、retrieval run、延遲原始值與執行 script；目前不能誠實報 Recall@k、MRR 或 nDCG 實測分數。本文把缺口整理成可重跑的評估契約。
網頁抽取品質實測：Crawl4AI、Firecrawl、Jina Reader 與 Readability 差多少？
抽取工具不能只比 HTTP 200；同一組 20 個 URL 要分別量正文、heading、table、code、link、metadata、雜訊、延遲與成本。本文先公開 corpus、adapter contract 與評分 gate，但因目前缺 Firecrawl credential 與四條同版本 raw run，尚不發佈勝負。
Agent 搜尋品質怎麼驗收：Web Retrieval Benchmark 實作
Web retrieval 要測的是完整 task，不是 HTTP 200：固定 30 題、五種失敗層、三條 live channel，同時量答案、引用、freshness、延遲、成本與不必要升級。本文交付可執行 harness 與 gate，但因目前沒有三條 live channel 設定，不提供虛構排名。
2026 上半年多模態模型盤點：原生融合 vs. 外接視覺，以及排行榜為什麼會互相打臉
純圖片理解已經打平：MMMU-Pro 上四家前沿模型全部過 80%，差距在 3 分內。真正分勝負的是影片、長文件 OCR、即時語音這幾條軸線，各有不同的領先者。但整理這些排名時最該學的一課，是兩份都算可信的來源對同一個 Video-MME 給出的榜首可以差超過 10 分，而且不是同一家。七月與八月又各換過一輪。
What's Going On Inside My Model?：模型退步了，你先看哪裡
問模型「你心目中的鵝長什麼樣」，它畫出一大群鵝——因為標註資料把一群鵝標成 goose，它以為整群才是那個標籤。這一講給了七種打開 CNN 看內部的方法，然後誠實地說：這套方法到 transformer 上，最前沿的研究也只解釋得了兩層。
掃描 PDF 實測：10 種解析工具丟進考古題，結果差多少？
用 4 份台大碩班掃描考古題實測 10 種開源 PDF 解析工具。VLM 類（Firecrawl、MinerU 3.4、Marker v2）在公式和程式碼上全面碾壓傳統 OCR，但安裝踩坑才是真正的門檻——MinerU 舊包名會進依賴地獄、Marker 首次模型下載要 10 分鐘、PaddleOCR 缺引擎。實務推薦兩階段策略：RapidOCR 粗篩 + MinerU/Firecrawl 精查。