用 LLM 評 LLM，先防三種偏誤｜Stanford CME295 第 8 堂
CME295 第 8 講從「人工評分又慢又貴、BLEU/ROUGE 看不懂換句話說」出發，講 LLM-as-a-Judge 的做法、位置／冗長／自我偏好三種偏誤與六條實務原則，再把 agent 的錯誤拆成工具選擇、工具執行、回答生成三段，最後用 MMLU、AIME、SWE-bench、HarmBench、τ-bench 說明 benchmark 各量什麼，以及 pass^k 和 Goodhart 定律。
#llm-as-a-judge
4 篇文章替資料視覺化 agent 寫評分器——四類錯誤、MCC 與 Harbor 驗證器｜CMU 11-768 作業 2
11-768 的 Assignment 2 要學生只用一個固定的 Qwen3-VL-30B-A3B 當裁判，替資料視覺化 agent 的每一次執行判四類錯誤，並用四類 MCC 的平均在私有測試集上評分（占作業 30%）；後半還要把自己出的題包成 Harbor 任務，寫一個被驗證器擋下、一個騙過驗證器的錯誤解。它的主題是：評分器就是之後 RL 的 reward。
Galileo 深入介紹：Experiments、Evaluators 與 Agent Observability 的完整評估迴圈
Galileo 把 dataset experiment、LLM/code/Luna evaluator、production traces 與 runtime guardrail 接成一個迴圈；適合需要企業級可觀測性與線上介入的團隊，但舊 Protect 名稱已 deprecated，評分模型也不能取代人工校準與應用安全。
Patronus AI 深入介紹：從 Evaluator、Experiment 到 Production Monitoring
Patronus AI 把 evaluator 當成可重用評分單元，再接到離線 experiment 與線上 trace；它適合要現成幻覺、安全與多模態評估模型的團隊，但 judge 分數不能取代人工標註、確定性測試或真正的資安驗證。