Skip to content
所有標籤

#chatbot-arena

5 篇文章

Benchmark 異動|Arena Agent 排行榜:GPT-6 Sol 首度闖進前三,Claude Opus 5.5(Max)把分差拉開到近 4 個百分點

Arena Agent 排行榜 10-12 發布:Claude Opus 5.5(Max)17.89% 登頂(前次登頂的「High」版本 14.33%,但這次整批從 52 個上榜模型中消失);GPT-6 Sol(Max)12.60% 首次擠進前三(前次未進前 10);Gemini 4 Argon(High)12.37% 新進前五第四;GPT-6 Astra(Max)從第二跌到第五(13.09%→12.34%);Claude Fable 5.1 與 Claude Sonnet 5.5 雙雙跌出前五

Benchmark 異動|Arena Agent 排行榜:Claude Opus 5.5 登頂,衛冕一個多月的 Fable 5.1 掉到第三

Arena Agent 排行榜 10-08 發布:Claude Opus 5.5(High)14.33% 首次登頂(前次 13.82% 第二)、GPT-6 Astra(Max)13.09% 升到第二(前次 12.27% 第四)、Claude Fable 5.1(Max)12.66% 從蟬聯一個多月的第一跌到第三(前次 14.31%)、Claude Sonnet 5.5(Max)11.95% 跌到第四(前次 12.52% 第三)、GPT-6.1 Sol(Max)11.72% 維持第五;四家排名的信賴區間仍大面積重疊

Benchmark 異動|Arena Agent 排行榜:發布僅 3 天的 Claude Sonnet 5.5 直接空降第三,GPT-6 Astra 被擠到第四

Arena Agent 排行榜 10-02 發布:Claude Fable 5.1(Max)14.31% 蟬聯第一、Claude Opus 5.5(High)13.82% 第二、09-29 才上線的 Claude Sonnet 5.5(Max)12.52% 直接空降第三,GPT-6 Astra(Max)分數微升到 12.27% 卻被擠到第四;Arena 官方 X 帳號同步公告 Sonnet 5.5 比前代 Sonnet 5(目前排第 13)跳了 8.1 個百分點;但四家排名的信賴區間彼此重疊,單次快照看不出真正的勝負

Benchmark 異動|Arena Agent 排行榜:Claude Fable 5.1 蟬聯第一,新發布的 Opus 5.5 只排第二

Arena Agent 排行榜 09-30 發布:Claude Fable 5.1(Max)14.55% 第一、Claude Opus 5.5(High)13.78% 第二、GPT-6 Astra(Max)12.18% 第三;Anthropic 官方宣稱 Opus 5.5「效能近 Fable 5.1 但省 40% 成本」,但在這個由真人投票決定的 Agent 類別裡,Opus 5.5 仍落後旗艦版約 0.8 個百分點,且第三方測算其滿力模式每題耗用 token 是 GPT-6 Astra 的 4 倍;本篇同時記錄一個方法論突破:改用 Arena 官方發布在 Hugging Face 的歷史資料集(datasets-server API),繞過一個多月來擋住 swebench.com/arena.ai 等排行榜網頁渲染的結構性故障

模型成績單怎麼看:Benchmark、Arena Elo、還有那些數字背後的陷阱

模型發布時貼的 benchmark 數字有三個常見陷阱:只秀贏的(cherry-picking)、訓練資料混入考題(contamination)、大家都考 90 分以上就沒鑑別力(saturation)。最抗操弄的訊號是 Chatbot Arena 的 Elo 排名——真人盲測投票,模型廠商無法控制題目。