Scaling Laws：模型要多大才夠，以及為什麼不是越大越好
Scaling laws 說 loss 跟參數量、資料量、算力之間有可預測的冪次關係。Chinchilla 論文的關鍵發現：大多數模型都太大、訓練資料太少——同樣的算力預算，訓練一個較小但吃更多資料的模型反而更強。這改變了整個產業的訓練策略。
#scaling-laws
8 篇文章認識 AI 模型：從 token 到自架，18 篇讀懂模型的通用知識
不需要變成研究員也能系統理解 AI 模型。這個系列從你看得見的東西（token、context window）開始，一路走到自架開源模型，18 篇覆蓋選模型、讀 benchmark、算成本需要的所有基礎。
2022 AI 頂會導讀：機器學習篇
2022 年是 diffusion model 登上頂會舞台中央、Chinchilla scaling laws 改寫大模型訓練範式、Chain-of-Thought 讓推理成為可提示能力的一年。NeurIPS 破萬篇投稿，13 篇 Outstanding Paper 裡有 3 篇跟 diffusion 直接相關，Chinchilla 和 data pruning 兩篇挑戰了『大就是好』的信條。ChatGPT 年底發佈前夜，所有拼圖都在這一年的頂會上各就各位。
2022 AI 頂會在收什麼題目：Diffusion 爆發、Chain-of-Thought 與 ChatGPT 前夜
2022 年是 AI 頂會的轉折年：Diffusion Model 從冒頭變成主流（NeurIPS 兩篇 Outstanding Paper），Chinchilla 改寫 scaling laws 的遊戲規則，Chain-of-Thought 證明大模型能推理，InstructGPT 用 RLHF 讓語言模型學會聽話——而這一切在年底 ChatGPT 上線後瞬間從學術議題變成全球新聞。
Marin 535B 怎麼訓：Scaling Ladder、MoE 專家並行、Harrier 資料與 W&B 現場
Stanford Marin 在 11×GB200 上公開訓練 535B-A23B，先用 1% 算力的 5 階 Scaling Ladder 預註冊 paloma macro-loss 2.04，再以 W&B 即時公開 847 組訓練數據；本文按訓練流程拆解其設計與監控方法。
CS336 Lecture 9：Scaling law 不是水晶球，是小實驗的外推工具
第九講從資料量與 error 的 log-log 線性關係出發，說明 scaling law 如何比較架構、optimizer、batch 與模型資料配置；Chinchilla 爭議也示範擬合方法、資料範圍與部署目標會改變答案。
CS336 Lecture 11：Scaling law 落地時，learning rate 與 batch 也要一起縮放
第十一講從 MiniCPM、DeepSeek、Qwen 與 Llama 3 的公開 recipe 拆解 scaling 實務：先固定大多數架構比例，再用小規模 sweep 找 learning rate、batch 與 IsoFLOPs 配置；μP 有用，但會被 normalization、optimizer 與 weight decay 破壞。
What's Going On Inside My Model?：模型退步了，你先看哪裡
問模型「你心目中的鵝長什麼樣」，它畫出一大群鵝——因為標註資料把一群鵝標成 goose，它以為整群才是那個標籤。這一講給了七種打開 CNN 看內部的方法，然後誠實地說：這套方法到 transformer 上，最前沿的研究也只解釋得了兩層。