Scaling Laws：算力多十倍，該加在模型還是資料｜MIT 6.7960 第 20 堂
測試損失對資料量、參數量、算力都近似冪律，但指數很小：Kaplan 等人量到的資料指數約 0.095，資料加倍只讓損失降 6%，要砍半得多 1,400 多倍。算力該怎麼分，兩篇論文答案不同：Kaplan 是參數 ∝ C^0.73、資料 ∝ C^0.27，Chinchilla 改成各約一半。公開錄影只涵蓋到第二個發現，後面的內容本文依投影片整理，沒有講者的口頭說明。
#scaling-laws
14 篇文章Scaling與MoE：算力預算與條件計算｜CMU 10-423 主題單元
Scaling laws問固定預算下模型與資料怎麼配置；MoE問如何有更多expert容量、卻只啟用少數expert。前者是配置與經驗模型，後者是架構與路由，不能合稱「把模型變大」就跳過其中一方的機制。
AI 做 AI 研發會不會觸發智慧爆炸｜Harvard CS2881R 第 6 堂
Harvard CS 2881R Fall 2025 第 6 講沒有客座，Boaz Barak 用成長理論的微分方程問一個問題：如果 AI 開始自己做 AI 研發，能力曲線會維持指數、加速成奇點，還是被瓶頸拖慢？答案取決於幾個誰都量不準的指數。他用 Baumol 成本病、美國人均 GDP 百年 2% 的謎、Jones 的點子成長模型說明瓶頸與加速各自的道理，再拆開 AI 2027 的倍率假設。他的結論是：唯一能排除的是「AI 對研發沒什麼影響」。
預訓練三大類與 Prompt Learning：從 BERT、GPT、T5 到 soft prompt｜台大陳縕儂 深度學習之應用 第 6 堂
預訓練是在知道任務之前，先讓模型從大量無標註資料學通用能力。架構分三類：encoder 看兩邊、適合理解；decoder 只看左邊、能生成，是目前勝出的一類；encoder-decoder 用去噪預訓練。預訓練加微調有兩個難關：標註資料少、模型太大。GPT-3 的 in-context learning 不更新參數就能做任務，接著出現 hard prompt（template 加 verbalizer、LM-BFF）與直接訓練向量的 soft prompt（P-Tuning、Prefix-Tuning）。當時 soft prompt 效果較好，但最後留下來的是完全不訓練的 prompting。
核方法、神經網路與 Scaling Law｜Harvard CS181 作業 3
CS181 Spring 2026 的 HW3（due 3/23）三題 100 分：先把多項式與 RBF kernel 拆回特徵映射、從 ridge 推到 dual 係數 α 與 support vector 直覺；再手推兩層 sigmoid 網路的 backprop；最後佔一半分數的是在 Fashion-MNIST 上訓練 ResNet，自己量出 scaling law，用 C≈6ND 推算固定算力下模型與資料該怎麼分。
什麼時候該從零訓練 LLM：一張決策樹與完整的成本梯度
從零訓練只在三種情況成立：你要學習訓練本身、你有開放模型沒見過的 10B+ 乾淨語料、或你需要全透明的訓練過程做研究。否則微調或 RAG 幾乎總是更便宜的答案。這篇把系列走過的主要路線收斂成一張成本梯度表與決策樹。
Scaling Laws：模型要多大才夠，以及為什麼不是越大越好
Scaling laws 說 loss 跟參數量、資料量、算力之間有可預測的冪次關係。Chinchilla 論文的關鍵發現：大多數模型都太大、訓練資料太少——同樣的算力預算，訓練一個較小但吃更多資料的模型反而更強。這改變了整個產業的訓練策略。
認識 AI 模型：從 token 到自架，18 篇讀懂模型的通用知識
不需要變成研究員也能系統理解 AI 模型。這個系列從你看得見的東西（token、context window）開始，一路走到自架開源模型，18 篇覆蓋選模型、讀 benchmark、算成本需要的所有基礎。
2022 AI 頂會導讀：機器學習篇
2022 年是 diffusion model 登上頂會舞台中央、Chinchilla scaling laws 改寫大模型訓練範式、Chain-of-Thought 讓推理成為可提示能力的一年。NeurIPS 破萬篇投稿，13 篇 Outstanding Paper 裡有 3 篇跟 diffusion 直接相關，Chinchilla 和 data pruning 兩篇挑戰了『大就是好』的信條。ChatGPT 年底發佈前夜，所有拼圖都在這一年的頂會上各就各位。
2022 AI 頂會在收什麼題目：Diffusion 爆發、Chain-of-Thought 與 ChatGPT 前夜
2022 年是 AI 頂會的轉折年：Diffusion Model 從冒頭變成主流（NeurIPS 兩篇 Outstanding Paper），Chinchilla 改寫 scaling laws 的遊戲規則，Chain-of-Thought 證明大模型能推理，InstructGPT 用 RLHF 讓語言模型學會聽話——而這一切在年底 ChatGPT 上線後瞬間從學術議題變成全球新聞。
Marin 535B 怎麼訓：Scaling Ladder、MoE 專家並行、Harrier 資料與 W&B 現場
Stanford Marin 在 11×GB200 上公開訓練 535B-A23B，先用 1% 算力的 5 階 Scaling Ladder 預註冊 paloma macro-loss 2.04，再以 W&B 即時公開 847 組訓練數據；本文按訓練流程拆解其設計與監控方法。
Scaling law 不是水晶球，是小實驗的外推工具｜Stanford CS336 第 9 堂
第九講從資料量與 error 的 log-log 線性關係出發，說明 scaling law 如何比較架構、optimizer、batch 與模型資料配置；Chinchilla 爭議也示範擬合方法、資料範圍與部署目標會改變答案。
Scaling law 落地時，learning rate 與 batch 也要一起縮放｜Stanford CS336 第 11 堂
第十一講從 MiniCPM、DeepSeek、Qwen 與 Llama 3 的公開 recipe 拆解 scaling 實務：先固定大多數架構比例，再用小規模 sweep 找 learning rate、batch 與 IsoFLOPs 配置；μP 有用，但會被 normalization、optimizer 與 weight decay 破壞。
What's Going On Inside My Model?：模型退步了，你先看哪裡｜Stanford CS230 第 10 堂
問模型「你心目中的鵝長什麼樣」，它畫出一大群鵝——因為標註資料把一群鵝標成 goose，它以為整群才是那個標籤。這一講給了七種打開 CNN 看內部的方法，然後誠實地說：這套方法到 transformer 上，最前沿的研究也只解釋得了兩層。