Scaling Laws：算力多十倍，該加在模型還是資料｜MIT 6.7960 第 20 堂
測試損失對資料量、參數量、算力都近似冪律，但指數很小：Kaplan 等人量到的資料指數約 0.095，資料加倍只讓損失降 6%，要砍半得多 1,400 多倍。算力該怎麼分，兩篇論文答案不同：Kaplan 是參數 ∝ C^0.73、資料 ∝ C^0.27，Chinchilla 改成各約一半。公開錄影只涵蓋到第二個發現，後面的內容本文依投影片整理，沒有講者的口頭說明。
#chinchilla
2 篇文章Scaling Laws：模型要多大才夠，以及為什麼不是越大越好
Scaling laws 說 loss 跟參數量、資料量、算力之間有可預測的冪次關係。Chinchilla 論文的關鍵發現：大多數模型都太大、訓練資料太少——同樣的算力預算，訓練一個較小但吃更多資料的模型反而更強。這改變了整個產業的訓練策略。