Scaling與MoE：算力預算與條件計算｜CMU 10-423 主題單元
Scaling laws問固定預算下模型與資料怎麼配置；MoE問如何有更多expert容量、卻只啟用少數expert。前者是配置與經驗模型，後者是架構與路由，不能合稱「把模型變大」就跳過其中一方的機制。
#training-data
9 篇文章Agent 的 SFT 怎麼做——loss mask、軌跡挑選、資料格式與交棒給 RL｜CMU 11-768 第 8 堂
Yueqi Song 這講把 agent SFT 拆成六個決定：loss 只算 assistant token（停止 token 也要算）、挑哪些軌跡（通過測試的也會教壞模型，換老師、加新任務比多抽樣有用）、用 Agent Data Protocol 統一格式、訓練時注意 packing 與 template drift、用實際 harness 評估，以及 SFT 要為接下來的 RL 選 checkpoint，而不是訓到自己最好。
融資速報｜Snorkel AI Series E $350M，估值半年翻近 3 倍，賣的是 Agent 訓練用的「資料工廠」
Snorkel AI 完成 $350M Series E，由 Insight Partners 與 S32 共同領投，估值較 17 個月前的 $1.3B（Series D）漲近 3 倍到 $3.5B，年化經常性收入 12 個月內成長 18 倍到 $375M。這輪錢的信號是：當前沿模型的訓練瓶頸已經從「算力夠不夠」轉移到「訓練資料和強化學習環境夠不夠精緻」，資料供應鏈本身正在變成一個能獨立募到超大輪的基礎設施層。
國家隊的從零訓練：Apertus 的合規路線與 LLM-jp 的日文生態
兩個國家級專案展示了從零訓練的另一種動機：瑞士的 Apertus 用 15T tokens、1,000+ 語言與嚴格的 opt-out 個資過濾對齊 EU AI Act；日本的 LLM-jp 由 NII 主導，2026 年 4 月的 LLM-jp-4 在 12T tokens 上訓練出多項 benchmark 超越 GPT-4o 的模型。它們回答的問題和效能路線不同：不是「跑得快」，而是「主權與合規下能訓出什麼」。
全透明的 LLM 怎麼做：OLMo 3 的 model flow 與 LLM360 K2 的 360° 開源
「開源 LLM」其實是一條光譜：只開權重（Llama）→ 權重加資料（多數 fully open 專案）→ 連資料順序、中間 checkpoint、訓練日誌都開（LLM360 K2、OLMo 3 的 model flow）。這篇拆解兩個把透明度推到極致的專案：OLMo 3 在 2025 年 11 月放出首個全開的 32B thinking 模型，K2 則是首個 65B 級、連 optimizer states 都公開的模型。
OLMo：唯一連訓練資料都開源的語言模型家族
Allen AI 的 OLMo 是目前唯一把權重、訓練資料（Dolma，9.3 兆 token）、訓練程式碼、所有中間 checkpoint 和評估工具全部公開的語言模型家族。OLMo 3 的 32B Think 模型在 MATH 跑到 96.1%，同時你可以用 OlmoTrace 追溯任何輸出回到訓練資料的哪一段。
Filtering、Dedup 與資料混合才把 raw web 變成訓練語料｜Stanford CS336 第 14 堂
第十四講把 raw documents 經語言辨識、品質與安全 filtering、exact/near dedup、source mixing 送進訓練；每一步都會改變模型分布，而 synthetic instruction 與 agent trajectories 又把資料管線延伸到可執行環境。
語料不會從天上掉下來，每個來源都有存取與授權成本｜Stanford CS336 第 13 堂
第十三講沿著 Common Crawl、Wikipedia、GitHub、arXiv、書籍與歷代開放資料集追溯語料來源；抓得到不等於可合法使用，raw data 也不等於 training data，來源 provenance 必須先於清理與混合。
Hermes Agent 的研究面：批次跑幾千條 prompt 產訓練資料，以及把它嵌進別的系統
`batch_runner.py` 把數千條 prompt 平行跑成 ShareGPT 格式的 tool-calling trajectory，每條 prompt 可指定自己的容器映像，中斷後靠內容比對而非索引續跑。它內建兩道品質過濾：完全沒有 reasoning 的樣本丟掉、含幻覺工具名的條目在合併時剔除。這解釋了為什麼一家研究機構要做個人 agent——agent 本身就是資料產線。