OLMo：唯一連訓練資料都開源的語言模型家族
Allen AI 的 OLMo 是目前唯一把權重、訓練資料（Dolma，9.3 兆 token）、訓練程式碼、所有中間 checkpoint 和評估工具全部公開的語言模型家族。OLMo 3 的 32B Think 模型在 MATH 跑到 96.1%，同時你可以用 OlmoTrace 追溯任何輸出回到訓練資料的哪一段。
#training-data
4 篇文章CS336 Lecture 14：Filtering、Dedup 與資料混合才把 raw web 變成訓練語料
第十四講把 raw documents 經語言辨識、品質與安全 filtering、exact/near dedup、source mixing 送進訓練；每一步都會改變模型分布，而 synthetic instruction 與 agent trajectories 又把資料管線延伸到可執行環境。
CS336 Lecture 13：語料不會從天上掉下來，每個來源都有存取與授權成本
第十三講沿著 Common Crawl、Wikipedia、GitHub、arXiv、書籍與歷代開放資料集追溯語料來源；抓得到不等於可合法使用，raw data 也不等於 training data，來源 provenance 必須先於清理與混合。
Hermes Agent 的研究面：批次跑幾千條 prompt 產訓練資料，以及把它嵌進別的系統
`batch_runner.py` 把數千條 prompt 平行跑成 ShareGPT 格式的 tool-calling trajectory，每條 prompt 可指定自己的容器映像，中斷後靠內容比對而非索引續跑。它內建兩道品質過濾：完全沒有 reasoning 的樣本丟掉、含幻覺工具名的條目在合併時剔除。這解釋了為什麼一家研究機構要做個人 agent——agent 本身就是資料產線。