Yueqi Song 這講把 agent SFT 拆成六個決定：loss 只算 assistant token（停止 token 也要算）、挑哪些軌跡（通過測試的也會教壞模型，換老師、加新任務比多抽樣有用）、用 Agent Data Protocol 統一格式、訓練時注意 packing 與 template drift、用實際 harness 評估，以及 SFT 要為接下來的 RL 選 checkpoint，而不是訓到自己最好。
拆解三個中文圈從零訓練 LLM 的開源專案——baby-llama2-chinese（218M、634 億 tokens）、ChatLM-mini-Chinese（0.2B T5、1,023 萬條對話）、Steel-LLM（1.12B、1 兆 tokens、8 個月）——比較語料策略、tokenizer 決策與社群生態；誠實呈現評測：baby-llama2 在 MiniMind 的橫評中 21 分墊底，ChatLM 知識紮實（62 分）但程式能力弱。
MiniMind 是一個從零開始訓練 LLM 的開源專案：64M 的 Dense 模型與 198M-A64M 的 MoE 模型，單張 3090 約 2 小時、約 3 元人民幣就能跑完 Pretrain → SFT → LoRA → DPO → PPO/GRPO/CISPO → Agentic RL 的完整流程。所有核心演算法用 PyTorch 原生實作，不依賴高階封裝。
所有 LLM 都經過三階段訓練：預訓練讀完網路學會語言、SFT 用示範對話學會格式、RLHF 用人類偏好學會什麼回答比較好。Base model 到 chat model 的差距，就是後兩個階段做的事。
第十五講把 post-training 拆成 imitation 與 optimization：SFT 從 instruction-response data 抽出預訓練已有能力，RLHF 用 pairwise feedback 跨過人類示範與偏好之間的落差；PPO 與 DPO 都逃不掉資料偏差、reward overoptimization 和 mode collapse。