認識 AI 模型：從 token 到自架，18 篇讀懂模型的通用知識
不需要變成研究員也能系統理解 AI 模型。這個系列從你看得見的東西（token、context window）開始，一路走到自架開源模型，18 篇覆蓋選模型、讀 benchmark、算成本需要的所有基礎。
#rlhf
10 篇文章預訓練、SFT、RLHF：模型從「補完文字」變成「有用助理」的三個階段
所有 LLM 都經過三階段訓練：預訓練讀完網路學會語言、SFT 用示範對話學會格式、RLHF 用人類偏好學會什麼回答比較好。Base model 到 chat model 的差距，就是後兩個階段做的事。
2022 AI 頂會導讀：自然語言處理篇
2022 年是 NLP 從「模型能力展示」走向「模型對齊與控制」的轉折年——InstructGPT 把 RLHF 推上主流、Chain-of-Thought 證明推理能力可以靠提示詞解鎖、Flan 2022 讓 instruction tuning 的方法論成熟化。ACL 與 NAACL 同年全面啟用 ARR 滾動審稿，暴露了大量基礎設施與審稿人負載問題。年底 ChatGPT 上線，NLP 研究的遊戲規則從此改寫。
2022 AI 頂會在收什麼題目：Diffusion 爆發、Chain-of-Thought 與 ChatGPT 前夜
2022 年是 AI 頂會的轉折年：Diffusion Model 從冒頭變成主流（NeurIPS 兩篇 Outstanding Paper），Chinchilla 改寫 scaling laws 的遊戲規則，Chain-of-Thought 證明大模型能推理，InstructGPT 用 RLHF 讓語言模型學會聽話——而這一切在年底 ChatGPT 上線後瞬間從學術議題變成全球新聞。
2023 AI 頂會在收什麼題目：LLM 重寫研究議程的一年
2023 年是 LLM 全面重寫 AI 研究議程的第一年：DPO 拿下 NeurIPS Outstanding Runner-Up、ReAct 成為 ICLR Oral、hallucination 從邊緣詞彙變成每場會議的熱門 track——同時 3D Gaussian Splatting 在 SIGGRAPH 發表後橫掃 CV 社群，Mamba 年底出現挑戰 Transformer 的注意力壟斷，而傳統 NLP pipeline 的論文量開始明確萎縮。
2025 AI 頂會在收什麼題目：Agent 爆發與 Reasoning 革命
2025 年 AI 頂會的兩個最強訊號：reasoning 論文從 47 篇暴增到 216 篇（4.6 倍）、agent 相關關鍵詞合計超過 150 篇（4.3–11 倍成長）。Diffusion model 已從「爆發」進入「基礎設施」階段，RAG 以五會議全覆蓋的罕見擴散速度成為企業 AI 的主流架構，而 state space model 和 world model 正複製 2020–2021 年 Vision Transformer 的早期軌跡。純 prompt engineering 論文開始遭遇 reviewer fatigue。
CS224N 第 8 講：從 instruction tuning、RLHF 到 DPO
第 8 講解釋預訓練模型如何經 instruction tuning、偏好資料與 RLHF 變成助理，再以 DPO 直接從勝負配對學習；每一步都把人的判斷轉成訓練訊號，也把偏差帶進模型。
CS336 Lecture 15：SFT 教模型模仿，RLHF 才開始直接最佳化偏好
第十五講把 post-training 拆成 imitation 與 optimization：SFT 從 instruction-response data 抽出預訓練已有能力，RLHF 用 pairwise feedback 跨過人類示範與偏好之間的落差；PPO 與 DPO 都逃不掉資料偏差、reward overoptimization 和 mode collapse。
NLP & LLM 面試攻略：從 tokenization 到 RLHF
LLM 面試的分水嶺是你有沒有實際用過這些東西。高頻考點：BPE tokenization 的邏輯與多語言問題、預訓練目標（CLM vs MLM）、fine-tuning 的三種層次（full/LoRA/prompt tuning）、RLHF 的流程與 failure mode、prompting 的工程實踐、LLM 評估的困難與現有方法。
Deep Reinforcement Learning：把 RLHF 放回強化學習的框架裡
圍棋不能用監督式學習的第三個理由最有意思：ground truth 本身就沒有良好定義——最強的人類不是每天下出最好的棋，而他最好的棋也不是最優解。這一講的最後 20 分鐘把 RLHF 完整放回 RL 的框架：agent 是被微調的模型、action 是下一個 token、一個 episode 是一次完整生成，而且獎勵極度稀疏。