Skip to content
所有標籤

#dpo

4 篇文章
ai deep-dive 認識 AI 模型

預訓練、SFT、RLHF：模型從「補完文字」變成「有用助理」的三個階段

所有 LLM 都經過三階段訓練：預訓練讀完網路學會語言、SFT 用示範對話學會格式、RLHF 用人類偏好學會什麼回答比較好。Base model 到 chat model 的差距，就是後兩個階段做的事。

#pre-training#sft#rlhf#dpo#fine-tuning#ai-model#training#alignment
ai deep-dive AI 頂會導讀

2023 AI 頂會導讀：機器學習篇

2023 年是 LLM 全面接管 ML 頂會的一年。NeurIPS 投稿破 12,000 篇，兩篇 Outstanding Paper 都直接針對大模型（隱私審計與湧現能力質疑），Runner-Up 的 DPO 在短短兩年內成為 RLHF 的實質替代標準。ICLR 的 DreamFusion 開啟了 text-to-3D 賽道，ICML 則把 LLM 水印和學習率自適應推上舞台。Mamba 以 arXiv 預印本之姿在 NeurIPS 現場引爆討論，預示 Transformer 的第一個真正挑戰者即將到來。

#ai-conference#neurips#icml#iclr#aaai#ijcai#2023#machine-learning#dpo#llm#state-space-model
ai deep-dive Stanford CS224N 導讀

CS224N 第 8 講：從 instruction tuning、RLHF 到 DPO

第 8 講解釋預訓練模型如何經 instruction tuning、偏好資料與 RLHF 變成助理，再以 DPO 直接從勝負配對學習；每一步都把人的判斷轉成訓練訊號，也把偏差帶進模型。

#cs224n#post-training#rlhf#dpo#stanford
ai deep-dive Stanford CS336 導讀

CS336 Lecture 15：SFT 教模型模仿，RLHF 才開始直接最佳化偏好

第十五講把 post-training 拆成 imitation 與 optimization：SFT 從 instruction-response data 抽出預訓練已有能力，RLHF 用 pairwise feedback 跨過人類示範與偏好之間的落差；PPO 與 DPO 都逃不掉資料偏差、reward overoptimization 和 mode collapse。

#cs336#post-training#sft#rlhf#dpo