#imitation-learning

4 篇文章

ai guide Stanford CS224R Deep Reinforcement Learning 導讀2026年9月30日

階層式 RL 與模仿學習｜Stanford CS224R 第 15 堂

長 horizon 任務難，是因為要走過的狀態太多、犯錯和卡住的機會也多。CS224R 第 15 講的答案是拆成兩層：高層 policy 出子目標，低層 policy 以較高頻率執行。真正要做的設計決定有三個：子目標用什麼表示、兩層各自拿什麼監督、什麼時候換下一個子目標。投影片也坦白，階層和「單一 policy 加 chain of thought」誰比較好，還沒有定論。

#cs224r #ai-course #stanford #reinforcement-learning #imitation-learning #embodied-ai

ai guide Stanford CS224R Deep Reinforcement Learning 導讀2026年9月30日

模仿學習與能表達多峰分佈的 policy｜Stanford CS224R 第 2 堂

CS224R Spring 2026 第二講處理模仿學習的兩個失敗模式。第一個是示範有多種合理做法時，回歸只學到平均值；解法是把 policy 換成生成模型（高斯混合、離散化加自迴歸、diffusion／flow matching），再加上 action chunking。第二個是 compounding errors：policy 一犯錯就走到示範沒涵蓋的狀態；解法是 DAgger 和 human-gated DAgger 收集修正資料。前兩部分就是 HW1 的內容。

#cs224r #ai-course #stanford #imitation-learning #flow-matching #reinforcement-learning

ai guide Stanford CS234 Reinforcement Learning 導讀2026年9月30日

behavioral cloning、DAgger、inverse RL 與 MaxEnt IRL｜Stanford CS234 主題單元

有專家示範、沒有 reward 時，CS234 L7 後半給三條路：直接用監督式學習抄動作（behavioral cloning），發現誤差會隨時間累積後改成邊跑邊問專家（DAgger），或者乾脆反推專家在最佳化什麼 reward（inverse RL）。反推 reward 會碰到「無限多組 reward 都解釋得了示範」的問題，feature matching 與最大熵原則是兩種收斂答案的方式。這一段是下一篇 RLHF 的前身：從示範換成偏好，問題結構幾乎一樣。

#cs234 #ai-course #stanford #reinforcement-learning #imitation-learning

learning guide Berkeley CS285 Deep Reinforcement Learning 導讀2026年8月22日