影片狀態：已附影片。 影片來源與說明
第 5–10 講形成課程的演算法核心：官方 agenda依序是 Policy Gradients、Actor Critic、Value-Based RL、Q-learning in Practice，以及兩講 Advanced Policy Gradients。讀法應沿著「估計什麼、資料從哪來、偏差與變異怎麼交換」前進。
Policy-based：直接改善 policy
L5 從 trajectory objective 推出 policy gradient；reward-to-go、baseline 與 advantage 都是在不改目標的前提下降低估計變異。L6 的 actor-critic 用 critic 估計 actor 的更新訊號，換來可能的 function-approximation bias。Section 3 把兩者接起來，Section 5 再處理進階 policy gradient。
HW2 要實驗 reward-to-go 與 neural-network baseline。它適合 CPU 起步；完整估時與硬體分界見作業成本表。不要只交最好曲線；自學時至少固定環境，跑三個 seed 並報 mean 與個別曲線。
Value-based：學會評價 action
L7–8 從 Bellman backup 進入 DQN 與實務穩定技巧。L9–10 回到更進階的 policy gradient，使讀者能比較 on-policy 與 off-policy、discrete 與 continuous action 的取捨。Section 4 把 DQN 與 SAC 並列，是最適合做一張比較表的地方：更新目標、replay buffer、target network、entropy term 各自解決什麼問題。
HW3 實作 DQN 與 SAC。starter code 同時包含便宜與昂貴的環境；GPU 估時見作業成本表。先用 sanity-check environment 驗證 loss、replay 與 evaluation，再啟動昂貴 run。
完成標準
最後應能不看筆記回答：policy gradient 為何高變異、critic 如何降低變異又引入偏差、DQN 為何需要 replay 與 target network、SAC 的 entropy 為何有用。回答不了，就回到推導與最小實驗，不要直接堆算力。
課程影片來源
2026-10-10 即時核對：講師已把 Spring 2026 講課錄影公開在 RAIL 的 YouTube 頻道（播放清單「CS 185/285: Deep Reinforcement Learning (Spring 2026)」，27 支，2026-08-15 起公開）。講次編號與官方投影片清單一致，這些錄影對應本文涵蓋的講次。課程 syllabus 仍寫錄影在 bCourses、課站也仍連到 Fall 2023 播放清單，但觀看這些錄影不需要它們。此處嵌入其中兩講，其餘請見播放清單。
原始影片：CS 185/285 (Spring 2026): Lecture 5, Policy Gradients、CS 185/285 (Spring 2026): Lecture 7, Value-Based RL
課程與錄影入口：
- 官方課程與錄影入口
- CS 185/285: Deep Reinforcement Learning (Spring 2026) — official RAIL YouTube playlist (27 videos)
查核日期：2026-10-10。
內容核對：已依字幕核對（2026-10-10）：Lecture 5 字幕從 policy gradient 的軌跡目標推導，講 reward-to-go、baseline（減變異且不偏），並提到 policy gradient 訓練語言模型；Lecture 7 字幕說明「去掉 actor 只留 critic」得到 Q-learning，再從 policy iteration、value iteration、fitted value iteration 到 fitted Q iteration，並討論 replay buffer、epsilon-greedy 與 Boltzmann 探索，結尾預告下一講才講穩定技巧。與本文相符；字幕沒有出現 advantage 一詞，DQN 的 target network 等技巧屬下一講，HW2／HW3 細節為本站整理。
更新紀錄
- 2026-10-10：標註影片狀態，核對錄影來源與取得方式。
- 2026-10-10：重查影片狀態。在 RAIL 頻道找到公開的 Spring 2026 CS 185/285 播放清單，嵌入兩講對應錄影，狀態由僅附官方入口改為已附影片。
- 2026-10-10：依字幕核對影片內容。確認兩支影片是 Lecture 5 與 7，內容與本文相符；補註 DQN 穩定技巧在下一講。
參考資料
Loading...