Skip to content

深度強化學習：從決策概念到策略學習與實驗｜Berkeley CS285 課程總覽

2026年8月22日1 分鐘
首頁›learning
TL;DRSpring 2026 CS185/285 公開 25 講投影片、9 組討論課資料、5 份作業與 starter code；講課錄影已公開在 RAIL YouTube 頻道，但 Ed、Gradescope 與助教時間仍限修課生，HW4 預設 H100，不能把它包裝成零成本公開課。
#cs285#berkeley#deep-reinforcement-learning#self-study#ai-course
系列: Berkeley CS285 Deep Reinforcement Learning 導讀 (1 / 6)
模仿學習、分布偏移與 RL 基礎｜Berkeley CS285 第 1–4 堂

🌏 English version

影片狀態：僅附相關補充影片；原講次錄影未確認。 影片來源與說明

Berkeley CS185/285 Spring 2026 是 Sergey Levine 開設的深度強化學習課。公開頁面列出 25 講投影片、9 組 discussion section、5 份作業與兩個預設期末專案；starter code 也能匿名下載。這是一門能實際跟做的 A3 教材型課程，但不是完整公開課。

影片方面，Spring 2026 講課錄影已公開在 RAIL 的 YouTube 頻道（播放清單，27 支）。官方 syllabus 與課站首頁尚未同步，仍寫錄影在 bCourses、並連到 Fall 2023 播放清單；resources 頁的 Fall 2023 錄影只能當歷史替代資源。主線以 2026 投影片、section 與作業為準，錄影依講次編號對照。

六篇怎麼讀

篇次官方內容要回答的問題
1全課地圖能取得什麼、缺什麼、要先會什麼
2L1–4、Sections 1–2、HW1模仿學習為何會遇到分布偏移
3L5–10、Sections 3–5、HW2–3policy gradient、actor-critic、DQN、SAC 如何接起來
4L11–18、Sections 6–9、HW4–5推論觀點、LLM RL、model-based 與 offline RL
5L19–25exploration、理論、多任務與開放問題
6五份作業、期末專案哪些能用 CPU，哪些需要 GPU 與預算

先修不是「會寫 Python」而已

官方要求 CS189 或同等機器學習背景，並假設讀者熟悉強化學習、數值最佳化與機器學習。若 MDP、Bellman equation、梯度與機率分布還不熟，先讀 Sutton & Barto 第 3、4 章，再做 CS188 的 MDP 單元。今晚可以做的檢查是：不看資料，寫出 state、action、transition、reward、policy 與 value function 的關係；卡住就先補基礎。

運算成本要先看

HW1、HW2 適合 CPU 起步。HW3 多數實驗可在本機跑，但官方估計 MsPacman 與 HalfCheetah 即使用 GPU 也可能各花約三小時。HW4 的官方流程預設使用 Modal H100，且包含四個必要訓練 run。HW5 每個 run 最長約六小時，還要跨演算法與任務調參。

課程獲得的 Modal 支援是給修課學生的資源，不是公開教材附贈額度。自學者應先跑最小設定驗證程式，再決定是否租 GPU；不要先把全部實驗排進雲端。

這系列不會假裝補回缺少的課堂

錄影補回了教師的口頭說明，但校外自學者仍拿不到 Ed 討論、Gradescope 回饋、課堂互動與助教 office hours（這些在 bCourses 與修課系統內）。文章會解釋投影片與作業之間的結構，不會虛構講者說過什麼，也不會把 Fall 2023 影片標成 2026。

自學完成標準也因此改成可驗證的產物：一份推導筆記、一個通過小型環境的實作、一張跨 seed 結果表，以及一段失敗分析。這比「看完 25 講」更接近課程真正要求的能力。

課程影片來源

本文是課程總覽或資源地圖，沒有單一對應講次。2026-10-10 即時核對：講師已把 Spring 2026 講課錄影公開在 RAIL 的 YouTube 頻道（27 支，2026-08-15 起公開）；課程 syllabus 仍寫錄影在 bCourses，課站也仍連到 Fall 2023 播放清單。請依講次編號從播放清單挑選錄影。

課程總覽附上第 1 講錄影作為入門補充（開場介紹，44 分鐘；已依字幕核對內容是開場與課程介紹）：

YouTube：CS 185/285 (Spring 2026): Lecture 1, Deep Reinforcement Learning

課程與錄影入口：

查核日期：2026-10-10。

內容核對：已依字幕核對（2026-10-10）：第 1 講字幕（取得的部分只到講課中段，約講到 Bitter Lesson 的 learning 與 search 為止）涵蓋機器人抓取的開場例子、課程行政（先修、作業、考試、期末專案）、什麼是 RL、與監督式學習在 IID 假設上的差異、各種應用，以及 Sutton 的 The Bitter Lesson；作為入門補充與本文總覽相符。

更新紀錄

  • 2026-10-10：標註影片狀態，核對錄影來源與取得方式。
  • 2026-10-10：修正過時的錄影說法。講課錄影已公開在 RAIL YouTube 頻道，bCourses 仍有的是 Ed、Gradescope、課堂互動與助教時間；tldr、description 與正文同步改寫。
  • 2026-10-10：重查影片狀態。找到 RAIL 頻道公開的 Spring 2026 播放清單並補上連結；本篇沒有單一講次，狀態維持僅附官方入口。
  • 2026-10-10：總覽嵌入 Spring 2026 第 1 講錄影，狀態改為相關補充影片，與其他課程總覽的做法一致。
  • 2026-10-10：依字幕核對影片內容。第 1 講影片已讀字幕，確認是開場與課程介紹；把先前「未讀字幕」的註記更新為已核對。

參考資料

相關文章

CPU、GPU、H100 成本分界｜Berkeley CS285 主題單元1 min模仿學習、分布偏移與 RL 基礎｜Berkeley CS285 第 1–4 堂1 min探索、RL 理論、多任務學習與開放問題｜Berkeley CS285 第 19–25 堂1 min