CS224R Spring 2026 的 HW2 分三段：先在 5×4 的格子世界用表格型 Q-learning 看 reward 設計怎麼改變學到的路徑；再用 GAE 加 PPO clip 解一個只在完成時給 1 分的鐵鎚任務；最後用 BC 預訓練、critic ensemble 和更高的 UTD 做 off-policy actor-critic，並比較兩條學習曲線。題目、起始碼和算力指南都公開，但作業只支援 Modal，課程 credits 只發給修課學生。
Q-learning 把 actor-critic 的 actor 拿掉：直接學最優 Q 函數，要行動時取 argmax。代價是它不保證收斂，連線性 Q 都可能發散。CS224R 第 6 講用三個工程技巧把它拉回來：target network 讓目標值暫時不動、Double Q 拆開「選動作」和「估價值」來壓低高估、n 步回報用一點偏差換速度。
會評估之後，下一步是一邊收資料一邊把策略變好。CS234 第 4 講的路線是：ε-greedy 讓策略改進仍然單調；GLIE 規定探索要多到什麼程度、何時收手；Q-learning 在 GLIE 加上 Robbins–Monro 步長下會收斂到 Q*；最後把表格換成參數化的 Q̂(s,a;w)，用 MC、SARSA 或 Q-learning 的目標做 SGD。代價是 deadly triad：函數近似、bootstrapping、off-policy 三者同時出現時，可能震盪或發散。
前 12 講的模型都靠人準備好的訓練資料。L13 換一個問題：沒有標準答案，只知道做得好不好的時候，電腦要怎麼學？老師從 AlphaGo 和打磚塊講起，分成兩條路：value based 學一個 Q 函數替每個動作打分數（Deep Q-Learning、TD、Experience Replay、ε-greedy），policy based 直接學動作（Policy Gradient、Actor-Critic）。後半回到 LLM：ChatGPT 怎麼用人類排名訓練 reward model，再用 PPO 做 RLHF；DeepSeek 則讓電腦自動判斷數學題對錯當獎勵。第十三週作業是期末專案提案。
HW6 Problem 3（20 分）要你寫一個表格式 Q-learning agent 玩類 Flappy Bird 的 Swingy Monkey，最低標準是 100 局內至少一次超過 50 分，還要再加一個自選的改進。Problem 5（10 分）是 250 字內的倫理題：假設社群平台的使用者政治立場愈來愈極端，用 RL 的概念解釋 reward 設計可能怎麼推了一把。
第 4 週講機器學習的三種形式。監督式學習從有標籤的資料學出 hypothesis function：分類可以看最近的 k 個鄰居，或用一組權重畫出決策邊界（perceptron learning rule、logistic regression、support vector machine），再用損失函數、regularization 與 cross-validation 對付 overfitting。強化學習用 Q-learning 依 reward 更新每個 state 與 action 的估計值，ε-greedy 留一點機率隨機探索。非監督式學習以 k-means 分群。附逐段時間連結，以及 Shopping、Nim 兩個專案的解題思路與檢查方式。
第 22 講保留 MDP 骨架，拿掉已知 transition 與 reward 的假設；TD learning 用一步 sample 更新 value，Q-learning 再以 off-policy target 直接學最佳 action values。
Lecture 9–12 與 Project 3 用同一個 Gridworld 對照已知模型的 value iteration、未知模型的 Q-learning，以及用 features 泛化的 approximate Q-learning。
L5–10 用 policy-based 與 value-based 兩條路建立深度 RL 核心；HW2 可用 CPU，HW3 的 Atari 與 HalfCheetah 則約需數小時 GPU。
圍棋不能用監督式學習的第三個理由最有意思：ground truth 本身就沒有良好定義——最強的人類不是每天下出最好的棋，而他最好的棋也不是最優解。這一講的最後約 15 分鐘把 RLHF 完整放回 RL 的框架：agent 是被微調的模型、action 是下一個 token、一個 episode 是一次完整生成，而且獎勵極度稀疏。