強化學習基礎與 Policy Gradient：參數藏在取樣分布裡，梯度怎麼算｜Stanford CS229 第 18 堂
這堂課前 55 分鐘把循序決策寫成 MDP（狀態、動作、轉移機率、獎勵、折扣因子），推出固定策略的 Bellman 方程式是一組線性方程式；後 20 分鐘推導 policy gradient：用 ∇p = p∇log p 把梯度換回期望值，轉移機率因為不含 θ 而從梯度裡消失，最後停在「log 機率梯度的和 × 折扣獎勵的和」這條公式，變異數縮減留到下一堂。
#policy-gradient
9 篇文章Actor-Critic 與價值估計——先學會判斷好壞，再多做好事｜Stanford CS224R 第 4 堂
Policy gradient 只能從實際拿到的獎勵判斷好壞，資料用得很浪費。Actor-critic 多訓練一個價值函數（critic）來估計「這個狀態有多好」，再用它算 advantage 去加權 policy（actor）的梯度。估計價值有三條路：用整條 rollout 的獎勵總和直接監督（Monte Carlo）、用「這一步獎勵加上自己對下一個狀態的估計」監督（bootstrap），或折衷的 n 步回報。L4 最後把它推到 off-policy：先在同一批資料上多走幾步（這是 PPO 的起點），再用 replay buffer 重用所有舊資料（這是 SAC 的起點）。
Policy Gradients——不知道環境怎麼運作，也能直接對 policy 求梯度｜Stanford CS224R 第 3 堂
Policy gradient 是 CS224R 的第一個線上 RL 演算法。它的梯度長得跟模仿學習的梯度幾乎一樣，只是每條軌跡多乘上一個獎勵權重：好結果的動作變得更可能，壞結果的動作變得更不可能。原始版本雜訊很大，L3 用兩招降低變異：只算「未來」的獎勵（causality）和減掉平均獎勵（baseline）。它也是 on-policy 的，每走一步梯度就要重新收資料；用 importance sampling 加上 KL 限制，才能在同一批資料上多走幾步。
REINFORCE、baseline 與 PPO 實作，外加策略誘導的分布｜Stanford CS234 作業 2
CS234 Winter 2026 的作業二共 102 分、四題：DQN 紙筆題（8）、在 CartPole、Pendulum、HalfCheetah 三個 PyBullet 環境上實作 REINFORCE、神經網路 baseline 與 clipped PPO（54 分程式＋21 分報告），證明策略誘導的狀態分布與 performance difference lemma（14），以及用 Belmont Report 檢視一個會邊學邊影響學生的 RL 實驗（5）。程式題的重點是把 L5–L7 的式子一行一行變成可以跑出 21 條學習曲線的程式。
策略梯度——score function、REINFORCE、baseline 與 actor-critic｜Stanford CS234 主題單元
策略梯度不學價值再導出策略，而是直接對策略參數 θ 做梯度上升。關鍵一步是把 ∇P(τ;θ) 改寫成 P(τ;θ)∇log P(τ;θ)，動態模型在取 log 後消失，只剩策略自己的 score function。原始估計量無偏但雜訊很大，CS234 用三招降噪：只看動作之後的回報（REINFORCE）、減掉只依賴狀態的 baseline（證明它不引入偏差）、用 critic 估計的價值取代 Monte Carlo 回報（actor-critic）。
進階策略梯度——performance bound、KL、PPO 與 GAE｜Stanford CS234 主題單元
Vanilla 策略梯度有兩個毛病：每批資料只走一步就丟，而且參數空間的距離不等於策略空間的距離，步長一大表現就崩。CS234 沿用 Joshua Achiam 的講法，從 performance difference lemma 出發，把新策略的表現改寫成舊策略資料上的 surrogate objective，再用 KL 散度界住近似誤差。最大化「surrogate 減 KL 懲罰」保證不退步，但理論常數太大，PPO 改用可調的 KL 懲罰或 clipping 近似它；advantage 則用 GAE 在偏差與變異之間折衷。
強化學習——從 AlphaGo 到讓 LLM「不要那麼唬爛」的 RLHF｜政大蔡炎龍 生成式AI 第 13 堂
前 12 講的模型都靠人準備好的訓練資料。L13 換一個問題：沒有標準答案，只知道做得好不好的時候，電腦要怎麼學？老師從 AlphaGo 和打磚塊講起，分成兩條路：value based 學一個 Q 函數替每個動作打分數（Deep Q-Learning、TD、Experience Replay、ε-greedy），policy based 直接學動作（Policy Gradient、Actor-Critic）。後半回到 LLM：ChatGPT 怎麼用人類排名訓練 reward model，再用 PPO 做 RLHF；DeepSeek 則讓電腦自動判斷數學題對錯當獎勵。第十三週作業是期末專案提案。
SFT、PPO、GRPO、on-policy distillation 其實是同一條 policy gradient｜Stanford CME295 2026 版 第 4 堂
2026 版 CME295 第 4 講（10 月 16 日）把 RL 獨立成一講，課表列了數學記號、reward design、policy gradient、限制、PPO、GRPO、on-policy distillation 七項。本篇把這條數學線先推一遍：從 ∇log π 乘上一個分數出發，SFT 的分數是 1，PPO 用 value model 估，GRPO 用同組平均，on-policy distillation 用教師對每個 token 的 log 機率差。Qwen3 報告裡，從同一個起點出發，RL 花 17,920 GPU 小時做到 AIME'24 67.6，on-policy distillation 只花約 1/10（1,800 小時）就做到 74.4。
Policy Gradient、Actor-Critic、DQN 與 SAC｜Berkeley CS285 第 5–10 堂
L5–10 用 policy-based 與 value-based 兩條路建立深度 RL 核心；HW2 可用 CPU，HW3 的 Atari 與 HalfCheetah 則約需數小時 GPU。