策略梯度及其變體：REINFORCE 與 PPO
第 21 章從 log-derivative trick 推出 REINFORCE，再用 reward-to-go、baseline 與 PPO clipping 控制 policy-gradient 的高變異與更新幅度。
#policy-gradient
2 篇文章Berkeley CS285 L5–10：Policy Gradient、Actor-Critic、DQN 與 SAC
L5–10 用 policy-based 與 value-based 兩條路建立深度 RL 核心；HW2 可用 CPU，HW3 的 Atari 與 HalfCheetah 則約需數小時 GPU。