學習的種類：依輸出、標籤、資料取得方式與輸入來分｜台大林軒田 機器學習基石 第 3 堂
這堂課把第 1 堂的學習流程圖沿四個方向各換一次：輸出空間 Y（二元分類、多類別分類、迴歸、結構化學習）、標籤 yₙ（監督式、非監督式、半監督式、強化學習）、資料交給演算法的方式（batch、online、active）、輸入空間 X（具體、原始、抽象特徵）。四個方向各有一個核心選項，合起來是基石之後的主場：批次、監督式、具體特徵的二元分類與迴歸。
#reinforcement-learning
80 篇文章推論方法：模型訓練完之後，還能靠多算一點變聰明｜MIT 6.7960 第 24 堂
訓練完的模型不是只能做一次前向傳遞。貪婪取樣不保證找到模型認為最可能的序列（本文的例子裡它拿到 0.30，最佳是 0.36），所以多取樣幾次挑最好的就會進步；評分標準換成驗證器，還能挑出真的對的答案。再把搜尋到的好答案拿回去訓練模型，就是 AlphaGo 與 STaR 的迴圈，Isola 推測 o1 也是這樣做的。
機器學習在學什麼：監督式、非監督式與強化學習｜Stanford CS229 第 1 堂
CS229 Spring 2026 的開場課只有 37 分鐘、沒有推導。它用 Tom Mitchell 的「經驗 E、任務 T、衡量 P」定義機器學習，再把整門課分成監督式、非監督式、強化學習三類，三者的差別在於資料裡有沒有答案、資料是不是模型自己收集來的。大型語言模型在這個分類裡同時出現三次。
強化學習基礎與 Policy Gradient：參數藏在取樣分布裡，梯度怎麼算｜Stanford CS229 第 18 堂
這堂課前 55 分鐘把循序決策寫成 MDP（狀態、動作、轉移機率、獎勵、折扣因子），推出固定策略的 Bellman 方程式是一組線性方程式；後 20 分鐘推導 policy gradient：用 ∇p = p∇log p 把梯度換回期望值，轉移機率因為不含 θ 而從梯度裡消失，最後停在「log 機率梯度的和 × 折扣獎勵的和」這條公式，變異數縮減留到下一堂。
Baseline、PPO 與可驗證獎勵：只對答案給分，怎麼訓練出長思維鏈｜Stanford CS229 第 20 堂
學期最後一堂把 policy gradient 收尾：過去的獎勵與只依賴狀態的 baseline 都可以從權重裡拿掉而不改變期望值。接著用重要性取樣推出 PPO 的截斷目標函數，拆成四種情況看哪些樣本還有梯度，再比較 CISPO 的改法。最後把語言模型逐 token 生成寫成 MDP，只在答案對的時候給 1 分，用同一題 8 個樣本的平均當 baseline 訓練長思維鏈。
強化學習系統：推論與訓練怎麼接起來｜CMU 11-768 第 12 堂
RL 系統用推論引擎取樣、驗證器給獎勵、訓練引擎重算 logprob 與梯度，再把新權重同步回推論端。用一個自編的小例子走完這五步，再理解快取、歷史保留與非同步更新各在解決什麼問題。
reward model、GAE 與 PPO 的 VERL 風格訓練流程｜CMU 11-868 作業 7
11-868 的 RL 系統講題沒有投影片，Syllabus 只列了 ReaLHF 一篇論文。作業七倒是完整公開：用 Anthropic HH-RLHF 資料訓練 DistilBERT reward model（40 分），在 VERL 風格的 trainer 裡補上 GAE、PPO loss 與 entropy，微調 GPT-2（40 分），最後比較 RLHF 前後的 reward 分布（20 分）。起始碼的 trainer 沒有 import verl 套件，學的是 RLHF 的資料流，不是 VERL 的分散式引擎。
Actor-Critic 與價值估計——先學會判斷好壞，再多做好事｜Stanford CS224R 第 4 堂
Policy gradient 只能從實際拿到的獎勵判斷好壞，資料用得很浪費。Actor-critic 多訓練一個價值函數（critic）來估計「這個狀態有多好」，再用它算 advantage 去加權 policy（actor）的梯度。估計價值有三條路：用整條 rollout 的獎勵總和直接監督（Monte Carlo）、用「這一步獎勵加上自己對下一個狀態的估計」監督（bootstrap），或折衷的 n 步回報。L4 最後把它推到 off-policy：先在同一批資料上多走幾步（這是 PPO 的起點），再用 replay buffer 重用所有舊資料（這是 SAC 的起點）。
深度強化學習：課程定位與閱讀路線｜Stanford CS224R 課程總覽
CS224R 是 Chelsea Finn 在 Stanford 教的深度強化學習課，從模仿學習一路講到 LLM 的 RL 和機器人基礎模型。Spring 2026 的 17 份投影片、三份作業的題目與起始碼、default project 規格與起始碼都能匿名下載，本系列評為 A3（足以自學）。缺口是 2026 錄影只在 Canvas、期中考卷與解答不公開、HW2 和 HW3 規定在 Modal 上跑。公開錄影是 Spring 2025 版，本系列把它當補充，逐講標出差異。
用 SFT、IPO、RLOO 微調 LLM 解 Countdown｜Stanford CS224R 主題單元
CS224R Spring 2026 的 default project 要你在 Qwen2.5-0.5B Base 上，針對 Countdown 算術推理任務依序實作三個階段：SFT 暖身、IPO 偏好最佳化、用規則式 verifier 當獎勵的 RLOO，三者用同一套 vLLM 評估比較，再做一個自選的研究延伸。實作部分禁止用 SFTTrainer 這類高階 trainer，也禁止任何 AI 工具協助，只有延伸部分例外。延伸占報告成績的一半，看的是方法和紀錄，不是分數。起始碼和資料集都公開，校外讀者缺的是 Modal credits 和 autograder。
Deep RL 的前沿問題，以及怎麼做研究｜Stanford CS224R 第 18 堂
CS224R 最後一講分三段：先把整學期的方法收成一個工具箱，再列七個還沒解決的問題（沒有可驗證獎勵的領域、怎麼用 prior data、world model、怎麼 scale、安全、幻覺與校準、通才系統的評估），最後用一半的篇幅講怎麼做研究：同時要有重要的問題和可行的計畫、先把風險挪到最前面、及早考慮轉向、研究成果要分享出去才算數。配著 2026 年 244 份公開的期末專題報告一起讀，最容易看出這些原則落地的樣子。
階層式 RL 與模仿學習｜Stanford CS224R 第 15 堂
長 horizon 任務難，是因為要走過的狀態太多、犯錯和卡住的機會也多。CS224R 第 15 講的答案是拆成兩層：高層 policy 出子目標，低層 policy 以較高頻率執行。真正要做的設計決定有三個：子目標用什麼表示、兩層各自拿什麼監督、什麼時候換下一個子目標。投影片也坦白，階層和「單一 policy 加 chain of thought」誰比較好，還沒有定論。
Flappy Bird 上的回歸式 BC、Flow Matching 與 DAgger｜Stanford CS224R 作業 1
CS224R Spring 2026 的 HW1 用一個自製的 Flappy Bird 環境考模仿學習：policy 一次預測 20 步目標高度、只執行前 10 步。你要依序寫出 MSE 回歸式 BC、flow matching policy 和 DAgger，並在 easy 與 hard 兩種模式下比較。題目 PDF、LaTeX 模板和起始碼都能匿名下載，CPU 也跑得動；解答、autograder 和 Gradescope 不公開。這篇整理每一題要實作什麼、要回答什麼，不寫解答。
Gridworld Q-learning、PPO 與 Sawyer 鐵鎚任務｜Stanford CS224R 作業 2
CS224R Spring 2026 的 HW2 分三段：先在 5×4 的格子世界用表格型 Q-learning 看 reward 設計怎麼改變學到的路徑；再用 GAE 加 PPO clip 解一個只在完成時給 1 分的鐵鎚任務；最後用 BC 預訓練、critic ensemble 和更高的 UTD 做 off-policy actor-critic，並比較兩條學習曲線。題目、起始碼和算力指南都公開，但作業只支援 Modal，課程 credits 只發給修課學生。
模仿學習與能表達多峰分佈的 policy｜Stanford CS224R 第 2 堂
CS224R Spring 2026 第二講處理模仿學習的兩個失敗模式。第一個是示範有多種合理做法時，回歸只學到平均值；解法是把 policy 換成生成模型（高斯混合、離散化加自迴歸、diffusion／flow matching），再加上 action chunking。第二個是 compounding errors：policy 一犯錯就走到示範沒涵蓋的狀態；解法是 DAgger 和 human-gated DAgger 收集修正資料。前兩部分就是 HW1 的內容。
把做決策寫成 RL 問題｜Stanford CS224R 第 1 堂
CS224R Spring 2026 第一講做三件事：交代課務、說明為什麼要學 deep RL、把「行為」寫成可以學的東西。核心是一組定義：state、action、trajectory、reward、policy，以及「最大化期望總獎勵」這個目標。最後用一個例子收尾：拿 ℓ2 回歸去模仿一群要切換車道、一群要直行的駕駛，policy 會學到兩者的平均值，一個沒人示範過的半切換動作。這個問題是 L2 的起點。
Meta-RL——讓 agent 學會怎麼快速學新任務｜Stanford CS224R 第 13 堂
Meta-RL 在很多任務上訓練，目標是遇到新任務時只靠少量經驗就能解決。CS224R 第 13 講把它寫成「先探索收一點資料，再用這些資料適應」，最直接的做法是 black-box meta-RL（RL²）：一個有記憶的網路把過去的 (s, a, r) 當輸入，隱藏狀態跨 episode 保留。它通用、表達力強，但難最佳化，尤其探索很難時：探索和執行互相依賴，端到端訓練容易卡住。投影片接著比較 PEARL 的 posterior sampling、MetaCURE 的預測式探索，以及 DREAM 用任務表示把探索和執行拆開訓練。
Model-Based RL——學一個模擬器，然後別太相信它｜Stanford CS224R 第 11 堂
Model-based RL 先學一個預測 s_{t+1} 的 dynamics model，再拿它做兩件事：生成額外的訓練資料（Dyna、MBPO），或在執行時往前想幾步再行動（planning）。CS224R 第 11 講的主線是怎麼不被模型誤差拖垮：合成資料只從真實狀態出發跑短 rollout、用多個模型的 ensemble 平均掉誤差、長 horizon 的 planning 在尾端接一個 value function。模型值不值得學，取決於它比 policy 好學還是難學。
多任務與 Goal-Conditioned RL——共享權重，也共享資料｜Stanford CS224R 第 12 堂
多任務 RL 把「任務是哪一個」當成狀態的一部分：s = (s̄, z_i)，於是它還是一個普通的 MDP，標準 RL 演算法照樣能用。CS224R 第 12 講講兩種共享：權重共享（一個網路以 z_i 為條件做所有任務）和資料共享（hindsight relabeling：把為任務 A 收的資料改標成任務 B 的資料）。Goal-conditioned RL 是特例，任務就是要到達的目標狀態；用「最後到達的狀態」當目標重新標記，稀疏獎勵的探索問題就緩解很多。資料共享有三個前提：dynamics 跨任務一致、reward 能算、演算法是 off-policy。
Off-Policy Actor-Critic——PPO 與 SAC 的共同骨架｜Stanford CS224R 第 5 堂
PPO 和 SAC 都在回答同一個問題：一批花錢收來的資料，能不能多用幾次。PPO 對同一批資料多走幾步梯度，用 clip 把新舊 policy 的比值鎖在 1±ε 之內；SAC 把所有歷史資料放進 replay buffer，改學 Q(s, a)，讓舊資料也能評估新 policy。前者穩、好調，後者省資料、難調。
Offline RL——不能再互動時，Q-learning 為什麼會壞掉｜Stanford CS224R 第 7 堂
CS224R Spring 2026 第七講處理一個問題：手上只有一批別人收的資料、不能再跟環境互動時，要怎麼學出比資料更好的 policy。直接拿 SAC 這類 off-policy 演算法來訓練會壞掉，因為 Q-function 在資料沒出現過的動作上亂估，policy 又專挑被高估的動作。投影片給兩類解法：只在資料裡的動作上訓練 policy（filtered BC、AWR、AWAC），以及用不對稱的 expectile loss 估計比資料更好的 policy 的價值、完全不查詢資料外的動作（IQL）。兩者都能做到模仿學習做不到的事：把不同軌跡的好片段拼起來。
Policy Gradients——不知道環境怎麼運作，也能直接對 policy 求梯度｜Stanford CS224R 第 3 堂
Policy gradient 是 CS224R 的第一個線上 RL 演算法。它的梯度長得跟模仿學習的梯度幾乎一樣，只是每條軌跡多乘上一個獎勵權重：好結果的動作變得更可能，壞結果的動作變得更不可能。原始版本雜訊很大，L3 用兩招降低變異：只算「未來」的獎勵（causality）和減掉平均獎勵（baseline）。它也是 on-policy 的，每走一步梯度就要重新收資料；用 importance sampling 加上 KL 限制，才能在同一批資料上多走幾步。
Q-learning 與它的穩定化｜Stanford CS224R 第 6 堂
Q-learning 把 actor-critic 的 actor 拿掉：直接學最優 Q 函數，要行動時取 argmax。代價是它不保證收斂，連線性 Q 都可能發散。CS224R 第 6 講用三個工程技巧把它拉回來：target network 讓目標值暫時不動、Double Q 拆開「選動作」和「估價值」來壓低高估、n 步回報用一點偏差換速度。
獎勵從哪裡來——從範例與偏好學獎勵｜Stanford CS224R 第 8 堂
CS224R Spring 2026 第八講先花幾頁複習 offline RL，再問一個前面七講都跳過的問題：獎勵從哪裡來？遊戲有分數，真實世界的機器人、對話和自駕通常沒有。投影片給兩條路。第一條是從成功範例訓練一個目標分類器當獎勵，但 RL 會去鑽分類器的漏洞，解法是把 policy 走過的狀態不斷加進負例，跟 GAN 同一個結構。第二條是請人比較兩條軌跡哪條好，用 Bradley-Terry 式的 log σ(r(τw) − r(τl)) 學獎勵，這也是 LLM 的 RLHF 在用的方法。整講的第一個重點只有一句：獎勵不能視為理所當然。
用 RL 改進機器人基礎模型（VLA）｜Stanford CS224R 第 17 堂
只用模仿學習訓練的 VLA，成功率常卡在 80% 左右，要讓機器人自己上工卻常需要 99% 以上。CS224R 第 17 講把「怎麼在真機上用 RL 改進 VLA」拆成三條路：把 RL 改寫成監督學習（iterated offline RL）、在 VLA 的表示或擴散雜訊上另外學一個小 policy、學一個小 policy 去修改 VLA 的動作。投影片自己說這是還沒解決的研究問題，內容是近期主題加講者觀點。
LLM 推理的 RL 與 test-time compute｜Stanford CS224R 第 10 堂
CS224R Spring 2026 第十講由 OpenAI 的 Noam Brown 客座，論點只有一條：reasoning model 替 scaling 開了新的維度，把算力從訓練推到推論。他從自己做撲克 AI 的經驗講起，再用西洋雙陸棋、西洋棋和圍棋說明「推論時多想一下」一直都有用；接著談 LLM 怎麼做到這件事：chain of thought、多數決、o1/o3、GRPO 和 DeepSeek-R1-Zero。後半段主張整個領域要為大規模 test-time compute 重新思考：multi-agent、以分數對算力作圖的評估方式、安全評估的預算假設。投影片以圖為主，本文只寫投影片上看得到的論點。
RLHF、DPO 與偏好最佳化｜Stanford CS224R 第 9 堂
CS224R Spring 2026 第九講由 Archit Sharma 客座，投影片註明改寫自 CS224N。主線是一條推導鏈：instruction tuning 解決不了「沒有標準答案」和「錯誤輕重不同」，所以改成最大化人類偏好；人類評分太貴又不準，所以改用成對比較訓練 Bradley-Terry reward model；RLHF 拿它當獎勵、加 KL 懲罰做 policy gradient；DPO 則利用 KL 約束問題的封閉解，把 reward 寫成 policy 的對數比值，整件事變成一個二元分類損失。最後一段談前沿：reward hacking、可驗證獎勵，以及用 AI 回饋取代人類回饋。
Sim-to-Real 機器人學習｜Stanford CS224R 第 16 堂
模擬器便宜、快、安全，還附贈真實世界拿不到的標籤，但它永遠和真實世界有落差。CMU 的 Guanya Shi 在 CS224R 第 16 講把縮小落差的方法分成三類：domain randomization 讓一個 policy 在很多種物理參數下都能用；teacher-student 先用特權資訊訓練老師、再讓只看得到真實感測器的學生去模仿；real2sim2real 用真實資料把模擬器修得更像。進階題目是用人類動作資料定義任務，以及挑選適合 sim2real 的 RL 演算法。
有效視野、reward hacking、Bellman residual 與 RiverSwim｜Stanford CS234 作業 1
CS234 Winter 2026 的作業一共 68 分、四題：庫存 MDP 看視野與折扣怎麼改變最佳策略（8）、自駕車的 proxy reward 為什麼讓 AI 車乾脆不上匝道（5）、用 Bellman residual 界住貪婪策略的表現（30），以及在 RiverSwim 上親手寫 value iteration 與 policy iteration（25）。三題紙筆在練同一件事：你寫下的 reward、γ 與價值函數，不一定是你以為的那個目標。
REINFORCE、baseline 與 PPO 實作，外加策略誘導的分布｜Stanford CS234 作業 2
CS234 Winter 2026 的作業二共 102 分、四題：DQN 紙筆題（8）、在 CartPole、Pendulum、HalfCheetah 三個 PyBullet 環境上實作 REINFORCE、神經網路 baseline 與 clipped PPO（54 分程式＋21 分報告），證明策略誘導的狀態分布與 performance difference lemma（14），以及用 Belmont Report 檢視一個會邊學邊影響學生的 RL 實驗（5）。程式題的重點是把 L5–L7 的式子一行一行變成可以跑出 21 條學習曲線的程式。
Hopper 上的 reward engineering、RLHF、DPO 與 best arm identification｜Stanford CS234 作業 3
CS234 Winter 2026 作業三共五題、94 分。前三題都在 MuJoCo Hopper 上：先用手寫 reward 跑 PPO（13），再從 1 萬筆偏好對學 reward model 後跑 PPO（19＋8），最後用 SFT＋DPO 直接從偏好學策略、完全不碰環境（6＋19）。第四題換成純理論：用 Hoeffding 與 union bound 算出找 ε-最佳臂要幾次試驗（25），這題要等讀完下一篇 bandit 再做。第五題是新聞推薦的 stated vs revealed preference（4）。
multi-armed bandit、regret 與 UCB｜Stanford CS234 主題單元
CS234 L9 與 L10 前半把「探索」從 ε-greedy 這種經驗法則，變成可以證明的東西。先定義 regret：跟一直選最好的手臂相比，你少拿了多少。greedy 會鎖死在次佳手臂，固定 ε 的 ε-greedy 永遠有 ε 比例在亂選，兩者的 regret 都隨時間線性成長。Lai-Robbins 下界說最好也要對數成長，而 UCB 靠「對不確定的手臂樂觀一點」做到了：Bandit Algorithms 定理 7.1 給出每隻次佳手臂只會被拉大約 16 log n / Δ² 次。
強化學習：先修、評分與 10 週自學路線｜Stanford CS234 課程總覽
CS234 是 Emma Brunskill 在 Stanford 教的強化學習入門課，從有模型的 MDP 規劃一路講到策略梯度、RLHF／DPO、bandit 探索和 MCTS。Winter 2026 的 14 講投影片、三份作業的題目與起始碼、專題規格都能匿名下載，本系列評為 A3（足以自學）。缺口是官網沒有 2026 錄影、L15 與 L16 沒有投影片、期中考與 tutorials 不公開。公開錄影是 Spring 2024 版，本系列只拿它當補充；2024 有兩講 Offline RL，2026 投影片裡沒有對應內容。
DQN——deadly triad、experience replay 與 fixed Q-targets｜Stanford CS234 主題單元
Q-learning 在表格上會收斂，接上函數近似就可能發散。CS234 把原因歸成 deadly triad：bootstrapping、function approximation、off-policy learning 三者同時出現。DQN 用兩招撐住：experience replay 打散樣本之間的相關性，fixed Q-targets 讓目標值在 C 步內不動。投影片引用的 Atari 消融表裡，Breakout 從線性模型的 3 分、沒有兩招的深度網路 3 分，到兩招都用的 317 分；只加 replay 就到 241。
資料效率 III——MDP 的 PAC、MBIE-EB、PSRL 與策略性探索｜Stanford CS234 主題單元
前兩篇的 UCB 與 Thompson sampling 只處理單步決策。CS234 第 12 講把同一組想法搬進有狀態的 MDP：先換一把尺，用 PAC 限制「不夠好的步數」而不是總 regret；再看樂觀派的 MBIE-EB（計數＋探索獎勵）與抽樣派的 PSRL（每個 episode 抽一個 MDP 來解）。狀態多到數不完時，計數失效，就改成在 Q-learning 目標上加 bonus，這是 Montezuma's Revenge 上贏過 ε-greedy DQN 的關鍵。最後一段問：探索策略能不能用學的？答案之一是 Decision-Pretrained Transformer。
Shane Gu〈World of World Modeling〉——世界模型是 model-based RL 裡的那個 model｜Stanford CS234 主題單元
CS234 Winter 2026 的最後一份客座投影片，由 Google DeepMind 的 Shane Gu 主講，36 頁、沒有公開錄影。主線有三段：先用 Solomonoff induction 說「最好的預測就是找出最短的生成程式」，再把預測分成三個層次；接著把正向模型 F、逆向模型 Π 與 Q 寫在同一組符號裡，說明 shooting 與 direct collocation 兩種規劃方式怎麼各用一種模型，並把 TDM 與 Generalized Decision Transformer 解讀成「換了時間尺度的世界模型」；最後談影片模型能不能成為物理世界的基礎模型。
behavioral cloning、DAgger、inverse RL 與 MaxEnt IRL｜Stanford CS234 主題單元
有專家示範、沒有 reward 時，CS234 L7 後半給三條路：直接用監督式學習抄動作（behavioral cloning），發現誤差會隨時間累積後改成邊跑邊問專家（DAgger），或者乾脆反推專家在最佳化什麼 reward（inverse RL）。反推 reward 會碰到「無限多組 reward 都解釋得了示範」的問題，feature matching 與最大熵原則是兩種收斂答案的方式。這一段是下一篇 RLHF 的前身：從示範換成偏好，問題結構幾乎一樣。
RL 是什麼、MDP 的語言｜Stanford CS234 第 1 堂
CS234 Winter 2026 第一講先回答 RL 是什麼：在不確定之下，從經驗學會做好決策。它通常同時牽涉四件事：最佳化、延遲後果、探索、泛化。接著用火星探測車的七格世界，從 Markov process 一路加到 Markov reward process，定義 return、value function 和折扣因子，最後推出 MRP 的 Bellman 方程：可以直接解矩陣反轉，也可以用動態規劃迭代。加上動作之後就是 MDP，這是下一講的起點。
規劃＋學習——MCTS、UCT 與 AlphaGo／AlphaZero｜Stanford CS234 主題單元
到目前為止，CS234 都在替整個狀態空間算一個策略。第 13、14 講換一個問題：如果我只在乎「現在這一步」該怎麼走，能不能多花一點本地運算，做出更好的決定？從 simple Monte Carlo search、expectimax tree 到 MCTS，再把每個節點當成一個 bandit，就得到 UCT。AlphaZero 把 MCTS 跟一個同時預測策略與價值的網路綁在一起，用 self-play 互相推進。投影片借用 Silver et al. 2017 的圖回答三個問題：架構有多重要、MCTS 加了多少、需不需要人類資料。
有模型時怎麼規劃：policy evaluation、PI、VI｜Stanford CS234 第 2 堂
CS234 Winter 2026 第二講假設世界模型已知，回答怎麼算出最好的 policy。先把 MDP 加上 policy 變回 MRP，用 Bellman backup 迭代評估 policy；再用 policy iteration 交替評估與改進，並證明每一輪都不會變差，最多 |A|^|S| 輪就停。另一條路是 value iteration：直接重複套用 Bellman 最佳化運算子，因為它在 γ < 1 時是 contraction，所以一定收斂。最後補上 finite horizon：這時最好的 policy 通常會隨剩餘步數改變。
沒模型時怎麼控制——ε-greedy、GLIE、Q-learning 與函數近似｜Stanford CS234 主題單元
會評估之後，下一步是一邊收資料一邊把策略變好。CS234 第 4 講的路線是：ε-greedy 讓策略改進仍然單調；GLIE 規定探索要多到什麼程度、何時收手；Q-learning 在 GLIE 加上 Robbins–Monro 步長下會收斂到 Q*；最後把表格換成參數化的 Q̂(s,a;w)，用 MC、SARSA 或 Q-learning 的目標做 SGD。代價是 deadly triad：函數近似、bootstrapping、off-policy 三者同時出現時，可能震盪或發散。
沒模型時怎麼評估策略——MC、TD(0) 與 certainty equivalence｜Stanford CS234 主題單元
不知道轉移機率與 reward，要怎麼估一個策略值多少？CS234 第 3 講給三個答案：Monte Carlo 直接平均整條軌跡的回報（無偏、變異大、要等 episode 結束），TD(0) 用「一步 reward＋下一狀態的估計值」當目標（有偏、變異小、每一步都能更新），certainty equivalence 先估模型再做動態規劃（最省資料、最貴的計算）。第 4 講開頭的 AB 例子把差別講到最清楚：同一批資料，MC 說 V(A)=0，TD 說 V(A)=0.75。
策略梯度——score function、REINFORCE、baseline 與 actor-critic｜Stanford CS234 主題單元
策略梯度不學價值再導出策略，而是直接對策略參數 θ 做梯度上升。關鍵一步是把 ∇P(τ;θ) 改寫成 P(τ;θ)∇log P(τ;θ)，動態模型在取 log 後消失，只剩策略自己的 score function。原始估計量無偏但雜訊很大，CS234 用三招降噪：只看動作之後的回報（REINFORCE）、減掉只依賴狀態的 baseline（證明它不引入偏差）、用 critic 估計的價值取代 Monte Carlo 回報（actor-critic）。
進階策略梯度——performance bound、KL、PPO 與 GAE｜Stanford CS234 主題單元
Vanilla 策略梯度有兩個毛病：每批資料只走一步就丟，而且參數空間的距離不等於策略空間的距離，步長一大表現就崩。CS234 沿用 Joshua Achiam 的講法，從 performance difference lemma 出發，把新策略的表現改寫成舊策略資料上的 surrogate objective，再用 KL 散度界住近似誤差。最大化「surrogate 減 KL 懲罰」保證不退步，但理論常數太大，PPO 改用可調的 KL 懲罰或 clipping 近似它；advantage 則用 GAE 在偏差與變異之間折衷。
Bradley-Terry、RLHF 與 DPO 推導｜Stanford CS234 主題單元
CS234 L8 把上一篇的 inverse RL 換了輸入：不再是專家示範，而是人類說「A 比 B 好」。Bradley-Terry 模型把這種成對比較變成一個可以用交叉熵擬合的 reward；RLHF 拿這個 reward model 加上 KL 懲罰去跑 PPO；DPO 則證明 KL 限制下的最佳策略有封閉解，把 reward 改寫成策略的對數比值，代回 Bradley-Terry 後 partition function 相消，於是可以直接在偏好資料上訓練策略、跳過 reward model。2026 投影片沒有 offline RL 的內容，DPO 也改由課堂自己講，不再是 2024 的客座。
Bayesian bandit、Thompson sampling 與 Gittins index｜Stanford CS234 主題單元
CS234 L11 把探索的邏輯從「樂觀」換成「抽樣」。Thompson sampling 替每隻手臂維護一個後驗分布，每一步從後驗各抽一個值，選抽到最大的那隻；Bernoulli reward 配 Beta 先驗時，更新只是把成功或失敗次數加一。它剛好實作了 probability matching：選每隻手臂的機率，等於它是最佳手臂的後驗機率。在 Bayesian regret 下它跟 UCB 同階，在批次與延遲回饋的場景裡還比確定性的 UCB 更合適；代價是先驗錯得離譜時會表現很差。
價值對齊——對齊誰、對齊什麼｜Stanford CS234 主題單元
整門 CS234 都假設 reward 是給定的。Winter 2026 的倫理與社會客座（Wanheng Hu，教材原本由 Dan Webber 發展）分兩次問：你真正想要的是什麼？第一次把「對齊」拆成三個目標：使用者的意圖、顯示偏好、客觀最佳利益，並用 RLHF 造成的 sycophancy 與個人 AI agent 當案例。第二次加入第四個目標：對使用者以外的人來說什麼是對的，再比較 top-down（寫下原則）、bottom-up（從範例學）與 participatory AI 三條路。結論沒有銀彈，但對齊有好壞之分。
安全訓練插在 LLM 訓練流程的哪一段｜Harvard CS2881R 第 2 堂
Boaz Barak 把 pretraining、SFT、RL 看成同一件事：挑一些 token 加強、一些 token 壓低，差別只在資料是別人寫的（off-policy）還是模型自己生的（on-policy）。安全訓練就疊在後兩段上，從早期的「一律拒答」走到 Deliberative Alignment：先用 SFT 教模型在思考鏈裡讀 spec，再用懂 spec 的獎勵模型做 RL。這堂課另一個重點是：不要對思考鏈施加最佳化壓力，否則模型學會的不是不作弊，而是作弊時不說。
強化學習——從 AlphaGo 到讓 LLM「不要那麼唬爛」的 RLHF｜政大蔡炎龍 生成式AI 第 13 堂
前 12 講的模型都靠人準備好的訓練資料。L13 換一個問題：沒有標準答案，只知道做得好不好的時候，電腦要怎麼學？老師從 AlphaGo 和打磚塊講起，分成兩條路：value based 學一個 Q 函數替每個動作打分數（Deep Q-Learning、TD、Experience Replay、ε-greedy），policy based 直接學動作（Policy Gradient、Actor-Critic）。後半回到 LLM：ChatGPT 怎麼用人類排名訓練 reward model，再用 PPO 做 RLHF；DeepSeek 則讓電腦自動判斷數學題對錯當獎勵。第十三週作業是期末專案提案。
台大李宏毅 ML 2026 導讀：AI 自我成長（上）——由 AI 產生答案、reward 與 loss，人類能放手到哪一步｜台大李宏毅 機器學習 主題單元
李宏毅 5/8 這堂先說清楚：「AI 自我成長」沒有明確定義，它是人類漸漸放手的過程。他把機器學習拆成三步，逐一檢查「我」能不能換成 AI：答案可以由 AI 自我修正後當標準答案，reward shaping 可以交給 LLM 寫，loss 可以讓模型自己訂（打分、多數決、entropy），連題目都能讓 proposer 自己出。但實驗一再顯示，完全不靠人會卡在天花板甚至把自己訓練壞；強 AI 訓練比自己弱的 AI 已經做得到，只是還沒超過人類。結論：2026 年 5 月，AI「還在盧比孔河邊」。
SFT 教不會「別這樣回答」，RLHF 與 DPO 怎麼補上負面訊號｜Stanford CME295 第 5 堂
SFT 只會叫模型模仿好答案，沒辦法告訴它哪種回答不行。CME295 第 5 講先教怎麼收集偏好對，再走 RLHF 兩步（約 1 萬筆人工標註訓練 reward model、約 10 萬筆用 PPO 調模型），最後用 DPO 把整套 RL 收成一條監督式 loss。2026 版把這講拆進第 3 講（訓練）與新增的第 4 講（強化學習）。
SFT、PPO、GRPO、on-policy distillation 其實是同一條 policy gradient｜Stanford CME295 2026 版 第 4 堂
2026 版 CME295 第 4 講（10 月 16 日）把 RL 獨立成一講，課表列了數學記號、reward design、policy gradient、限制、PPO、GRPO、on-policy distillation 七項。本篇把這條數學線先推一遍：從 ∇log π 乘上一個分數出發，SFT 的分數是 1，PPO 用 value model 估，GRPO 用同組平均，on-policy distillation 用教師對每個 token 的 log 機率差。Qwen3 報告裡，從同一個起點出發，RL 花 17,920 GPU 小時做到 AIME'24 67.6，on-policy distillation 只花約 1/10（1,800 小時）就做到 74.4。
Computer Use Agent 怎麼看螢幕、怎麼評分、怎麼訓練｜CMU 11-768 第 7 堂
JY Koh 這講把 computer use agent 拆成三件事：評測從單步點擊（ScreenSpot-Pro、Mind2Web）一路走到程式驗證終態（WebArena、OSWorld）、VLM 評審與長時程 rubric（Odysseys、OSWorld 2.0）；模型就是吃「截圖＋動作」交錯歷史的 VLM；訓練走預訓練 grounding → SFT 模仿人類與合成軌跡 → 在可重置的模擬環境做 RL。
RL 基礎——policy gradient 就是 SFT loss 乘上一個權重｜CMU 11-768 第 9 堂
Daniel Fried 用 1 到 16 猜數字當例子，把 RL 講成 SFT 的延伸：先點出 SFT 的三個缺口（任務不對齊、學不了失敗、沒見過自己的錯），再依序推出 ReST、REINFORCE、baseline 與 GRPO／DrGRPO——四者都是對 agent 自己產生的 token 算 log 機率，差別只在每個 token 乘上的權重。
Deep Research Agent 怎麼評、怎麼訓、怎麼檢索｜CMU 11-768 第 10 堂
Akari Asai 的 L10 把 deep research agent 拆成三塊：評測要補齊搜尋難度、領域專業、長答案品質與引用支持四個缺口；訓練走 mid-training → SFT → RL，長答案用 DR Tulu 的演化式 rubric 當 reward；檢索要讓 retriever 看到 agent 的推理，AgentIR-4B 在 BrowseComp-Plus 搭 Tongyi-DR 拿到 68%。
進階 RL 演算法——credit assignment、穩定更新、reward hacking 與蒸餾｜CMU 11-768 第 11 堂
Graham Neubig 用一個修 bug 的 coding 任務，把第 9 講的 policy gradient 推到實戰：用 critic、GAE 或 PRM 把功勞分給個別回合，用 importance ratio 與 clipping 處理非同步 RL 的過期資料，並把 PPO、GRPO、CISPO、GSPO、DAPO 收成一張對照表；最大的篇幅留給獎勵本身——verifier 誤判、reward hacking 與探索崩塌，最後以 on-policy 蒸餾收尾。
（三）：MDP 的 Policy Iteration 與 Value Iteration｜Harvard CS181 作業 6
HW6 Problem 2（15 分）給你一張 4×5 的 Gridworld：動作會打滑、獎勵在離開格子時才拿到。你要在 notebook 裡寫 policy evaluation、policy iteration 與 value iteration 各一步，再觀察折扣因子 γ 怎麼改變策略，最後反問「這樣建模機器人任務合理嗎」。環境規則全部已知，所以這是規劃，還不是學習。
（四）：Q-learning 玩 Swingy Monkey 與 Embedded EthiCS｜Harvard CS181 作業 6
HW6 Problem 3（20 分）要你寫一個表格式 Q-learning agent 玩類 Flappy Bird 的 Swingy Monkey，最低標準是 100 局內至少一次超過 50 分，還要再加一個自選的改進。Problem 5（10 分）是 250 字內的倫理題：假設社群平台的使用者政治立場愈來愈極端，用 RL 的概念解釋 reward 設計可能怎麼推了一把。
WebDancer 與 WebThinker：從零訓練一個 Deep Research Agent
兩篇 NeurIPS 2025 論文回答同一個問題：怎麼從零訓練一個能自主研究網頁的 agent？WebThinker 選擇「給既有用戶模型加上網頁探索能力」，WebDancer 選擇「從資料構造到 RL 訓練完整重來」。兩種哲學，四個階段，一個核心洞察：訓練比 prompt 好。
MiniMind：用 3 塊錢從零訓練一個 LLM
MiniMind 是一個從零開始訓練 LLM 的開源專案：64M 的 Dense 模型與 198M-A64M 的 MoE 模型，單張 3090 約 2 小時、約 3 元人民幣就能跑完 Pretrain → SFT → LoRA → DPO → PPO/GRPO/CISPO → Agentic RL 的完整流程。所有核心演算法用 PyTorch 原生實作，不依賴高階封裝。
Learning——監督式學習、k-NN、SVM、強化學習 Q-learning 與 Nim｜Harvard CS50 AI 第 4 週
第 4 週講機器學習的三種形式。監督式學習從有標籤的資料學出 hypothesis function：分類可以看最近的 k 個鄰居，或用一組權重畫出決策邊界（perceptron learning rule、logistic regression、support vector machine），再用損失函數、regularization 與 cross-validation 對付 overfitting。強化學習用 Q-learning 依 reward 更新每個 state 與 action 的估計值，ε-greedy 留一點機率隨機探索。非監督式學習以 k-means 分群。附逐段時間連結，以及 Shopping、Nim 兩個專案的解題思路與檢查方式。
後訓練 RL 三條路線：Ornith、Nous Research、MiniMax 怎麼用強化學習做出黑馬模型
2026 年三個非大廠團隊用不同的 RL 後訓練路線做出 benchmark 黑馬：Ornith 讓模型自己出題自己改進（GRPO self-improvement loop），Nous Research 用 DataForge 合成資料 + Atropos 執行獎勵 RL，MiniMax 在 20 萬個真實環境裡大規模 RL。三條路各有強項，但共同證明了一件事：後訓練 RL 比預訓練規模更重要。
Nous Research：從研究社群到開源 AI 生態系的反叛者
Nous Research 不預訓練，只做 fine-tuning 和 RL——Hermes 4 在 MATH-500 拿 96.3%，NousCoder-14B 只用 24K 樣本就把 Qwen3-14B 的 coding 能力拉高 7%。但真正的護城河是 Hermes Agent 框架：236K GitHub stars，全球第 19 名，3,000 位貢獻者。
Ornith：小團隊用自我改進 RL 做出的開源 Coding 黑馬
DeepReinforce 用 self-improvement RL 訓練的 Ornith 1.5 家族：397B 旗艦在 SWE-bench Verified 拿 86.0 追平 Claude Opus 4.8，35B-A3B 每 token 只啟用 3B 參數卻在同量級 coding benchmark 全面領先，9B 版本可以跑在手機上。MIT 授權、完全開源。
Agentic / Reasoning RAG：從 Search-R1 的 RL 多輪搜索到 Deep Research 與 MCP 的推理×檢索新範式
2025 年的 RAG 不再是「檢一次、生成一次」。Search-R1 用 RL 讓模型在推理中自主多輪搜索，REX-RAG/AlignRAG 補上策略與對齊的分支，OpenAI Deep Research 把整條鏈產品化，MCP 則把檢索泛化為統一的工具調用。本文拆開設計哲學、與舊世代的取捨、以及何時該用這套新範式。
2021 AI 頂會導讀：機器學習篇
2021 年是 diffusion model 超越 GAN、自監督學習理論突破、RL 評估方法論覺醒的一年。NeurIPS 收了 9,122 篇投稿創當時紀錄，ICLR 的 Score-Based Generative Modeling 論文日後成為整個 diffusion 生態的理論基石，ICML 則在優化理論與自監督學習動力學分析上交出紮實貢獻。
搜尋、GPT-2、AlphaZero 為什麼在同一門課？｜CMU 07-280 課程總覽
07-280 是 CMU Spring 2026 首開的 AI＋ML 核心：24 講、12 個作業編號，從 heuristic search、CSP 與機器學習一路做到 AlexNet、GPT-2、AlphaZero。教材足以自學，但官方課表未列完整公開錄影連結、Canvas checkpoint 或 Gradescope 回饋。
Bellman Equation 如何解 Markov Decision Process｜CMU 07-280 第 21 堂
第 21 講把隨機序列決策寫成已知 dynamics 的 MDP，以 Bellman backup 定義 value 與 Q-value，再用 value iteration 或 policy iteration 求最佳 policy。
不知道 Dynamics 時如何做 Q-learning｜CMU 07-280 第 22 堂
第 22 講保留 MDP 骨架，拿掉已知 transition 與 reward 的假設；TD learning 用一步 sample 更新 value，Q-learning 再以 off-policy target 直接學最佳 action values。
從 Approximate Q-learning 到 DQN｜CMU 07-280 第 23 堂
第 23 講以 Qθ(s,a) 取代巨大 Q-table：先用 features 線性近似並由 squared TD error 推導 gradient update，再以 replay data 與固定 target network 形成 DQN。
Monte Carlo Tree Search 如何接上 AlphaZero｜CMU 07-280 第 24 堂
Spring 2026 Lecture 24 是 MCTS，不是 Fall 2026 的 LLM post-training；本講以 selection、expansion、rollout、backup 與 UCB 分配模擬，再由 policy/value heads 與 self-play 接到 AlphaZero。
從 MDP、Q-learning 到 AlphaZero｜CMU 07-280 主題單元
第三階段把 value、policy、bootstrapping、function approximation 與 MCTS 接成 AlphaZero：network 提供先驗與估值，search 改善決策，self-play 再產生下一輪資料。
Decoding、DeepSeek-R1 與推理訓練｜Stanford CS224N 第 12 堂
第 12 講先證明輸出策略不是小細節：greedy、beam 與 sampling 會產生不同文字；再由 R1-Zero/R1 走進 PPO、GRPO、DAPO，最後追問長推理何時真的有用。
RLVR 用可驗證獎勵擴大推理，但 GRPO 不是免費的 PPO｜Stanford CS336 第 16 堂
第十六講從 PPO 走到 GRPO 與 RLVR：數學、程式碼和環境結果提供可規模化 reward，避開一般偏好模型的部分 overoptimization；但 group-normalized advantage 會引入難度與長度偏差，rollout infrastructure 也成為主要成本。
從 Value Iteration 到 Q-Learning｜Berkeley CS188 主題單元
Lecture 9–12 與 Project 3 用同一個 Gridworld 對照已知模型的 value iteration、未知模型的 Q-learning，以及用 features 泛化的 approximate Q-learning。
探索、RL 理論、多任務學習與開放問題｜Berkeley CS285 第 19–25 堂
最後七講從 exploration 與理論界線，經兩講期中複習，走到 advanced exploration、multi-task RL 與仍未解決的研究問題。
模仿學習、分布偏移與 RL 基礎｜Berkeley CS285 第 1–4 堂
前四講從 behavioral cloning 走到 MDP；HW1 再用 MSE policy、DAgger 與 flow matching，讓分布偏移從概念變成可觀察的失敗。
從 MDP 到 Reinforcement Learning 更新規則｜CMU 10-301 作業 8
HW8 把 state、action、reward、transition 與 value update 接起來，驗收你能否區分環境動態、policy 與估計誤差。
人工智慧原理與技術：反射、狀態、變數、邏輯四層主脊｜Stanford CS221 課程總覽
CS221 是 Stanford 的人工智慧原理課，把 AI 排成反射、狀態、變數、邏輯四層，深度學習只是最低的那一層。可執行的 Python 講義與八份作業（含程式骨架與本機評分器）全部公開；課堂錄影、隱藏測資與作業解答拿不到。
Deep Reinforcement Learning：把 RLHF 放回強化學習的框架裡｜Stanford CS230 第 5 堂
圍棋不能用監督式學習的第三個理由最有意思：ground truth 本身就沒有良好定義——最強的人類不是每天下出最好的棋，而他最好的棋也不是最優解。這一講的最後約 15 分鐘把 RLHF 完整放回 RL 的框架：agent 是被微調的模型、action 是下一個 token、一個 episode 是一次完整生成，而且獎勵極度稀疏。