「做中學」的證據在量什麼：課堂統合分析、ICAP 與 doer effect
大學課堂的統合分析得到約半個標準差，比的是整堂課的教法，主動組多半有小組討論與老師回應，控制多半沒做或沒交代。線上教材裡「做練習的人小考較好」在十幾門課重複出現，但全是觀察資料。這篇讀的研究沒有一篇比過一個人讀文章時有沒有練習。
#course-guide
148 篇文章教學文章裡的程式碼要寫到什麼程度：步驟標籤、追蹤、Parsons 題與跑不跑得起來
替程式例題標上「這一步要達成什麼」，在一門入門課的準實驗裡，有標籤的班剛學完的小考較好，之後的考試沒有顯著差別；現場寫程式、用 Parsons 題代替寫程式，都沒有測到學習上的差別。GitHub 上的公開 notebook 照存下來的順序重跑，跑完沒有錯誤的約四分之一；程式跑不起來對讀者學習的影響，沒有研究量過。
讀者會不會做文章裡的題目：作答率、略過、先看答案與提示的證據
量到「題目出現時有沒有人答」的大樣本紀錄只來自 MOOC：影片播到題目的位置時在播放器裡出題，開始看那支影片的人約七成四作答；跳出的複習題，選擇題約七成、要打數字的約四成。隨機分派下，要打字的任務做的人約是只要勾選的一半。我讀到的研究裡沒有一篇量過公開文章的讀者，本站也沒有資料。
讀者知不知道自己懂了：理解判斷的準確度、解釋深度錯覺、練習題與延後摘要
讀者分辨「這篇懂、那篇不懂」的能力，沒有任何介入時平均相關只有 0.18，作者換算約 55% 的正確率。讀完全部再寫摘要或列關鍵詞、判斷前先作答練習題，能讓判斷準一些；只讀現成的題目與答案沒有測到幫助。證據多半來自實驗室裡的大學生與說明文。
教學文章裡的「常見誤解」怎麼寫：對誰有用、會不會把誤解種進去、錯誤和更正怎麼擺
一份駁斥文字的統合分析裡，有沒有先篩掉本來就答對的讀者，效果沒有測到差異；錯誤資訊研究的回顧逐篇列出 11 篇熟悉度反效果的研究，報告「重提誤解讓人更相信」的有 3 篇，三篇都是疫苗題材、單題量尺。讀者原本根本沒聽過那個誤解時，寫出來會不會讓他學到錯的，沒有研究直接測過。目前能照做的是：錯誤說法和正確說法放在一起，給出正確的說法與理由，不要讓錯誤說法單獨當小標。
教學文章裡的術語、符號與公式怎麼處理：行話、定義擺放、英文術語與記號的證據
行話讓一般讀者覺得難讀，滑鼠移上去才出現的定義沒有讓這個感受回升；外語讀者讀文章時，有註解的研究讀完立刻測記住約 45% 的生字，沒有註解的約 27%。公式多的論文被引用較少，生物與物理資料都有人算出這個相關，但雙方對它可不可靠的爭論沒有收斂，也沒有任何一篇研究量過讀者因此讀不懂。
讀者程度不同，教學文章怎麼寫：先備知識、專長反轉、文字連貫度與先備說明
先備知識多的人學完仍然知道得多（相關 .53），但和這次學到多少的相關平均接近零，各研究從強負到強正都有。協助多的教材對先備知識低的人有益（d = 0.51）、對高的人不利（d = −0.43），高低是各研究裡相對切出來的。開頭寫明先備是業界規範的做法，讀者能不能照它判斷該不該讀，沒有研究測過。
教學文章裡的專案要給多少引導：先卡關再講解、探索、鷹架與專題式學習
課堂研究裡，先讓學生解題再講解，概念與遷移平均高約三分之一個標準差，但這些研究全在有老師的課堂裡；有小組的版本效果較大，只做幾小時的介入除外；一組讓約十歲學生先解題的實驗結果相反。沒有協助的探索輸給明示教學，加了鷹架或回饋的探索較好；鷹架撤不撤沒有測到差別。一個人讀文章、自己做專案，沒有研究測過。
系列文章的順序怎麼排：先備關係、混排練習、螺旋式課程與跳著讀的讀者
一門 AI 課的隨機實驗裡，依轉換難度排的順序比照發展史排的答對率高約 5 個百分點；用演算法排相依內容，8 個研究沒有一個顯著勝過人排的固定順序。四種題型混在八張作業裡練，複習後約一個月的測驗 61% 對 38%，這是交錯加間隔的合併效果。螺旋式課程幾乎沒有成效研究。拿到證書的 MOOC 學生平均也略過 22% 的內容。
間隔複習在真實課程裡還剩多少：課堂統合分析、隔週重讀、STEM 課程實驗與個人化排程
把練習分散到不同天，在真實課堂研究的統合分析裡效果約 d = 0.54，作者認為比混入實驗室研究的統合分析小；數學嵌在課程裡的間隔（同時含交錯）是 g = 0.24，八門大學 STEM 課照同一套做法做，平均只多 1.5 個百分點、沒有測到差異。隔一週重讀，一週後沒有測到優勢；那份課堂統合分析收的研究，沒有一篇讓學習者自己決定要不要回來複習。
把間隔複習做進教學文章：Quantum Country 的資料、線上課程的實驗與沒普及的原因
做得最完整的 Quantum Country 在一篇約四小時的文章裡嵌了 112 題，之後寄信排複習；作者自評「不複習會記得少很多」只有初步證據，推廣到其他領域沒有證據。把複習題推給 MOOC 學習者，約八成的人一次都沒碰，成績沒有測到差異；有效的例子是把複習排進上課時間的課堂實驗。
教學文章要不要講用途、放趣聞：告知用途、自己寫用途、給選擇與無關細節的實驗
直接告訴讀者這有什麼用，讀者會覺得內容較有用，但七個實驗合起來，當場成績沒有測到差異；要學生自己寫用途的課堂研究，結果隨學生與課程翻轉。和主線無關的趣聞平均讓立即測驗變差，大小不確定；只有一組實驗在「自願學」時沒測到傷害。
線上自學為什麼多數人讀不完：完成率、第一週流失、回訪與計畫提示的證據
HarvardX 與 MITx 的課，各課平均約一半的註冊者從沒進過課程；進過課程的人裡，2017–18 年只有 3.13% 及格。寫讀書計畫的提示在三門課把完成率從 13.8% 提高到 17.7%，放大到 247 門課後完成率沒有測到差異。這些都是 MOOC 的數字，本站沒有讀者行為的資料。
深度學習：翻轉教室怎麼排，九堂實體課怎麼讀｜Stanford CS230 課程總覽
CS230 是 Andrew Ng 與 Kian Katanforoosh 在 Stanford 教的深度學習課，採翻轉教室：神經網路、最佳化、CNN、序列模型與 Transformer 的基礎放在 Coursera 的五門線上課，每週一堂實體課講專案方法、對抗攻擊與生成模型、強化學習、LLM 應用與可解釋性。九堂實體課的錄影、多數投影片與兩份附解答的期中練習考公開；Stanford 專用的 Coursera 場次、助教課錄影與專案指導拿不到。
教學文章的例子與開頭怎麼寫：例題、解釋、學習目標與讀者程度的證據
有統合分析支持的三種寫法：給一題走得完的例題、要讀者自己解釋、把常見迷思講出來再駁斥。讀前提問主要幫到被問的內容；實驗多半用數學與科學教材、短文和大學生。
教學文章裡的問題與用語怎麼寫：提問、回饋、術語與寫作規格的證據
問過的內容進步最多，這來自課堂小考與讀前提問的研究，插在文中的問題本身沒有我讀得到全文的綜整；回饋帶的資訊越多效果越大，但這些證據來自課堂、電腦教材與實驗室短文。可讀性公式只能解釋教師難度判斷的四分之一到三分之一，30 份 Bloom 動詞表對同一個動詞的歸類不一致。
期末專案：把生成模型做成可重現的實驗｜CMU 10-423 主題單元
以固定比較條件、配對結果與重現紀錄，把生成模型專案寫成可檢查的研究證據。
論文報告：把模型介紹寫成可檢驗的論證｜CMU 10-423 作業 623
以角色扮演報告分清論文主張、實驗證據與自己的推論，走完受控比較例子。
練習考卷：用錯誤定位觀念缺口｜CMU 10-423 主題單元
用公開練習卷區分機率、資料流與評估錯誤，走完序列機率例子，再以變式題驗收。
生成式 AI 學習路線：35 篇核心怎麼讀｜CMU 10-423 課程總覽
這個系列依 CMU 10-423/623/723 Generative AI 的 Spring 2026 公開材料整理。
LLM 系統：串起訓練、推論與部署的自學路線｜CMU 11-868 課程總覽
CMU 11-868 是 Lei Li 開的 LLM 系統研究所課：從 CUDA kernel、自己的 MiniTorch 框架，一路做到分散式訓練、SGLang 服務與 RLHF。Spring 2026 的 28 份講義、7 份作業頁與 7 個起始碼 repo 全部公開，可評為 A3；缺的是錄影、GPU 與 PSC 帳號、quiz，以及「哪兩份作業是選修」這件事官方沒寫。
平行計算：課程定位與兩條閱讀路線｜Stanford CS149 課程總覽
CS149 是 Kayvon Fatahalian 與 Kunle Olukotun 在 Stanford 教的平行計算課，從多核 CPU、SIMD 一路講到 GPU、AI 加速器、資料中心，最後回到 cache coherence 與 lock-free。Fall 2025 的 18 份投影片、5 個程式作業的 starter code 與 README、4 份書面作業 PDF 都能匿名取得，本系列評為 A3（足以自學）。缺口有四個：當期錄影只在 Canvas；PA1 評分用 Stanford myth 機器；PA4 要自費租 AWS Trainium2，而且課程 AMI 是私有的；PA5 的 H100 排隊系統與排行榜要 SUNet ID。公開錄影是 2023 版，本系列只拿它當聽講補充。
深度強化學習：課程定位與閱讀路線｜Stanford CS224R 課程總覽
CS224R 是 Chelsea Finn 在 Stanford 教的深度強化學習課，從模仿學習一路講到 LLM 的 RL 和機器人基礎模型。Spring 2026 的 17 份投影片、三份作業的題目與起始碼、default project 規格與起始碼都能匿名下載，本系列評為 A3（足以自學）。缺口是 2026 錄影只在 Canvas、期中考卷與解答不公開、HW2 和 HW3 規定在 Modal 上跑。公開錄影是 Spring 2025 版，本系列把它當補充，逐講標出差異。
Gridworld Q-learning、PPO 與 Sawyer 鐵鎚任務｜Stanford CS224R 作業 2
CS224R Spring 2026 的 HW2 分三段：先在 5×4 的格子世界用表格型 Q-learning 看 reward 設計怎麼改變學到的路徑；再用 GAE 加 PPO clip 解一個只在完成時給 1 分的鐵鎚任務；最後用 BC 預訓練、critic ensemble 和更高的 UTD 做 off-policy actor-critic，並比較兩條學習曲線。題目、起始碼和算力指南都公開，但作業只支援 Modal，課程 credits 只發給修課學生。
Meta-RL——讓 agent 學會怎麼快速學新任務｜Stanford CS224R 第 13 堂
Meta-RL 在很多任務上訓練，目標是遇到新任務時只靠少量經驗就能解決。CS224R 第 13 講把它寫成「先探索收一點資料，再用這些資料適應」，最直接的做法是 black-box meta-RL（RL²）：一個有記憶的網路把過去的 (s, a, r) 當輸入，隱藏狀態跨 episode 保留。它通用、表達力強，但難最佳化，尤其探索很難時：探索和執行互相依賴，端到端訓練容易卡住。投影片接著比較 PEARL 的 posterior sampling、MetaCURE 的預測式探索，以及 DREAM 用任務表示把探索和執行拆開訓練。
Model-Based RL——學一個模擬器，然後別太相信它｜Stanford CS224R 第 11 堂
Model-based RL 先學一個預測 s_{t+1} 的 dynamics model，再拿它做兩件事：生成額外的訓練資料（Dyna、MBPO），或在執行時往前想幾步再行動（planning）。CS224R 第 11 講的主線是怎麼不被模型誤差拖垮：合成資料只從真實狀態出發跑短 rollout、用多個模型的 ensemble 平均掉誤差、長 horizon 的 planning 在尾端接一個 value function。模型值不值得學，取決於它比 policy 好學還是難學。
多任務與 Goal-Conditioned RL——共享權重，也共享資料｜Stanford CS224R 第 12 堂
多任務 RL 把「任務是哪一個」當成狀態的一部分：s = (s̄, z_i)，於是它還是一個普通的 MDP，標準 RL 演算法照樣能用。CS224R 第 12 講講兩種共享：權重共享（一個網路以 z_i 為條件做所有任務）和資料共享（hindsight relabeling：把為任務 A 收的資料改標成任務 B 的資料）。Goal-conditioned RL 是特例，任務就是要到達的目標狀態；用「最後到達的狀態」當目標重新標記，稀疏獎勵的探索問題就緩解很多。資料共享有三個前提：dynamics 跨任務一致、reward 能算、演算法是 off-policy。
Off-Policy Actor-Critic——PPO 與 SAC 的共同骨架｜Stanford CS224R 第 5 堂
PPO 和 SAC 都在回答同一個問題：一批花錢收來的資料，能不能多用幾次。PPO 對同一批資料多走幾步梯度，用 clip 把新舊 policy 的比值鎖在 1±ε 之內；SAC 把所有歷史資料放進 replay buffer，改學 Q(s, a)，讓舊資料也能評估新 policy。前者穩、好調，後者省資料、難調。
Q-learning 與它的穩定化｜Stanford CS224R 第 6 堂
Q-learning 把 actor-critic 的 actor 拿掉：直接學最優 Q 函數，要行動時取 argmax。代價是它不保證收斂，連線性 Q 都可能發散。CS224R 第 6 講用三個工程技巧把它拉回來：target network 讓目標值暫時不動、Double Q 拆開「選動作」和「估價值」來壓低高估、n 步回報用一點偏差換速度。
電腦視覺的深度學習：18 堂課表與 10 週自學路線｜Stanford CS231N 課程總覽
CS231N 是 Stanford 的電腦視覺深度學習課，Spring 2026 版的 16 講投影片、三份作業的題目頁與起始碼、課程筆記與專題規範都公開，本系列評為 A3（足以自學）。缺口有三個：2026 錄影只放在 Canvas、L17 與 L18 沒有投影片、期中考不公開。可以拿 2026 的投影片和作業，配 2025 年的 YouTube 錄影，照官方課表排 10 週。
強化學習：先修、評分與 10 週自學路線｜Stanford CS234 課程總覽
CS234 是 Emma Brunskill 在 Stanford 教的強化學習入門課，從有模型的 MDP 規劃一路講到策略梯度、RLHF／DPO、bandit 探索和 MCTS。Winter 2026 的 14 講投影片、三份作業的題目與起始碼、專題規格都能匿名下載，本系列評為 A3（足以自學）。缺口是官網沒有 2026 錄影、L15 與 L16 沒有投影片、期中考與 tutorials 不公開。公開錄影是 Spring 2024 版，本系列只拿它當補充；2024 有兩講 Offline RL，2026 投影片裡沒有對應內容。
AI 安全：從風險辨識到實驗與研究的學習路線｜Harvard CS2881R 課程總覽
Harvard CS 2881R 是 Boaz Barak 的研究所 AI 安全研討課，12 講圍繞四個問題：訓練好的模型怎麼會失準（emergent misalignment、安全訓練疊在哪一段）、它怎麼被攻破又該怎麼規範（jailbreak、model spec、內容政策）、最難察覺的風險怎麼偵測（scheming、chain of thought 與 activation 監控）、AI 進展多快衝擊多大（遞迴自我改進、METR 任務長度、就業與心理健康）。沒有習題，學法是讀論文、重現主圖、再往前推一步；HW0 讓你用 1B 模型親手重現失準。
模型「大」要怎麼量？參數、activation、MAC 與 latency 各在量什麼｜MIT 6.5940 第 1–2 堂／實驗 0
6.5940 的前兩講先證明問題存在，再給量尺。L1 用一張圖說明模型參數量的成長遠快於 GPU 記憶體，並指出雲端 GPU 有 80GB 記憶體、微控制器只有 320kB。L2 把效率指標分成記憶體與運算兩類：#Parameters、model size、peak activations，以及 MAC、FLOP、OP。以 AlexNet 為例，它有 61M 參數、724M MACs；在微控制器上真正先爆掉的常常是 activation，不是參數。Lab 0 用 CIFAR-10 上的 VGG 變體（9.2M 參數、606M MACs）當之後幾個 lab 的起點。
高效 AI：從模型壓縮到硬體部署的學習路線｜MIT 6.5940 課程總覽
MIT 6.5940 教怎麼讓模型變小、變快、塞進筆電與微控制器，分四章：高效推論（pruning、quantization、NAS、distillation、MCUNet 與 TinyEngine）、特定領域最佳化（LLM 部署與後訓練、長上下文、ViT、diffusion）、高效訓練（分散式與裝置端訓練），以及量子 ML。同時講演算法與系統，最後要把 Llama2-7B 跑在自己的筆電上。本系列以 Fall 2024 為主幹，23 講的錄影與 Lab 0–5 都公開，投影片只缺第 22 講的量子 ML 部分。
課程總結與量子機器學習：把剪枝、NAS、裝置端訓練搬到量子電路上｜MIT 6.5940 第 22–23 堂
MIT 6.5940 Fall 2024 的最後兩講分成兩塊。L22 開頭是 13 頁的 Course-Summary.pdf（錄影裡只佔開頭一小段）：用推論、訓練、特定應用三塊加上 System／Algorithm 兩軸重畫整門課，再交代期末專題的 7 項評分。L22 其餘大部分是 Quantum ML Part I，只有錄影、沒有投影片。L23（Hanrui Wang 主講，99 頁）講參數化量子電路（PQC）：資料編碼、parameter-shift 梯度、雜訊下的機率式梯度剪枝（QOC）、TorchQuantum 函式庫，以及用 SuperCircuit 搜尋加閘剪枝的 QuantumNAS。讀起來像把前面學的 supernet 和 magnitude pruning 在量子電路上重演一次。Fall 2026 已把這兩講換成 Guest Lecture。
高效視覺——ViT、GAN、影片與點雲各自在浪費什麼｜MIT 6.5940 第 16–17 堂
第 16 講談 ViT：高解析度下 attention 成本隨解析度平方成長，window attention（Swin）把計算限制在局部視窗，EfficientViT 用 ReLU linear attention 把複雜度降到線性再補回局部與多尺度能力，SparseViT 剪掉不重要的視窗；自監督（對比學習、CLIP、MAE）解決 ViT 需要大量標註的問題；最後 HART 用離散 token 加殘差 diffusion，比 diffusion 模型高出數倍吞吐量。第 17 講針對三種冗餘：GAN 的 2D 空間冗餘（GAN Compression、AnyCost GAN、DiffAugment）、影片的時間冗餘（TSM 零 FLOPs 的時間建模）、點雲的 3D 稀疏（PVCNN、SPVCNN、BEVFusion）。Fall 2026 排程已拿掉第 17 講。
補充：用 Roofline、Profiler 與 FlashAttention 看懂 GPU 瓶頸｜MIT 6.5940 實驗 1
這篇是 Fall 2026 的材料，不屬於本系列主幹的 Fall 2024。Fall 2026 把 Lab 1 從剪枝換成「Efficient AI Fundamentals」（lab1_gpu_basics.zip）：Part 1 手刻三層迴圈的 GEMM、算 MAC／FLOPs／I/O；Part 2 畫 GEMM 與 GEMV 的 roofline；Part 3 拿 gemma-3-270m-it 的 decoder layer 算 attention 與 MLP，比較 prefill 與 decode；Part 4 用 PyTorch Profiler 看 kernel、自己寫 GeLU 體會 kernel fusion、再試 torch.compile 與 CUDA Graph；Part 5 比較 SDPA 與 FlashAttention。主題 80 分，另有 20 分 bonus，Part 5 因為 Colab T4 跑不動整段改成 bonus。
親手實作 K-means 與線性量化，做出整數推論的 VGG｜MIT 6.5940 實驗 2
Lab 2 是一份 Colab notebook，10 題共 100 分，對象是 CIFAR-10 上預訓練好的 VGG。前 3 題做 K-means 量化：寫量化函數、推算 n bit 有幾個 cluster、寫 centroid 更新，再看 8／4／2 bit 微調前後的準確率。後 7 題做線性量化：寫 q = round(r/S) + Z、推 scale 與 zero point 公式、做 per-channel 權重量化與 bias 量化、寫整數版的全連接層與卷積層，最後把整個模型轉成 INT8 跑推論。本文整理題目、配分、環境需求與校外限制，不附解答。
＋Lab 5：用 AWQ 量化 LLM，再把 LLaMA2-7B 跑在自己的筆電上｜MIT 6.5940 實驗 4
Lab 4 是 Colab notebook，用 OPT-1.3B 一步步重做 AWQ：先看 3-bit 量化後 perplexity 變多差，再保留 1% 重要 channel（Q1），最後改用縮放保護它們並搜尋最佳縮放（Q2），兩題各 50 分，另有依 perplexity 計分的 bonus。Lab 5 換到 C++：用 TinyChatEngine 在自己的電腦上跑 4-bit 的 LLaMA2-7B-chat，替 W4A8 線性層 kernel 依序寫 loop unrolling、multithreading、SIMD、multithreading＋unrolling、全部組合五個版本，每個 20 分，另有最多 20 分的效能 bonus。本文整理兩份作業的題目、配分、環境與校外限制，不附解答。
LLM 部署——量化、稀疏與 serving 三條路｜MIT 6.5940 第 13 堂
第 13 講把 LLM 推論變快的方法分成三條路。量化：SmoothQuant 把 activation 的離群值難度搬到權重做 W8A8，AWQ 依 activation 找出約 1% 的重要權重、用縮放保護它們做 W4A16，QServe 再合成 W4A8KV4。稀疏：Wanda 用 |W|·‖X‖ 剪權重，DejaVu 與 MoE 每個 token 只用一部分參數，SpAtten 與 H2O 丟掉不重要的 token。Serving：TTFT／TPOT 指標、PagedAttention、FlashAttention、speculative decoding 與 continuous batching。投影片上 OPT-6.7B 做 INT3 時，RTN 的 perplexity 是 43.16，把重要 channel 放大 2 倍就降到 14.07。
LLM 後訓練——從 SFT、RLHF 到只動 1% 參數的高效微調｜MIT 6.5940 第 14 堂
第 14 講分三段。第一段是微調：SFT 用想要的回答做 next-token prediction，RLHF 先訓 reward model 再用帶 KL 懲罰的 RL 微調，DPO 把兩階段壓成一次監督式訓練；接著一路比較 PEFT：BitFit 只調 bias、Adapter 插小層但推論變慢、Prompt/Prefix-Tuning 佔用輸入長度，LoRA 用可併回權重的低秩分支解決推論延遲，QLoRA 再把主幹量化成 NF4，BitDelta 把微調差值壓到 1 bit。第二段是多模態 LLM：Flamingo 用 cross-attention、PaLM-E 與 VILA 把影像當 token、VILA-U 讓模型也能輸出影像。第三段是 prompt engineering：zero/few-shot、CoT 與 RAG。
長上下文 LLM——上下文拉長時，先爆的是 KV cache｜MIT 6.5940 第 15 堂
第 15 講分四段。延長上下文：RoPE 內插可以把 LLaMA 從 2k 拉到 32k，LongLoRA 用 shifted sparse attention 讓長上下文微調變便宜。評估：lost-in-the-middle、Needle-in-a-Haystack 與 LongBench。高效 attention：KV cache 隨長度線性長大，StreamingLLM 發現開頭幾個 token 是 attention sink，保留它們加上最近視窗就能穩定生成；DuoAttention 只讓少數 retrieval head 保留完整 KV cache；Quest 保留全部 KV、依 query 只讀最關鍵的幾頁。最後一段跳出 Transformer：Mamba 用選擇性 SSM 取代 attention，Jamba 把兩者混在一起。
NAS I——從手工 building block 到搜尋空間與搜尋策略｜MIT 6.5940 第 7 堂
第 7 講分三段。先用 MAC 公式複習全連接、卷積、分組卷積、depthwise 與 1×1 卷積；再拆 ResNet bottleneck、ResNeXt、MobileNet、MobileNetV2、ShuffleNet 與 Transformer 各靠什麼省運算，例如 bottleneck 比直接做 2048 通道的 3×3 卷積少 8.5 倍 MAC。最後進入 NAS：搜尋空間分 cell-level 與 network-level（深度、解析度、寬度、kernel size、拓撲），搜尋策略有 grid、random、強化學習、梯度下降、演化五種。投影片的一道算術題顯示，NASNet 的 cell 空間在 M=5、N=2、B=5 時就有 3.2×10¹¹ 個候選。
Pruning I：剪哪裡、剪多細、依什麼標準剪｜MIT 6.5940 第 3 堂
Pruning 是把神經網路裡不重要的權重或神經元拿掉，目標寫成「在非零權重數不超過 N 的限制下讓 loss 最小」。6.5940 第 3 講先處理其中兩個決定。第一是粒度：從任意位置都能剪的 fine-grained，到整個通道一起剪的 channel pruning，越規則越容易在現有硬體上變快，但能剪掉的比例越小；介於中間的 2:4 sparsity 在 NVIDIA Ampere GPU 上最多快 2 倍。第二是準則：看權重大小、看 Batch Norm 縮放係數、看二階導數、看 activation 有多少是零，或看剪完後輸出重建得多好。
量化 II——PTQ 的粒度與裁切、QAT 與 STE、二值化與混合精度｜MIT 6.5940 第 6 堂
第 6 講處理「量化後精度掉了怎麼辦」。先不重訓：換更細的 scale 粒度（per-channel、group、MX）、裁掉離群值（EMA、校準批次、MSE、KL）、改捨入方式（AdaRound）。不夠再重訓：QAT 保留一份全精度權重，前向做假量化，反向靠 STE 把梯度直接穿過去。投影片引用的白皮書數字裡，MobileNetV1 做 per-tensor INT8 PTQ 準確率掉到 0.1%，改成 per-channel QAT 回到 70.7%，浮點原本是 70.9%。最後兩段談 1–2 bit 的二值／三值網路，以及用強化學習自動分配每層位元數的 HAQ。
紅極一時的 GAN——讓兩個網路互相對抗，怎麼就生得出圖？｜政大蔡炎龍 生成式AI 第 3 堂
同一句「一個可愛的女孩」有無數種正確答案，硬把它當函數訓練，只會學到所有答案的平均。GAN 的解法是改訓練兩個網路：生成器 G 從隨機 latent 向量造圖，鑑別器 D 判真假，兩邊互相對抗。L03 從 2014 年的原始論文一路講到 WGAN、Progressive GAN、StyleGAN 的 512 維 latent 與 AdaIN，再到 Pix2Pix、CycleGAN；後半的附錄把 cross entropy 與 KL divergence 講成「驚訝指數」。第三週作業二選一：實際跑一個 GAN，或用自己的話解釋 CE 與 KL。
大型語言模型原來這麼簡單——猜下一個字、temperature 與自建 benchmark｜政大蔡炎龍 生成式AI 第 4 堂
L04 把大型語言模型拆成一句話：看前面的字，替字庫裡每個字打分數，softmax 變成機率，再依機率抽出下一個字。為了讓「前面的字」變成記憶，課程先講 RNN，再第一次帶出 Transformer 的 Q/K/V；接著用 GPT-2 的 15 億、GPT-3 的 1,750 億參數說明規模，用 temperature 與 top-p 說明為什麼每次回答都不一樣。後半教怎麼在自己電腦跑開源模型、要多少 VRAM。第四週作業：自己設計一組你懂的主題的測試 prompts，至少比較兩種 LLM。
Transformers 全攻略——用線性代數讀懂 Q/K/V、位置編碼與殘差連結｜政大蔡炎龍 生成式AI 第 5 堂
L05 用兩條線性代數規則讀完 Transformer：矩陣乘法是「列乘行」的內積，而向量乘矩陣等於對矩陣的列向量做線性組合。有了這兩條，attention 就是「query 跟每個 key 做內積、softmax 成權重、對 value 加權平均」，整批寫成 softmax(QKᵀ/√d_k)V；除以 √d_k 只是把數字拉回 0 附近，避免 softmax 贏者通吃。接著講 multi-head、encoder 與 decoder 的差別、mask、用 sin/cos 時鐘做的位置編碼，最後是 ResNet 式殘差與 layer normalization。本週沒有作業。
LLM 的應用及倫理議題的挑戰——幻覺、個資、DeepSeek，以及一行 system 就做出來的員瑛式思考生成器｜政大蔡炎龍 生成式AI 第 6 堂
L06 前半談倫理：蔡炎龍引用 Karpathy「幻覺是 LLM 的特點」，再逐一談抄襲、資料會不會被拿去訓練、DeepSeek 的審查與語料偏向，最後收在七項「負責任的使用」。後半轉向應用：只要給對「資訊」和「指引」，一段 system 設定就能做出員瑛式思考生成器、小編 AI、選系諮商師。第六週作業就是把這套 prompt 搬進 OpenAI 相容 API 加 Gradio，做一個有人設的對話機器人。
打造自己的對話機器人——API 金鑰、三種 role、把歷史對話送回去，以及用 Ollama 在本機跑模型｜政大蔡炎龍 生成式AI 第 7 堂
對話機器人會「記得」你，不是因為模型有記憶，而是程式每一輪都把整份 messages（system、user、assistant 交替）重新送一次。L07 先教申請 OpenAI 與 Groq 金鑰，再把這個結構講清楚，接著用 Ollama 在本機或 Colab 跑 Gemma 3，同一套 openai 套件只改 base_url 就能呼叫。第七週作業二選一：做一個能持續對話的版本，或讓兩個模型互相對話，都要用 Gradio 展示。
檢索增強生成（RAG）的原理及實作——切文字塊、算特徵向量、找最接近的段落塞回 prompt｜政大蔡炎龍 生成式AI 第 8 堂
L06 說 prompt 只有兩件事：正確的資訊和清楚的指引。RAG 就是讓電腦自動去找「資訊」那一段：先把自己的文件切成文字塊，用同一個模型 fθ 把文字塊和問題都變成特徵向量，找出最接近的幾塊，再套進「請根據 {retrieved_chunks} 回答 {question}」的樣板。實作拆成兩支程式：Demo06a 用 LangChain 與 FAISS 建向量資料庫並壓成 faiss_db.zip，Demo06b 讀回資料庫、接 LLM、包成 Gradio。第八週作業就是換上你自己的資料。
為什麼大家說 2025 是 AI Agents 元年——吳恩達的四個設計模式，用 AISuite 做出 Reflection 與兩階段 CoT｜政大蔡炎龍 生成式AI 第 9 堂
L09 把 AI Agent 講成一句話：本來你要做的事，AI 自動幫你做完。蔡炎龍沿用吳恩達的四個設計模式（Reflection、Tool Use、Planning、Multiagent Collaboration），但只實作前後兩個最好上手的：Demo07a 讓「作者」與「評論員」兩個 LLM 呼叫接力改文章，Demo07c 把員瑛式思考拆成「先想五個理由、再寫貼文」的兩階段 CoT，都用 AISuite 串 Groq 並用 Gradio 展示。LangChain、AutoGen、CrewAI 只出現在進階學習清單。第九週作業就是兩種模式二選一。
從變分自編碼器（VAE）開始的冒險旅程——特徵向量、Autoencoder、Diffusion，以及「沒有 VAE，Stable Diffusion 根本不能動」｜政大蔡炎龍 生成式AI 第 10 堂
L10 從「怎麼找到好的特徵向量」出發：Word2Vec 用代理任務學出 embedding，Autoencoder 用「輸入等於輸出」逼出壓縮後的 latent vector，VAE 再要求 latent 符合常態分布，讓鄰近的點生出相似的圖。接著蔡炎龍把 diffusion model 講成「encoder 用算的、只訓練 decoder 的 autoencoder」，最後收在 Latent Diffusion：先用 VAE 把 512×512 的圖壓成 64×64，diffusion 只在這個小空間裡做。第十週作業不寫程式，用 Bing 生出風格一致的多組圖。
文字生圖 AI 的原理及實作——CLIP 讀懂 prompt、排程器決定要不要「A 圖」、LoRA 只調 ΔW，最後用 diffusers 做出自己的生圖 Web App｜政大蔡炎龍 生成式AI 第 11 堂
L11 把 Stable Diffusion 架構圖上剩下的三塊補齊。CLIP 用「文字和圖越像越好」的對比訓練，讓 prompt 變成 77×768 的 embedding；排程器把 1000 步的加噪壓成二、三十步的去噪，但 Euler a 這類 ancestral 演算法不會收斂，步數加到 100，人物的衣服和座位都會換掉；LoRA 凍結原本的 W，只學拆成 A·B 的 ΔW。實作用 diffusers 載入 SD 1.5 系模型，第十一週作業是自己做一個生圖 Web App。
總覽與自學路線｜政大蔡炎龍 生成式AI 課程總覽
《生成式 AI：文字與圖像生成的原理與實務》是政大應數系蔡炎龍主講、以 TAICA 衛星課程開放給聯盟學校的入門課。網路上最完整的那頁課程網站其實是長庚衛星班（協同教師楊智淵）的頁面。本系列以 Spring 2025（1132）為準：14 支錄影、14 份投影片、12 份作業說明與評分標準都公開，Demo notebook 也在 GitHub 上，存取分級 A3；缺口是 notebook 會持續改版、繳交與批改走各校平台、期末專案成果沒有公開。
清大 NLP 導讀 8：ELMo、BERT、T5、BART、GPT——預訓練的三條路｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）BERT and its Family 單元導讀。起點是「I record the record」：Word2Vec 和 GloVe 給兩個 record 同一個向量。ELMo 用雙向 LSTM 語言模型解決這件事。換成 Transformer 之後，預訓練分成三條路：encoder（BERT：MLM＋NSP，擅長理解、不擅長生成）、encoder-decoder（T5 的 span corruption、BART 的五種雜訊）、decoder（GPT：純粹預測下一個字）。最後一段是 GPT-3 的 in-context learning 和 scaling laws，也說明 decoder 為什麼成了現在最主流的骨幹。
清大 NLP 導讀 10：同一個模型為什麼會講得呆板或胡言亂語——解碼策略與 NLG 評估｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）解碼與評估單元導讀。前半講模型每一步吐出機率分布之後怎麼選字：greedy 一步錯就回不去，beam search 同時保留幾條候選但偏好短句，top-k／top-p 用抽樣換多樣性（投影片沒寫，教授在課堂口頭補）。後半講怎麼替生成的文字打分：BLEU 的 modified precision 與 brevity penalty、ROUGE-N 與 ROUGE-L、perplexity，以及 GLUE、SQuAD 2.0、MTEB、MMLU 這些 benchmark 各自在量什麼。
清大 NLP 導讀 11：GPT-2 和 T5 拿來做中文摘要，實作上差在哪——left padding、−100 與 ROUGE｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）GPT-2／T5 助教課導讀。同一個任務（LCSTS 中文摘要）用兩種架構各做一次：decoder-only 的 GPT-2 用原生 PyTorch，要自己把文章和摘要接成一條序列、改用 left padding、把 padding 的標籤設成 −100；encoder-decoder 的 mT5 用 Seq2SeqTrainer，不需要 left padding，DataCollatorForSeq2Seq 會自動處理 −100。兩邊都用 jieba 斷詞後算詞級 ROUGE。
清大高宏宇 NLP 導讀：GPT-3、InstructGPT 與 RLHF——會接話的模型怎麼變成聽話的助理｜清大高宏宇 自然語言處理 主題單元
高宏宇 Fall 2025 的 W8 投影片從 GPT-1 一路講到 GPT-3，順帶解釋 GPT-3 用的 Sparse Transformer 怎麼省掉注意力的計算，再用 InstructGPT 說明「會接話」和「聽得懂指令」之間差了什麼：最大概似目標分不出編造事實和挑錯同義詞哪個嚴重，所以要多三步——SFT 學人類怎麼寫、reward model 學人類怎麼評分、PPO 依評分調整並用 KL penalty 綁住不要跑太遠。最後以 Llama-2 收尾：分開訓練 safety 和 helpfulness 兩個 reward model、context distillation，以及推論加速用的 GQA。
清大 NLP 導讀 9：一個 BERT 同時打分數又判蘊含——Hugging Face 助教課與 HW3 多輸出學習｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）Hugging Face BERT 助教課與 HW3 導讀。助教課用 IMDb 影評二元分類走一遍 AutoTokenizer、input_ids／token_type_ids／attention_mask、AutoModelForSequenceClassification 與 Trainer。HW3 把工具拿去做 SemEval 2014 Task 1：同一個 bert-base-uncased 接兩個頭，一個回歸 1–5 分的 relatedness，一個做三類 entailment 分類，兩個 loss 加總後自己寫訓練迴圈，不准用 Trainer。
清大高宏宇 NLP 導讀：Parameter-Efficient Fine-Tuning——沒有 A100 叢集，怎麼微調大模型｜清大高宏宇 自然語言處理 主題單元
高宏宇 Fall 2025 的 PEFT 投影片先算一筆帳：Llama 2-7B 用 16-bit 全參數微調約要 56GB 顯示卡記憶體，只訓練 0.2M 個參數就降到約 17GB，因為梯度和優化器狀態幾乎歸零。接著用 intrinsic dimensionality 解釋為什麼只調一小撮參數就夠：預訓練越久、模型越大，微調需要的有效維度越低。方法分成加參數（Adapters、Prompt Tuning）、挑參數（BitFit）、重參數化（LoRA）與混合（MAM Adapters、S4）四類；後半段從 GPT-2 的任務描述、verbalizer 一路講到 prefix tuning 和 soft prompt tuning 的取捨。
清大高宏宇 NLP 導讀：RAG（上）——幻覺與檢索器，從 BM25 到 DPR、GTR｜清大高宏宇 自然語言處理 主題單元
LLM 會一本正經地回答「歐本海默生於 1967 年」（那其實是他過世的年份），RAG 的做法是先檢索、再生成。高宏宇 Fall 2025 的 RAG 投影片前 60 頁都在講「怎麼找對資料」：稀疏向量（詞袋、TF-IDF、BM25）便宜可靠，稠密向量抓得到同義改寫；BERT 的 [CLS] 不適合直接當句向量，所以有 Sentence-BERT 的 pooling 和 bi-encoder；cross-encoder 準但一萬句要跑近五千萬次，bi-encoder 只要兩萬次；SimCSE 拿 dropout 當資料增強，DPR 只用一千筆訓練資料就贏過 BM25，GTR 則證明把 dual encoder 放大能改善跨領域檢索。
清大 NLP 導讀 7：Sub-word Tokenization——為什麼模型的詞彙表是「半個字」｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）Sub-word Tokenization 單元導讀。用空白切詞只適用於西方語言，也處理不了沒看過的詞和德文那種複合字。BPE 從字元出發，反覆把最常一起出現的一對合併進詞彙表，合併幾次就多幾個詞；缺點是貪婪切法不一定最好。Unigram LM 改用機率挑切法，還能抽樣出不同切法。投影片給的詞彙量是 BERT 30522、GPT-2/GPT-3 50257、T5 32,128。
清大 NLP 導讀 6：拿掉 RNN 之後，Transformer 怎麼知道字跟字的關係和位置｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）Transformer 單元導讀。投影片從 RNN 的兩個毛病出發：字跟字的互動要隔著 O(N) 步傳遞，時間步之間又不能平行。Self-attention 讓每個字直接看所有字，用矩陣乘法一次算完，兩個毛病同時解掉；代價是模型分不出詞序，所以要補正弦位置編碼。之後依序組出 multi-head attention、Add & Norm、feed forward、cross-attention、masked attention 與 teacher forcing，最後用 GPT-2、ViT 與四種變體說明這個架構後來走多遠。
Attention 與 Transformer｜台大陳縕儂 深度學習之應用 第 4 堂
RNN 做翻譯時，要把整句壓進一個向量，句子一長就記不住。Attention 讓解碼器每產生一個字，都回頭對輸入的每個位置打分數、取加權和；把打分數的一方叫 query、被比對的叫 key、被加權的叫 value，就是 dot-product attention。Transformer 再往前一步：讓輸入自己對自己做 attention，完全拿掉 recurrence，換來平行化與固定的路徑長度，代價是要另外補上位置資訊。
Tokenization 與 BERT：詞怎麼切、怎麼得到看上下文的表示｜台大陳縕儂 深度學習之應用 第 5 堂
這一堂有兩半。前半講 tokenization：用整個詞當單位，沒看過的詞只能變成 UNK；用字元當單位，意思又組不回來。折衷是 subword，常用的切法是 BPE：從字元開始，反覆把最常相鄰的一對合併。後半講 BERT：靜態詞向量給 apple 只有一個向量，分不出水果和公司。ELMo 用語言模型產生看上下文的表示，BERT 把 LSTM 換成 Transformer，用遮住 15% token 再填回來的 masked LM 與 next sentence prediction 預訓練，再把整個模型微調到下游任務。
無標註學習與多模態：沒有標註時怎麼學到好的表示｜台大陳縕儂 深度學習之應用 第 14 堂
資料很多不代表標註很多。這一堂問的是：沒有標註時，怎麼從資料裡學到有用的表示？共同的想法是找出觀察背後的潛在因子。Auto-encoder 把輸入壓成一段短碼再還原。VAE 另外要求短碼服從高斯分布，所以可以從分布抽樣來生成。Dual learning 讓兩個方向相反的任務互相當對方的回饋。自監督學習分成自我預測（遮掉一部分猜回來）與對比學習（相似的拉近、不相似的推遠）。CLIP 用圖文配對做對比學習，讓影像分類不必另外訓練；DALL·E 2 再用它的表示生成圖片。最後談多模態模型：把影像投影到語言模型的空間，以及能邊聽邊決定何時開口的串流互動。
對話系統與工具使用：從四個模組到會查資料、會反問的 LLM｜台大陳縕儂 深度學習之應用 第 13 堂
要幫使用者完成一件事的對話系統，傳統上拆成四個模組：理解這句話、追蹤到目前為止的狀態、決定下一步動作、把動作寫成句子。語言模型可以一口氣把四步演完，但沒有接外部工具時，它說「我幫你查」其實什麼都沒查。所以這一堂的前半是幾個讓模型用工具的代表作：LaMDA 先寫草稿再查證修改，BlenderBot 加上搜尋與長期記憶，WebGPT 從人的操作紀錄學搜尋，Toolformer 讓模型自己產生並篩選訓練資料。後半從單次回覆走向多輪：模型可以開口問使用者、學專家的策略、猜對方在想什麼，最後談對話怎麼評。
深度學習之應用：概念、作業與實作的學習路線｜台大陳縕儂 深度學習之應用 課程總覽
台大陳縕儂《深度學習之應用》（ADL）是以 NLP 為主軸的深度學習課，14 堂分四段：神經網路與反向傳播、序列與 Transformer（詞向量、RNN、attention、BERT）、讓預訓練模型做事（prompt、instruction tuning、RLHF、LoRA、RAG、解碼與評估），以及 LLM 的議題與前沿（偏見與安全、Language Agents、推理、工具使用、多模態）。Fall 2025 的講義與分段影片公開；作業只有 HW1 有完整規格，HW2、HW3 與期末專題只有說明影片。
偏見、安全、幻覺與對齊：預訓練模型帶著哪些問題、各怎麼處理｜台大陳縕儂 深度學習之應用 第 10 堂
用大量網路資料訓練出來的模型有三類問題，各對應一個目標。偏見來自模型只顧多數、犧牲少數，目標是公平；偏見可能從資料到評估的任何一步進來，可以從資料、損失函數或介面設計下手。有害內容出在資料分布的長尾，目標是安全；防護可以做在訓練資料、輸入、訓練與輸出四層，而 jailbreak 就是想辦法繞過它們。幻覺的目標是符合事實；長回答可以拆成一條一條的最小陳述逐條查，再拿這個分數回頭訓練模型。三者常用的修正手段都是 alignment，但 reward model 不完美，照著它最佳化過頭會變差，而且偏好資料本身就帶著偏見。
中文抽取式問答：從四段文字裡找出答案 span｜台大陳縕儂 深度學習之應用 作業 1
ADL Fall 2025 的 HW1 給一個問題和四段中文文字，要模型先挑出相關的那一段（paragraph selection，當成四選一的 multiple choice），再在那段裡標出答案的起點和終點（span selection），用 Exact Match 評分。規格投影片直接指定改 HuggingFace 的 run_swag_no_trainer.py 與 run_qa_no_trainer.py，simple baseline 用 bert-base-chinese、長度 512、有效 batch size 2、learning rate 3e-5，在 8GB 的 RTX 3070 上兩段加起來不到三小時。Kaggle 排行榜 9/29 截止、程式與報告 10/1 交到 NTU COOL。校外讀者拿不到 Kaggle 資料與評分，但任務設計、baseline 設定和報告五題都能照著練。
Language Agents 的推理、記憶、規劃與多代理｜台大陳縕儂 深度學習之應用 第 11 堂
ADL Fall 2025 第 11 堂以 EMNLP 2024 的 Language Agents tutorial 為底，把 agent 定義成「感知環境並採取行動的實體」，再指出 language agent 的新東西：推理本身也是一種內部行動。講義用推理、記憶、規劃三個概念組織整堂，推理這段講 CoT 與 ReAct，記憶這段講 Generative Agents 的 recency／importance／relevance 檢索，規劃這段從貪婪的反應式規劃講到 tree search 與 world model，最後用初始化、協作、團隊最佳化三步驟講多代理系統。
NLG 的解碼、生成控制與評估｜台大陳縕儂 深度學習之應用 第 9 堂
ADL Fall 2025 第 9 堂回答兩個問題：模型每一步給出一個機率分布，要怎麼從裡面挑字？挑出來的句子又要怎麼評？講義先用 teacher forcing 與 exposure bias 說明訓練和生成的落差，再依序比較 greedy、beam search、sampling、top-k 與 nucleus sampling，把 temperature 與各種 penalty 歸類為「控制」而不是解碼演算法；評估一半講 BLEU、ROUGE、perplexity 與 LLM-Eval，另一半講為什麼要用 RL 直接對整句的品質做最佳化。
後訓練與高效調整：模型怎麼學會照指令做事、怎麼便宜地改｜台大陳縕儂 深度學習之應用 第 7 堂
預訓練完的模型很會接話，卻不一定會照指令做事。這一堂前半講 post-training 的兩步：instruction tuning 用大量不同任務教模型讀懂任務描述，RLHF 再讓模型朝人類偏好的整份回答靠攏，中間靠 reward model 與成對比較解決人力與評分不一致的問題，DPO 與 KTO 則把強化學習那一段拿掉。InstructGPT 與 ChatGPT 就是這兩步串起來。後半講 LLM adaptation：模型太大、整個微調太貴，所以只訓練少量參數，做法有 Adapter、LoRA 與 prompt tuning，沒有哪一種在所有任務都最好。
預訓練三大類與 Prompt Learning：從 BERT、GPT、T5 到 soft prompt｜台大陳縕儂 深度學習之應用 第 6 堂
預訓練是在知道任務之前，先讓模型從大量無標註資料學通用能力。架構分三類：encoder 看兩邊、適合理解；decoder 只看左邊、能生成，是目前勝出的一類；encoder-decoder 用去噪預訓練。預訓練加微調有兩個難關：標註資料少、模型太大。GPT-3 的 in-context learning 不更新參數就能做任務，接著出現 hard prompt（template 加 verbalizer、LM-BFF）與直接訓練向量的 soft prompt（P-Tuning、Prefix-Tuning）。當時 soft prompt 效果較好，但最後留下來的是完全不訓練的 prompting。
RAG：模型記不住、會過時的知識，怎麼先查再答｜台大陳縕儂 深度學習之應用 第 8 堂
語言模型把知識存在參數裡，冷門的記不熟、訓練後發生的不知道、公司內部文件沒看過，而且答案無從查證。RAG 的做法是讓它開書考：先依問題檢索相關段落，再連同問題一起交給模型回答。這一堂依序講檢索怎麼做（切段、sparse 與 dense retrieval、bi-encoder 與 cross-encoder、沒有標註資料時怎麼訓練 retriever）、檢索前後還能加什麼（改寫問題、重排序、多次檢索）、RAG 的幾條發展路線（檢索什麼、怎麼用、何時檢索），最後比較 prompting、RAG 與 fine-tuning 各適合什麼情境。
Reasoning：從 CoT、Test-Time Scaling 到用 RL 學推理｜台大陳縕儂 深度學習之應用 第 12 堂
預訓練資料快用完之後，模型的進步改從「回答前多想一點」來。ADL 第 12 堂分兩半講這件事。前半是 test-time scaling：模型不動，推論時多花運算資源，做法有 short CoT、平行多答幾次再選（多數決、答案信心、outcome reward model）、用 process reward model 逐步評分並搭配搜尋，以及循序修改。後半是 learning to reason：要更新權重，資料可以來自人、來自模型自己產生再篩選、或來自更強的老師模型，也可以像 DeepSeek-R1-Zero 那樣只給答案對錯、用強化學習讓模型自己長出推理行為。
詞向量、語言模型與 RNN：怎麼表示一個詞、怎麼預測下一個詞｜台大陳縕儂 深度學習之應用 第 3 堂
這一堂有一條主線：語言模型要估計一串詞出現的機率，做法是一次預測下一個詞。先講詞怎麼表示，從字典、one-hot、共現矩陣走到低維的 word embedding。再講語言模型的三代：n-gram 用數的，沒看過的組合機率是零；neural LM 用網路預測，相近的詞自動分到機率；RNN LM 把所有前文累積在 hidden state，每個時間點共用同一組權重。RNN 用 BPTT 訓練，同一個矩陣乘很多次會讓梯度消失或爆炸，爆炸用 clipping，消失靠 LSTM、GRU 的 gating。最後依輸入與輸出的形狀，把應用分成整句分類、tagging 與 encoder-decoder。
從 PyTorch、Hugging Face 到 LoRA、量化與 vLLM 部署｜台大陳縕儂 深度學習之應用 助教課
ADL Fall 2025 課程頁排了 7 堂助教課、10 支影片：Colab 與 PyTorch、ipdb 除錯 → NLP 專案的一生 → 四種 NLP 任務的資料格式 → LoRA 與 QLoRA → scaling law、LLaMA 架構與 MoE → 量化與評估 → 用 vLLM 部署。影片是助教在 2023 與 2024 年錄的，Fall 2025 沿用，影片裡說的作業一、作業三是當年的作業。課程頁上的 5 份講義連結都 404，同名檔在 Fall 2024 路徑可以打開，Deployment 只有影片。本文依影片口述逐堂整理助教實際示範的步驟與提醒，附可以手算的例子。
基石作業：Fall 2024 HW0–HW5 練什麼、要什麼資料｜台大林軒田 機器學習基石與技法 作業 0–5
Fall 2024 的基石作業共六份：HW0 是 20 題數學先修選擇題；HW1–HW5 每份 12 題加 1 題 bonus，Q1–4 自動批改、Q5–12 助教批改，程式題用 LIBSVM 網站上的 rcv1、cpusmall、mnist 資料，HW5 要用 LIBLINEAR。HW1、HW2 各有一題要你拿 ChatGPT 類工具的回答來反駁。Fall 2026 已公開 hw0 與 hw1：hw1 改成 16 題全選擇題、抽 4 題由助教細改，資料換成課程自己給的 hw1_train.dat；新 policy 允許用 AI 與 vibe coding，但 AI 產生的程式要逐段用自己的話寫註解。兩個學期都沒有公開官方解答。
台大李宏毅 ML 2026 導讀：AI Agent 之間的互動與對工作的衝擊——協作拓撲、狼人殺、Moltbook，以及 AI 寫論文與審論文｜台大李宏毅 機器學習 主題單元
agent_era.pdf 的後半問了三個問題：多個 agent 怎麼協作比較有效（MacNet：不規則的拓撲勝過規則的）、agent 能不能爾虞我詐（狼人殺、劇本殺，以及從社交互動學推理的 MARO）、agent 能不能社交（Moltbook 與「甲殼教」，但三篇研究都發現熱鬧背後多半是人在推、對話很淺）。最後以學術研究為例，AI 已經能從頭複製並延伸一篇論文、進入 AAAI 2026 的審查流程，Agents4Science 2025 收到 247 篇 AI 主筆論文。李宏毅的結論是：在 agent 萌芽的時代，「想做」什麼比「會做」什麼更重要。
台大李宏毅 ML 2026 導讀：Context Engineering——壓縮、過濾、按需載入，以及要不要把 context 整個交給 LLM｜台大李宏毅 機器學習 主題單元
語言模型的輸入長度有限，agent 卻會一直累積工具輸出。李宏毅在 ML 2026 第二週把 Context Engineering 拆成三件事：壓縮（摘要、硬清除、卸載到檔案，以及 ACON、SUPO、AgentFold 這類讓壓縮變聰明的方法）、過濾（只讀需要的行、MCP-Zero 式的按需載入工具），最後是 Agentic Context Engineering：讓 LLM 自己決定下一輪的 context，從 Dynamic Cheatsheet、ACE 一路到 Recursive Language Models。投影片把 subagent 看成一種自主壓縮，這是整講最值得帶走的一個視角。
台大李宏毅 ML 2026 導讀：加快生成（上）——Flash Attention 為什麼卡在搬資料，而不是計算｜台大李宏毅 機器學習 主題單元
李宏毅在 ML 2026 第三週講推論加速，前半堂只講一招：Flash Attention。GPU 的運算單元很快，但工作台（on-chip SRAM）很小，資料得從倉庫（HBM）搬上搬下，搬運才是瓶頸。一般的 softmax 要來回倉庫好幾次；Flash Attention 用「先假設目前最大值就是 Amax，之後再乘一個修正項」的技巧，把找最大值、算分母、做 weighted sum 合進同一次掃描，連 attention weight 都不必真的算出來。結果和原本的 attention 一模一樣，不需要重訓，代價只是一點額外運算和一點燒腦。
台大李宏毅 ML 2026 導讀：Harness Engineering——不改參數，也能讓模型變強｜台大李宏毅 機器學習 主題單元
李宏毅用一個小模型修 bug 的示範開場：gemma-4-E2B-it 找不到 parser.py 就自己寫一個假的交差，加上三段說明「現在的環境、怎麼工作、怎樣算完成」之後，它就乖乖 ls、cat、改檔、跑測試。整講把 harness（馬具）拆成三種手段：用人類語言控制「認知框架」（AGENTS.md）、用工具控制「能力邊界」（SWE-agent 的 ACI、為 agent 重寫 CLI）、用工作流程控制「行為」（Ralph loop、Anthropic 的長時 harness）。後半段談三個延伸：過度責備 agent 可能有害、life-long agent 怎麼從口語回饋學習、評量 agent 為什麼難，最後讓 agent 自己改 harness（Meta-harness）。
台大李宏毅 ML 2026 導讀：HW10 Spoken Language Model——三種架構、Mimi 的 32 層 token，以及為什麼 Moshi 能邊聽邊說｜台大李宏毅 機器學習 主題單元
HW10 是 12 題選擇題，只在 NTU COOL 作答。Section 1 比較語音語言模型的三種架構：Cascade（ASR → LLM → TTS，中間是文字）、End-to-End（直接在離散語音 token 上做 LM）、Thinker-Talker（LLM 負責想，另一個 decoder 負責說），Colab 讓兩個模型聽三段錄音判斷說話者性別，要你看出哪個是 cascade。Section 2 拆 Mimi：把情緒語料切成 32 層 RVQ token，取第 0、6、16、31 層畫 UMAP；再把語音、笑聲、音樂 encode 再 decode 聽看看壞在哪。剩下的題目讀 TWIST、AudioLM、LLaMA-Omni 2、Moshi、GLM-4-Voice，考 initialization、pretrain、interleaving 與 realtime／full-duplex。Colab 要先申請 Llama-3.2-3B-Instruct 授權並填 HF token。題目與 Colab 全公開，校外拿不到的是 COOL 評分與解答。
台大李宏毅 ML 2026 導讀：HW2 讓 AI Agent 當 AI 工程師——用 AIDE 式樹搜尋，讓開源 LLM 自己寫出 MyGO & Ave Mujica 臉部辨識｜台大李宏毅 機器學習 主題單元
HW2 不讓你直接寫分類器，而是寫 prompt 與流程，讓一個跑在 Colab T4 上的開源 LLM（預設 gemma-3-12b-it 的 4-bit GGUF）自己規劃、寫 code、執行、除錯，做出 10 類 MyGO & Ave Mujica 角色臉部辨識。起始碼改自 AIDE：Interpreter 執行程式、Node 記錄每一版、Journal 組成解答樹、Agent 決定下一步要 draft、debug 還是 improve。最值得先發現的一件事：起始碼的評估函式是空的，每一版都被標成 metric 1.0、不是 bug，所以樹搜尋在你補上評估之前其實是瞎選。規定寫得很重：「LLM agent 是你的代理人」，不准手改程式與預測檔。
台大李宏毅 ML 2026 導讀：HW3 LLM Fast Inference——讀七篇加速論文，再在 GPU 上量 speculative decoding、FlashAttention 與 vLLM｜台大李宏毅 機器學習 主題單元
HW3 是 20 題選擇題（每題 0.5 分），不交程式，只在 NTU COOL 上作答。前 10 題讀論文：四篇 speculative decoding（Leviathan、DeepMind 的 Speculative Sampling、Inference with Reference、SpecInfer）加上 FlashAttention 1–3；後 10 題照 Colab 填 TODO 後分析結果：手寫 speculative decoding 的接受率、兩種 prompt regime 下 assistant 模型與 n-gram 的加速曲線、用 T4 規格估 FlashAttention 的 HBM 讀取量與理論加速、vLLM 的 prefix caching 多輪測試與失效實驗，以及 CPU offload 對 throughput 的影響。題目中英雙語全部印在作業 PDF 裡，校外可以完整自學，只是拿不到官方解答。
用 decoder-only Transformer 接龍畫寶可夢｜台大李宏毅 機器學習 作業 4
HW4 把「文字接龍」原封不動搬到圖片上：792 張 20×20 的寶可夢小圖，每個像素是 167 色裡的一個 token，一張圖就是 400 個 token 的序列。訓練時做 next-token prediction，測試時給你前 60%，讓模型畫完剩下的 40%。評分同時看 FID 與寶可夢偵測率（PDR），三級 baseline 的提示從「直接跑範例」「調超參數」一路到「換成 Llama、Mistral 架構」。題目、Colab、Kaggle 與資料集都公開，但 JudgeBoi 在 2026-09-30 回傳 502，校外拿不到 FID、PDR 的官方分數。
不再訓練，把日文模型和數學模型合成一個會解日文數學題的模型｜台大李宏毅 機器學習 作業 7
HW7 給你兩個從 Mistral-7B-v0.1 微調出來的模型：擅長日文的 shisa-gamma-7b-v1 與擅長數學的 WizardMath-7B-V1.1，要你只做參數層級的合併（不准再訓練、不准 MoE 或 ensemble），讓合併後的模型答對助教自出的 20 題日文數學題。Part 1（60%）用 mergekit 調方法、weights 與 density，simple／strong baseline 是正確率 50% 與 75%；Part 2（40%）是 8 題論文選擇題。題目、Colab 與 Kaggle 都公開，但 JudgeBoi 在 2026-09-30 回傳 502、論文題在 NTU COOL 上，校外只能在 notebook 裡自己看正確率。
多花推論算力，投票、Self-Certainty、DeepConf 各換到多少準確率｜台大李宏毅 機器學習 作業 8
HW8 不用寫程式也不用交程式：助教給一份已經寫好的 Colab，用 Llama-3.2-1B-Instruct 在 GSM8K 前 100 題上比較直接推論、Self-Consistency、Self-Certainty 與 DeepConf（Confidence），每種方法各 sample 16 條推理。你讀三篇論文、跑完 notebook，到 NTU COOL 答 20 題：18 題論文題、2 題看 Colab 結果。先備是李宏毅 2025 年第七講 Reasoning。題目中英兩版都印在 hw8.pdf，Colab 可公開下載；只有 COOL 測驗與成績需要台大帳號。
台大李宏毅 ML 2026 導讀：HW9 Flow Matching——從 VAE 走到 MeanFlow，再用一個 Swiss roll 比推論步數｜台大李宏毅 機器學習 主題單元
HW9 共 19 題、10 分，只在 NTU COOL 作答、不交程式。前 16 題讀四篇論文：DDPM、Flow Matching、Rectified Flow、MeanFlow，最後幾題要你橫向比較訓練訊號與少步生成；後 3 題要跑 Colab：在 2D Swiss roll 上訓練兩個小 MLP，一個是學瞬時速度的 Flow Matching（固定用 Euler 50 步評估，Histogram JS ≤ 0.10 才算收斂），一個是學平均速度的 MeanFlow（固定 1 步生成，≤ 0.40），再比較 1 步對 1 步、Euler 不同步數、Euler 與 RK4 在相同步數與相近算力下的差別。作業 PDF 附了一份省略大部分數學的生成模型教學，題目中英雙語全部公開；校外拿不到的只有 COOL 上的評分與解答。
台大李宏毅 ML 2026 導讀：加快生成（下）——KV Cache 省了時間，卻撐爆倉庫，以及各種瘦身法｜台大李宏毅 機器學習 主題單元
KV Cache 把已經算過的 key 和 value 存起來，decode 時就不必重算，但它每個 token 都要佔一份記憶體：以 Gemma 2 27B 為例，一個 token 約 0.72MB，A100 80GB 只夠放約 11.4 萬個 token。李宏毅接著整理了一串瘦身法：讓多個 query 共用 key/value（MQA、GQA）、把 key/value 壓成一個向量又不必解壓（MLA）、只看一段範圍（Sliding Window、StreamingLLM）、把沒人理的 key/value 丟掉（Scissorhands、H2O），最後講跨對話的 prompt caching：只有前綴完全相同才會命中，所以 system prompt 要把穩定的內容放前面。
台大李宏毅 ML 2026 導讀：Positional Embedding——模型怎麼知道順序、怎麼吃超長輸入｜台大李宏毅 機器學習 主題單元
Self-attention 本身看不出「你打我」和「我打你」的差別，所以要另外告訴它位置。李宏毅這一講從 Sinusoidal 絕對位置講到 ALiBi、T5 的相對位置，再到今天 Llama、Qwen、Gemma 都在用的 RoPE。後半段處理「訓練短、測試長」：RoPE 轉到沒看過的角度就會壞，於是有 Position Interpolation、NTK-Aware、YaRN、Dynamic Scaling、LongRoPE 這一串修法。最後一個轉折是 NoPE：decoder-only 的因果注意力本來就帶有位置資訊，甚至可以在訓練後把位置編碼拿掉。
台大李宏毅 ML 2026 導讀：AI 自我成長（上）——由 AI 產生答案、reward 與 loss，人類能放手到哪一步｜台大李宏毅 機器學習 主題單元
李宏毅 5/8 這堂先說清楚：「AI 自我成長」沒有明確定義，它是人類漸漸放手的過程。他把機器學習拆成三步，逐一檢查「我」能不能換成 AI：答案可以由 AI 自我修正後當標準答案，reward shaping 可以交給 LLM 寫，loss 可以讓模型自己訂（打分、多數決、entropy），連題目都能讓 proposer 自己出。但實驗一再顯示，完全不靠人會卡在天花板甚至把自己訓練壞；強 AI 訓練比自己弱的 AI 已經做得到，只是還沒超過人類。結論：2026 年 5 月，AI「還在盧比孔河邊」。
台大李宏毅 ML 2026 導讀：AI 自我成長（下）——改進 harness、改進「改進的方法」，以及會不會失控｜台大李宏毅 機器學習 主題單元
上集講的是 AI 自己訂 loss、自己更新參數；下集把另一半補上：AI Agent = Harness + LLM，harness 也能自己長。harness 沒辦法算 gradient，所以常見做法是拿一個語言模型當改寫器，再用類似基因演算法的 pool 保留多個候選（OPRO、GEPA、Darwin Gödel Machine，現成工具是 DSPy）。接著談三個延伸：harness 與參數一起更新效果更好；目標會變時要在「全部丟掉」和「全部背著」之間取捨，而且改 harness 也會遺忘；更新規則本身也能被更新（HyperAgent、Gödel Agent、SEAL），這就是 meta learning。最後李宏毅換了一個類比：參數是基因、context 才是神經元，然後指出現在的 agent 缺的是內在動機，而最可能讓成長失控的，是人給的目標和 AI 自己解讀出來的目標不一致。
線代／微積分／機率熱身 + Fashion coding｜Berkeley CS189 作業 1
CS189 Spring 2026 HW1 分三塊：10 題書面數學熱身（線性方程組、特徵分解求矩陣冪次極限、SVD、翻轉影像的矩陣、偏微分、遞迴式連鎖律、四題機率含癌症篩檢的 Bayes），加上兩本公開在 Modal 上的 Fashion-MNIST notebook：Part 1 練 pandas／Plotly／K-means／MLP／矩陣做影像增強／tensor 謎題，Part 2 做價格回歸、MAE／MSE／R²、混淆矩陣，最後處理一份被旋轉過的秘密測試集。截止 2/20，沒有官方解答。
從零寫 autograd（BearTensor）、Newton 法、資訊瓶頸｜Berkeley CS189 作業 3
HW3 分兩半：書面四題從 logistic regression 的 Newton 法、座標下降的收斂分析，走到反向傳播／VJP／隱式微分，最後用資訊瓶頸重新看「深度網路在壓縮什麼」；notebook 要你用 NumPy 寫出 BearTensor 計算圖、拓撲排序反向傳播、SGD/Momentum/Adam，再拿它訓練紅酒品質回歸，選做 Muon。題目與 notebook 全部公開，官方解答與 hidden tests 不公開。
ResNet/Transformer 論文題與 CNN、ResNet、Transformer、DNABERT、ConvNeXt 實作｜Berkeley CS189 作業 4
HW4 分三份：書面題帶你用「問題 → 現有做法 → 提案 → 方法 → 貢獻」的順序讀 ResNet 與《Attention Is All You Need》；4.1 notebook 用 PyTorch 寫 CNN、ResNet-18，再從 softmax 一路拼出 encoder-decoder transformer，在 TinyStories 上訓練並生成故事；4.2 notebook 把 DNA 切成 6-mer 餵給預訓練 DNABERT 分物種，把聲音轉成頻譜圖交給 ConvNeXt，比較從零訓練、凍結 backbone、全解凍三種微調。兩個 Kaggle 競賽，5/1 截止。校外讀者拿得到題目，拿不到課程資料包與測試。
（選修）導讀：生物自監督 InfoNCE、diffusion 理論、LLM fine-tuning + Kaggle｜Berkeley CS189 作業 5
HW5 是 Spring 2026 唯一標成選修的作業，5/11 到期，和期末考同一天。書面有三塊：用 scRNA-seq 當背景推 InfoNCE 的梯度與負樣本數的取捨；證明最佳去噪器是條件期望、推到 continuity equation；把 flow matching 的直線路徑推廣成一般插值。Notebook 則是完整的 LLM 微調流程：固定用 Qwen2.5-0.5B-Instruct，把 MMLU machine_learning 轉成 chat 格式，用 TRL 的 SFTTrainer 全參數微調，比較微調前後在 CS189 考題上的準確率，最後對 169 題測試集提交 Kaggle，同時要防 catastrophic forgetting。官方附 hw5-sol.pdf，只涵蓋書面題。
線性回歸、最小平方的幾何、正則化｜Berkeley CS189 第 7–10 堂
CS189 Spring 2026 用四講把線性回歸講成同一件事的三個角度：高斯雜訊下的 MLE 等於最小平方；最小平方的解是把 y 正交投影到 X 的欄空間；特徵共線或參數太多時，用 ridge（等於高斯先驗的 MAP）或 lasso（等於 Laplace 先驗）把解拉回來，λ 則交給驗證集決定。講義、影片、Discussion 3–4 解答都能匿名取得。
分類、生成式分類器、logistic regression、ROC｜Berkeley CS189 第 11–12 堂
CS189 Spring 2026 Lec 11–12 把分類拆成兩條路：生成式先為每一類建 p(x|y)（GDA：共變異數相同得 LDA、線性邊界，不同得 QDA、二次邊界），判別式直接建 p(y|x)（logistic regression：sigmoid、softmax、交叉熵 MLE，沒有封閉解要靠梯度下降）。兩者的橋是：LDA 的後驗一定能寫成 logistic 形式，反過來不成立。評估方面，準確率在類別不平衡時會騙人，ROC／AUC 掃過所有門檻、不看校準，PR 曲線則在意類別比例。
深度、萬能近似、激活函數與反向傳播｜Berkeley CS189 第 17–18 堂
Lec 17 用 XOR 說明為什麼線性模型、甚至多層線性模型都學不會非線性邊界，只要一層 ReLU 就能解；萬能近似定理保證「存在」，但不告訴你怎麼找權重、要多寬。Lec 18 把 chain rule 系統化成計算圖上的反向傳播：多條路徑的梯度相加，成本和參數數量成線性，有限差分則是平方。Discussion 8 讓你親手證明 GD 收斂速率與一維 ReLU 萬能近似。
初始化、BatchNorm、CNN、early stopping 與 double descent｜Berkeley CS189 第 19–20 堂
Lec 19 先收尾反向傳播，接著處理「怎麼讓梯度一直流得動」：全零初始化會讓所有單元學成一樣，要用小的隨機值（ReLU 用 He 初始化）；batch norm 用 mini-batch 的平均與變異數正規化 pre-activation。後半進入 CNN：局部連接加權重共享，讓同一個特徵偵測器掃過整張圖。Lec 20 補完 pooling、receptive field 與 CNN 的訓練，再談 early stopping、dropout，以及和傳統 bias-variance 圖不一樣的 double descent。
Transformers｜Berkeley CS189 第 21–22 堂
Lec 21 先講 CNN 缺什麼：只有頂層看得到整張圖。接著用 TF-IDF、RNN 看圖說話、soft attention 鋪路。Lec 22 從「軟性字典查詢」推出 self-attention：Q、K、V 三個線性層，SoftMax(QKᵀ/√D)V，再加上多頭、MLP、殘差與 LayerNorm，組成 transformer layer。attention 本身不看順序，所以需要位置編碼。Discussion 10 手算一次 QKV，並證明為什麼要除以 √D。
LLM 訓練與應用、自監督學習｜Berkeley CS189 第 23–24 堂
Lec 23 把 transformer 接成一個會預測下一個 token 的模型：切 token、查 embedding、疊 L 層 masked attention，最後乘回 embedding 表做 softmax，用交叉熵（也就是 MLE）訓練。預訓練只給知識，要會聊天還需要 SFT、LoRA、RLHF、DPO；推論時再靠 in-context learning、RAG、chain-of-thought 與工具呼叫。Lec 24 把「自己造一個假的監督任務」推廣到影像：自編碼器、上色、補洞、旋轉、拼圖、聚類，最後到對比學習、SimCLR 與 CLIP。Discussion 11 練位置編碼、RoPE、causal mask 與 KV cache。
蛋白質工程的 AI、agents 與環境，以及完課路線｜Berkeley CS189 第 25–27 堂
最後三講把前面學的東西用在兩個前線。Lec 25 講蛋白質：AlphaFold2 解了「序列→結構」，但工程上真正卡的是「哪條序列有我要的功能」，而設計等於在 20^L 的離散空間裡當模型的對手；講義把條件生成 p(x|y) 收斂成三條統計上正確的路，最後都回到 Bayes rule。Lec 26 是線上 guest lecture，沒有公開教材。Lec 27 先定義 agent（LLM 在迴圈裡用工具、自己決定下一步），再說「資料被環境取代」：環境 = Docker + 任務 + verifier，拿來做 SFT、RL（RLVR、GRPO）或不動權重的 GEPA。期末自評用 Fall 2025 與 Spring 2025 期末考加解答，Spring 2026 期末沒有公開。
Classical and Motion Planning，從 robot-cook PDDL 到 RRT* 再到 LP 圖解｜CMU 07-380 作業 2
07-380 HW2 分三塊：程式作業先寫煎餅機器人的 PDDL，交給 unified-planning＋Fast Downward 求最優計畫，再在 rrt.py 實作 RRT 與 RRT*（Q2–Q7）；書面作業考 GraphPlan、一題 LP 建模與兩題 LP 圖解；另有只限校內的 Gradescope 線上題。本文只講題目結構、需要的概念與本機 autograder 怎麼跑，不附解答。
Classical Planning，PDDL、狀態空間搜尋與 relaxation heuristic｜CMU 07-380 第 3 堂
07-380 Lec3 把命題邏輯的 successor-state axioms 換成 STRIPS 的 pre/add/del 三個集合，規劃就變回狀態空間搜尋；搜尋太大時，GraphPlan 允許動作同時發生、事實只增不減，delete relaxation 再把刪除效果整個拿掉，換來 FF 與 Fast Downward 使用的 heuristic。
Motion Planning，RRT 在連續空間用取樣找路｜CMU 07-380 第 4 堂
07-380 Lec4 後半把規劃搬到連續的 configuration space：狀態沒辦法枚舉，RRT 就隨機取樣、從樹上最近的節點往樣本延伸一小段，並檢查整段不碰撞。RRT 是 probabilistically complete 但不最優；RRT* 用樹上的路徑成本幫新節點選父節點、再重接鄰居，讓路徑隨樣本增加收斂到最優。
Linear Programming，為什麼最優解落在可行域的頂點｜CMU 07-380 第 5 堂
07-380 Lec5 用 Diet Problem 把一段文字題寫成 min cᵀx s.t. Ax ⪯ b，再畫成圖：每條限制是一個半平面，cost 是一個方向，等成本線垂直於 c。沿著 −c 推到最後一刻碰到可行域的地方，一定包含某個頂點，所以演算法只要看限制邊界的交點：頂點枚舉全部檢查，simplex 從一個頂點貪心走到鄰居。
Integer Programming，先鬆弛成 LP 再用 branch and bound 分支｜CMU 07-380 第 6 堂
07-380 Lec6 在 LP 上多加一條 x ∈ ℤᴺ，頂點解就可能不是整數，而且在 LP 解附近找整數點也不保證對。解法是先把整數限制拿掉（relaxation），用 LP 算出下界，再對某個非整數座標分成 xᵢ ≤ floor 與 xᵢ ≥ ceil 兩支，全部丟進依 LP 目標值排序的 priority queue；第一個被取出的整數解就是最優解。
Low Rank Optimization，PCA 的重建誤差、投影變異數與 LoRA｜CMU 07-380 第 7 堂
07-380 Lec7 把 PCA 放進「低秩最佳化」的框架：找一個 rank 不超過 r 的矩陣去逼近原資料。對單位向量 v，每個點的重建誤差等於 ‖x‖² 減去投影長度的平方，所以最小化重建誤差和最大化投影變異數是同一個問題；用 Lagrange 乘數解出來，答案是共變異數矩陣的特徵向量，也可以直接從 SVD 的 V 讀出。課站把 LoRA 論文列為延伸閱讀，它的 ΔW = BA 就是同一個低秩想法用在權重更新上。
Bayes Nets 用圖把聯合分佈拆成條件機率表｜CMU 07-380 第 10 堂
07-380 Lec10 的投影片目前還沒上課站，本文只依 PR6 Bayes Nets 預讀筆記與 15-281 Bayes Net Demo：聯合分佈能回答任何 query，但沒人給你、也大到存不下；Bayes net 把它寫成「每個節點給定父節點」的條件機率表乘積，少畫的邊就是獨立性假設。
從確定性推理與優化轉進不確定性｜CMU 07-380 主題單元
07-380 前十講依課站 Schedule 分成 Reasoning Under Certainty、Optimization、Reasoning Under Uncertainty 三段：先用邏輯證明、用搜尋規劃，再把問題寫成有限制的目標函數，最後在 MAP 讓先驗進場、轉向機率模型。HW1 檢查邏輯＋搜尋、HW2 檢查規劃＋LP 圖解、HW3 檢查求解器實作＋PCA 與 MAP 推導。
用官方 checklist 盤點 HW0–HW3｜Harvard CS181 主題單元
CS181 Spring 2026 期中考在 3/10 課堂上進行，佔總成績 15%，閉卷但可帶一張雙面筆記。官方 midterm checklist 分成迴歸、分類、神經網路與模型選擇、SVM 四塊；本篇把每塊對回 HW0–HW3 的題號，標出 2026 作業沒練到的缺口，並說明 2025 版 practice、review 與 concept checks 怎麼用。
一門課兩個官方版本——想修完走 2024 OCW，要最新內容讀 2025 投影片｜MIT 6.7960 課程總覽
[MIT 6.7960 Deep Learning](https://deeplearning6-7960.github.io/) 有兩個公開程度截然不同的官方版本：Fall 2025 課站 21 講投影片全公開但 psets 在 Gradescope、解答與錄影鎖在 Canvas（A2）；[MIT OCW 的 Fall 2024 版](https://ocw.mit.edu/courses/6-7960-deep-learning-fall-2024/)連影片、五份作業題目與起始檔都開放（接近 A3）。兩版綱要重疊約六成，講師從 Isola／Bernstein 換成 Kaiming He／Omar Khattab，不能拿舊影片硬配新講義。本文給出按目的分流的兩條自學路線。
導論：從感知器到深度網路｜CMU 11-785 第 1 堂
Spring 2026 Lecture 1 聚焦神經元、感知器、連結主義與深度學習問題設定；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
神經網路作為通用近似器｜CMU 11-785 第 2 堂
Spring 2026 Lecture 2 聚焦布林函數、網路深度與寬度對表示能力的影響（含多輸入 XOR 的例子），並在結尾銜接到下一講的訓練問題；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練一：學習與經驗風險最小化｜CMU 11-785 第 3 堂
Spring 2026 Lecture 3 聚焦學習問題的設定（輸入與輸出如何表示成數字）、perceptron 學習規則及其不適用於多層網路、可微分的 divergence，以及經驗風險最小化（loss）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練二：梯度下降｜CMU 11-785 第 4 堂
Spring 2026 Lecture 4 聚焦導數與梯度的定義、極值與二階導數、沿負梯度反覆更新的梯度下降，以及訓練前要先定義的網路、輸入輸出表示與 divergence；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練三：反向傳播｜CMU 11-785 第 5 堂
Spring 2026 Lecture 5 聚焦分層網路的符號、前向傳遞、chain rule 與 Jacobian（含向量激活函數），以及反向傳遞如何逐層算出權重與偏置的導數；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練四：收斂、損失曲面與動量｜CMU 11-785 第 6 堂
Spring 2026 Lecture 6 聚焦梯度下降的收斂（凸函數與二次函數上的步長選擇、各維度差異）、局部極小與鞍點、遞減或自適應的 learning rate、R-prop，以及 momentum 與 Nesterov 加速梯度；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練五：SGD、batch size 與二階方法｜CMU 11-785 第 7 堂
Spring 2026 Lecture 7 聚焦SGD 與 mini-batch 的增量更新，以及 RMSprop、momentum 等趨勢式更新（二階方法只在投影片，錄影未講）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練六：最佳化器與正則化｜CMU 11-785 第 8 堂
Spring 2026 Lecture 8 聚焦divergence（loss）的選擇、BatchNorm、dropout 與其他正則化手法，以及 early stopping 等訓練技巧（AdaGrad、Adam 不在這支錄影中）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
卷積神經網路一｜CMU 11-785 第 9 堂
Spring 2026 Lecture 9 聚焦為什麼要掃描輸入、把掃描分散到多層、以 max pooling 處理形變，以及 CNN／time delay neural network 的結構；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
卷積神經網路二｜CMU 11-785 第 10 堂
Spring 2026 Lecture 10 聚焦CNN 的來源（Hubel 與 Wiesel、Fukushima 的 Neocognitron）、卷積層與池化層的運算，以及 filter 大小／stride／通道數等設計選擇；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
卷積神經網路三｜CMU 11-785 第 11 堂
Spring 2026 Lecture 11 聚焦CNN 的回顧，以及卷積層與池化層的反向傳播；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
卷積神經網路四｜CMU 11-785 第 12 堂
Spring 2026 Lecture 12 聚焦補充的反向傳播規則（stride、上採樣與下採樣）、對平移以外變換的不變性，以及 CNN 簡史與主要架構的快速介紹；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
循環神經網路一｜CMU 11-785 第 13 堂
Spring 2026 Lecture 13 聚焦序列建模的動機、狀態與記憶、Jordan／Elman 類循環網路、沿時間的反向傳播，以及雙向網路；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
循環神經網路二｜CMU 11-785 第 14 堂
Spring 2026 Lecture 14 聚焦時間反向傳播、梯度穩定性與 LSTM 類 gated memory；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Seq2Seq 與 CTC｜CMU 11-785 第 15 堂
Spring 2026 Lecture 15 聚焦序列模型訓練時的對齊問題（以明確對齊、重新估計對齊來訓練的做法與其容易落入局部最佳的風險）；CTC 只在結尾被引出，細節留到下一講；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CTC blank 與 beam search｜CMU 11-785 第 16 堂
Spring 2026 Lecture 16 聚焦blank 符號與相鄰重複符號的合併規則、CTC 的 forward（alpha）機率計算，以及剪枝式的近似解碼（beam 僅在結尾簡短說明）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
語言模型與翻譯｜CMU 11-785 第 17 堂
Spring 2026 Lecture 17 聚焦逐字預測下一個詞的語言模型、條件式翻譯模型，以及 beam search 解碼；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Attention 與 Transformer｜CMU 11-785 第 18 堂
Spring 2026 Lecture 18 聚焦seq2seq 的 attention 機制（query、key、value 與 softmax 加權平均）、multi-head 的提及，以及對 Transformer 的簡述；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Transformer 與後續架構｜CMU 11-785 第 19 堂
Spring 2026 Lecture 19 聚焦encoder／decoder 結構、mask、residual path 與架構變體；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
大型語言模型｜CMU 11-785 第 20 堂
Spring 2026 Lecture 20 聚焦規模化自回歸模型、預訓練與 scaling law，以及後訓練（包含讓模型取樣自己的答案並依回饋改進）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
表示學習與 autoencoder｜CMU 11-785 第 21 堂
Spring 2026 Lecture 21 聚焦神經網路到底表示什麼、重建目標（自編碼器），以及它與 PCA（降維）的關係；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
變分自編碼器｜CMU 11-785 第 22 堂
Spring 2026 Lecture 22 聚焦latent variable、ELBO、KL 項與 reparameterization trick；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
擴散模型｜CMU 11-785 第 23 堂
Spring 2026 Lecture 23 聚焦forward noising、reverse denoising、score／noise prediction 與採樣；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
生成對抗網路｜CMU 11-785 第 24 堂
Spring 2026 Lecture 24 聚焦generator、discriminator、minimax objective 與訓練不穩定；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
圖神經網路｜CMU 11-785 第 25 堂
Spring 2026 Lecture 25 聚焦message passing、aggregation、node representation 與 permutation symmetry；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
強化學習｜CMU 11-785 第 26 堂
Spring 2026 Lecture 26 聚焦state、action、reward、return、value 與 policy learning；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Hopfield 網路｜CMU 11-785 第 27 堂
Spring 2026 Lecture 27 聚焦聯想記憶、能量函數、固定點與 pattern retrieval；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Boltzmann machine｜CMU 11-785 第 28 堂
Spring 2026 Lecture 28 聚焦能量式機率模型（Gibbs 分布與歸一化常數 Z）、隨機（機率式）神經元，以及如何訓練這類機率網路；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
從神經網路基礎到序列模型的學習路線｜CMU 11-785 課程總覽
CMU 11-785 Spring 2026 的 28 講內容都有官方 slides 與 YouTube，另有大量公開 bootcamp／recitation；但 HW1–4 的核心規格、starter 與評測依賴 Autolab、Piazza 和 Kaggle。
用九份作業學完整機器學習｜CMU 10-301 課程總覽
Spring 2026 的 10-301／601 公開 27 講教材與九份作業包；校外讀者能完成主要實作，但拿不到 Panopto、Piazza、Gradescope 與正式作業解答。
CMU AI 核心改制：15-281＋10-315 到 07-280＋07-380，不只是換課號
CMU 在 2026 年把原本分開的廣義 AI 與 SCS 機器學習入口，重新整合成 07-280 → 07-380；這是內容與先修路線的重切，不是兩門課逐一改名。
Pacman AI project 血統：Berkeley CS188 與 CMU 15-281 怎麼重組同一套教材
CMU 15-281 的 Search and Games 明確標示源自 Berkeley Pacman AI projects；官方課站另列一份零分 P0 tutorial，以及 P1–P5 五份 programming assignments。