L2 給了分數函式和 loss，L3 回答「怎麼找到好的 W」。前半講正則化：在 data loss 旁邊加 λR(W)，讓模型不要把訓練資料背得太好。後半是一條最佳化器的演進線：SGD 在窄長山谷裡會來回震盪，Momentum 累積速度，RMSProp 依每個維度調步伐，Adam 把兩者合起來再做偏差修正，AdamW 把 weight decay 移到動量計算之外。投影片最後的實務建議是：多數情況先用 Adam(W)，SGD+Momentum 可能更好，但要花更多力氣調學習率與排程。
技法 T16 把整門課重新分類成三類技巧：怎麼利用特徵（kernel、aggregation、extraction、低維壓縮）、怎麼最佳化（梯度、等價問題、拆成多步）、怎麼防過擬合（正則化、驗證），最後用四屆 KDD Cup 冠軍模型說明這些技巧在實務上怎麼組合。MOOC 錄於 2016 年，深度學習只講到 pre-training；Fall 2024 校內課用 302u（ReLU 家族、Xavier／He 初始化）、303u（momentum、RMSProp、Adam）、一場 2020 年的演講投影片 mlmai.ics 與 11 個模型的 1126 總整理補上。Fall 2026 同一批投影片排在 W16，目前還是 404。
基石 L11 把 PLA、線性迴歸、邏輯迴歸放在同一個分數 s = wᵀx 上比較：三者只差在誤差函數，而 scaled cross-entropy 是 0/1 誤差的上界，所以兩種迴歸都能拿來做分類。接著用「隨機挑一筆算梯度」把邏輯迴歸變成 SGD，並用 OVA、OVO 把二元分類器組成多類別分類器。L12 用特徵轉換 Φ 把圓形邊界變成 Z 空間裡的直線，代價是計算量與 d_vc 都跟著維度變大，所以結論是「先試線性模型」。練習題在 Fall 2024 HW4。
技法第 1 講把「哪條分隔線最好」寫成最佳化問題：在 min yₙ(wᵀxₙ+b)=1 的縮放下，最大 margin 等於最小化 ½wᵀw，這是一個標準 QP。第 2 講用拉格朗日對偶把 d̃+1 個變數的 QP 換成 N 個變數、N+1 個限制的 QP，再用 KKT 條件從 α 解回 (b, w)：只有 αₙ>0 的點，也就是支援向量，會影響答案。對偶問題還留著 zₙᵀzₘ 這個內積，所以要等下一講的 kernel 才算真正擺脫維度。
HW3 分兩半：書面四題從 logistic regression 的 Newton 法、座標下降的收斂分析，走到反向傳播／VJP／隱式微分，最後用資訊瓶頸重新看「深度網路在壓縮什麼」；notebook 要你用 NumPy 寫出 BearTensor 計算圖、拓撲排序反向傳播、SGD/Momentum/Adam，再拿它訓練紅酒品質回歸，選做 Muon。題目與 notebook 全部公開，官方解答與 hidden tests 不公開。
CS189 Spring 2026 用兩講處理梯度下降。Lec 13 從 Hessian 的特徵值推出學習率上限和條件數，再一路講到 momentum、學習率排程、AdaGrad／RMSProp／Adam 與 mini-batch SGD。Lec 15 由 Dimakis 用一個小資料表手算梯度重走一遍。兩份講義、錄影、Lec 13 的手寫稿，以及 Discussion 6、7（附解答）都能匿名取得。
HW3 分三塊：程式作業要你用頂點枚舉寫出 LP 求解器，再在上面疊 branch and bound 解整數規劃，外加三題文字建模；書面四題分別是整數規劃手算、Amazon 送貨路線的倫理、PCA 的 SVD 計算，以及證明 Laplace 先驗等價 L1。截止日是 10/1，本文只講結構和需要的概念，不給解答。
07-380 Lec5 用 Diet Problem 把一段文字題寫成 min cᵀx s.t. Ax ⪯ b，再畫成圖：每條限制是一個半平面，cost 是一個方向，等成本線垂直於 c。沿著 −c 推到最後一刻碰到可行域的地方，一定包含某個頂點，所以演算法只要看限制邊界的交點：頂點枚舉全部檢查，simplex 從一個頂點貪心走到鄰居。
07-380 Lec6 在 LP 上多加一條 x ∈ ℤᴺ，頂點解就可能不是整數，而且在 LP 解附近找整數點也不保證對。解法是先把整數限制拿掉（relaxation），用 LP 算出下界，再對某個非整數座標分成 xᵢ ≤ floor 與 xᵢ ≥ ceil 兩支，全部丟進依 LP 目標值排序的 priority queue；第一個被取出的整數解就是最優解。
07-380 前十講依課站 Schedule 分成 Reasoning Under Certainty、Optimization、Reasoning Under Uncertainty 三段：先用邏輯證明、用搜尋規劃，再把問題寫成有限制的目標函數，最後在 MAP 讓先驗進場、轉向機率模型。HW1 檢查邏輯＋搜尋、HW2 檢查規劃＋LP 圖解、HW3 檢查求解器實作＋PCA 與 MAP 推導。
從 SGD 到 Adam，用縮放規則一次搞懂深度學習優化器怎麼選、學習率怎麼調
Week 3 探討優化問題：爬山算法、模擬退火逃離局部最優、CSP 框架與 AC-3 弧一致性、回溯搜尋，專案 Crossword 實作填字遊戲生成器。
綜論第一篇：梳理七週主題如何從符號搜尋一路延伸到語言模型，揭示古典 AI 到現代 ML 的知識脈絡與設計哲學。
優化不是孤立的數值問題：用譜視角看 SGD，權重更新的『量』決定特徵學習；Maximal Update Parameterization 讓學習率與初始化跨寬度遷移，critical batch size 決定算力換取收斂的邊際。
模型透過 loss 知道自己錯多少，透過梯度知道往哪邊調。梯度下降就是反覆做三件事：算 loss、算梯度、調參數。Learning rate 決定每步調多大——太大會跳過最佳解，太小訓練到天荒地老。
Lecture 8 從一維 parabola 推到 vector gradient，再比較 batch GD、SGD 與 mini-batch；learning rate 決定更新是收斂、震盪或發散。
第十一講從 MiniCPM、DeepSeek、Qwen 與 Llama 3 的公開 recipe 拆解 scaling 實務：先固定大多數架構比例，再用小規模 sweep 找 learning rate、batch 與 IsoFLOPs 配置；μP 有用，但會被 normalization、optimizer 與 weight decay 破壞。
第六章把分類信心形式化為幾何間隔，再用拉格朗日對偶、kernel 與 SMO 建出可實作的 SVM。
HW4 把機率解釋、cross-entropy 梯度與程式實作綁在一起，驗收的是一條可追蹤的訓練流程。
CS107 第 24 講用矩陣乘法與 Callgrind 建立量測流程，再拆解 GCC 的 constant folding、共同子運算式消除、dead-code elimination、strength reduction、code motion 與遞迴轉迴圈；最佳化從瓶頸證據開始。
自動 prompt 優化（APO）從 APE/OPRO 演進到 GEPA：用語言反思取代稀疏 reward，少 4–35 倍 rollouts 贏過 GRPO 約 6pp。另一邊，tool description 是被忽略的 prompt——小改措辭能讓工具選用率變 10 倍，Anthropic 實測讓 Claude 自我改寫 tool description 勝過人類專家手寫。兩條線正在合流：eval-driven 的自動優化吃掉手工調 prompt。