CMU 07-280 全課總結：學會什麼、缺什麼，以及下一門怎麼選
完成 07-280 不等於看完 24 篇導讀；至少要留下搜尋器、監督式模型、CNN／GPT-2 實驗與一個 RL＋MCTS 小系統，再依缺口選 07-380、10-301 或專題課。
#cmu
73 篇文章CMU 07-280 完整課程導讀：搜尋、GPT-2、AlphaZero 為什麼在同一門課？
07-280 是 CMU Spring 2026 首開的 AI＋ML 核心：24 講、12 個作業編號，從 heuristic search、CSP 與機器學習一路做到 AlexNet、GPT-2、AlphaZero。教材足以自學，但沒有完整公開錄影、Canvas checkpoint 或 Gradescope 回饋。
CMU 07-280 Lecture 1 導讀：AI、機器學習與表示學習的共同問題
Lecture 1 用 alien autoencoder、AI／ML 範圍與 AI 發展史建立全課座標：智慧系統不是模型清單，而是在不確定下把輸入表示成可計算決策。
CMU 07-280 Lecture 2 導讀：從 UCS、Greedy 到 A* 的 heuristic search
Lecture 2 把搜尋拆成 problem、frontier 與 priority：UCS 看已付成本，Greedy 看估計剩餘成本，A* 用 `f=g+h` 合併兩者；tree 與 graph search 的最優條件並不相同。
CMU 07-280 Lecture 3 導讀：Minimax、Alpha-Beta 與 Expectimax
Lecture 3 把單一路徑改成 contingent plan：minimax 對抗最佳對手，alpha-beta 在不改 root value 下跳過無關分支，expectimax 則用機率取代最壞情況。
CMU 07-280 Lecture 4 導讀：CSP、AC-3 與搜尋順序
Lecture 4 利用 variables、domains、constraints 暴露問題結構，再把 DFS 升級成 backtracking、forward checking、AC-3、MRV 與 LCV；重點是更早證明某些選擇不可能成功。
CMU 07-280 Lecture 5 導讀：用 Loss、Risk 與 ERM 定義機器學習
Lecture 5 把機器學習寫成 `X → Y`、loss、risk 與 empirical risk minimization：訓練集只能提供平均已知損失，真正目標仍是未知分布上的 generalization。
CMU 07-280 Lecture 6 導讀：Decision Trees 如何用 Mutual Information 分裂資料
Lecture 6 從 decision stump 遞迴建樹，用 entropy 衡量 label uncertainty，再以 `I(Y;W)=H(Y)-H(Y|W)`選擇分裂；這是計算可行的 greedy ERM，不是全域最佳樹保證。
CMU 07-280 Lecture 7 導讀：Linear Regression 與 Normal Equation
Lecture 7 把 ERM 套到 linear functions 與 squared loss，從一維 slope 推到矩陣形式 `argmin ||y-Xθ||²`，再在 `XᵀX` 可逆時得到 normal equation。
CMU 07-280 Lecture 8 導讀：Gradient Descent、SGD 與 Learning Rate
Lecture 8 從一維 parabola 推到 vector gradient，再比較 batch GD、SGD 與 mini-batch；learning rate 決定更新是收斂、震盪或發散。
CMU 07-280 Lecture 9：Logistic Regression 如何把分類改寫成機率估計
Lecture 9 不直接預測 0 或 1，而以 sigmoid 建模 P(y=1|x)，再用 cross-entropy 與凸最佳化學出參數；多類別版本自然延伸成 softmax regression。
CMU 07-280 Lecture 10：Feature Engineering 與 Regularization 如何交換表達力和穩定性
Lecture 10 先用 φ(x) 讓線性模型表達非線性，再以 train/validation/test 分工、L1/L2 regularization 與 model selection 限制新增自由度造成的過度擬合。
CMU 07-280 Lecture 11：從 Logistic Regression 組出第一個 Neural Network
Lecture 11 把單一 logistic neuron 擴成多層網路：linear layer 產生 z、activation 產生 a，多個 neuron 共同學出 feature transform，再以 loss 和 gradient descent 訓練權重。
CMU 07-280 Lecture 12：Backpropagation 如何重用 Chain Rule
Lecture 12 把神經網路視為 computation graph：forward pass 保存中間量，backward pass 從 loss 開始傳遞 upstream gradient，並用線性層、activation 與 softmax 的局部規則一次算出全部參數梯度。
CMU 07-280 Lecture 13：AI Alignment 從 Reward Hacking 走到可稽核的 AI Scientist
Lecture 13 把 alignment 拆成目標規格、distribution shift、監督與修正能力，並用 autonomous AI scientists 的 benchmark selection、data leakage 與 post-hoc selection 實驗說明：只看最終論文不足以稽核整個研究流程。
CMU 07-280 Lecture 14：CNN 如何把影像的空間結構寫進模型
Lecture 14 以 local connectivity 與 parameter sharing 取代全連接影像模型，從 convolution、stride、padding、pooling 走到 AlexNet、GPU data parallelism、ResNet skip connection 與 BatchNorm。
CMU 07-280 Lecture 15：Pre-training、Transfer Learning 與 Fine-tuning 的分工
Lecture 15 將 pretrained model 拆成 representation g 與 task head h：可以凍結 g 只訓練 head，也能用較小 learning rate fine-tune 部分或全部參數；選擇取決於資料量與 source-target 差距。
CMU 07-280 Lecture 16：Maximum Likelihood 如何統一 Logistic 與 Linear Regression
Lecture 16 從 likelihood p(D|θ) 出發，以 i.i.d. 將聯合機率寫成乘積，再用 log 變成和；Bernoulli MLE 得到樣本比例，conditional Bernoulli 得到 logistic cross-entropy，Gaussian noise 則得到 squared error。
CMU 07-280 Lecture 17：從 Tokenization 到 N-gram Language Model
第 17 講先決定文字如何切成 token，再用 N-gram 把序列機率改寫成可從 corpus 計數的條件機率；tokenization 不是前處理小事，而是模型能看見什麼的第一個設計決定。
CMU 07-280 Lecture 18：N-gram 如何訓練、取樣與失敗
第 18 講把 chain rule 截成 N-gram Markov assumption，以 corpus counts 做 MLE，再比較 greedy、categorical sampling 與 temperature；真正的瓶頸是未見 context 的零機率與固定視窗。
CMU 07-280 Lecture 19：Word Embedding 如何把下一詞預測變成幾何
第 19 講以兩個 embedding matrices、dot-product similarity、softmax 與 cross-entropy 建立最小 next-token model，讓相似 context 透過共享向量參數取代 N-gram 的獨立計數格。
CMU 07-280 Lecture 20：從 Position Encoding 推到 Causal Self-Attention
第 20 講先把單 token embedding 擴成 sequence，以 positional encoding 補順序，再推導 Q/K/V scaled dot-product attention、causal mask 與 multi-head blocks，最後接到 GPT-2。
CMU 07-280 Lecture 21：Bellman Equation 如何解 Markov Decision Process
第 21 講把隨機序列決策寫成已知 dynamics 的 MDP，以 Bellman backup 定義 value 與 Q-value，再用 value iteration 或 policy iteration 求最佳 policy。
CMU 07-280 Lecture 22：不知道 Dynamics 時如何做 Q-learning
第 22 講保留 MDP 骨架，拿掉已知 transition 與 reward 的假設；TD learning 用一步 sample 更新 value，Q-learning 再以 off-policy target 直接學最佳 action values。
CMU 07-280 Lecture 23：從 Approximate Q-learning 到 DQN
第 23 講以 Qθ(s,a) 取代巨大 Q-table：先用 features 線性近似並由 squared TD error 推導 gradient update，再以 replay data 與固定 target network 形成 DQN。
CMU 07-280 Lecture 24：Monte Carlo Tree Search 如何接上 AlphaZero
Spring 2026 Lecture 24 是 MCTS，不是 Fall 2026 的 LLM post-training；本講以 selection、expansion、rollout、backup 與 UCB 分配模擬，再由 policy/value heads 與 self-play 接到 AlphaZero。
CMU 07-280 階段複習一：從搜尋問題走到監督式學習
第一階段把 Lectures 1–12 串成同一條決策鏈：先定義狀態、動作與目標，再用 heuristic、loss、regularization 與 backpropagation 控制龐大搜尋空間。
CMU 07-280 階段複習二：用 AlexNet 與 GPT-2 把模型真正組起來
第二階段不把 CNN 與 Transformer 當兩份架構圖背誦，而是透過 HW8 與 HW11 檢查表示、計算圖、訓練、遷移與生成是否真的接得起來。
CMU 07-280 階段複習三：從 MDP、Q-learning 到 AlphaZero
第三階段把 value、policy、bootstrapping、function approximation 與 MCTS 接成 AlphaZero：network 提供先驗與估值，search 改善決策，self-play 再產生下一輪資料。
CMU 11-785 Lecture 1：導論：從感知器到深度網路
Spring 2026 Lecture 1 聚焦神經元、感知器、連結主義與深度學習問題設定；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 2：神經網路作為通用近似器
Spring 2026 Lecture 2 聚焦布林電路、網路寬度與深度，以及表示能力不等於可訓練性；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 3：訓練一：學習與經驗風險最小化
Spring 2026 Lecture 3 聚焦資料分布、假設、損失、經驗風險與泛化之間的角色；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 4：訓練二：梯度下降
Spring 2026 Lecture 4 聚焦梯度、學習率、參數更新與線性神經元的訓練；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 5：訓練三：反向傳播
Spring 2026 Lecture 5 聚焦計算圖、chain rule、局部導數與梯度重用；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 6：訓練四：收斂、損失曲面與動量
Spring 2026 Lecture 6 聚焦非凸損失曲面、曲率、鞍點與 momentum 的累積方向；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 7：訓練五：SGD、batch size 與二階方法
Spring 2026 Lecture 7 聚焦full batch、mini-batch、隨機梯度與二階資訊的成本取捨；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 8：訓練六：最佳化器與正則化
Spring 2026 Lecture 8 聚焦AdaGrad、Adam、正則化、BatchNorm、Dropout 與 loss 選擇；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 9：卷積神經網路一
Spring 2026 Lecture 9 聚焦局部連接、權重共享、卷積核與特徵圖；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 10：卷積神經網路二
Spring 2026 Lecture 10 聚焦stride、padding、receptive field 與多通道卷積；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 11：卷積神經網路三
Spring 2026 Lecture 11 聚焦卷積架構堆疊、特徵階層與設計取捨；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 12：卷積神經網路四
Spring 2026 Lecture 12 聚焦CNN 訓練、架構選擇與視覺模型的整體串接；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 13：循環神經網路一
Spring 2026 Lecture 13 聚焦序列狀態、時間展開、參數共享與 recurrent computation；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 14：循環神經網路二
Spring 2026 Lecture 14 聚焦時間反向傳播、梯度穩定性與 LSTM 類 gated memory；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 15：Seq2Seq 與 CTC
Spring 2026 Lecture 15 聚焦可變長輸入輸出、對齊未知問題與 CTC 目標；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 16：CTC blank 與 beam search
Spring 2026 Lecture 16 聚焦blank、collapse 規則、前綴機率與近似解碼；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 17：語言模型與翻譯
Spring 2026 Lecture 17 聚焦自回歸機率分解、條件語言模型與翻譯解碼；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 18：Attention 與 Transformer
Spring 2026 Lecture 18 聚焦query、key、value、scaled dot-product attention 與 Transformer block；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 19：Transformer 與後續架構
Spring 2026 Lecture 19 聚焦encoder／decoder 結構、mask、residual path 與架構變體；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 20：大型語言模型
Spring 2026 Lecture 20 聚焦規模化自回歸模型、訓練階段、推論與能力邊界；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 21：表示學習與 autoencoder
Spring 2026 Lecture 21 聚焦瓶頸表示、重建目標、降維與表示品質；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 22：變分自編碼器
Spring 2026 Lecture 22 聚焦latent variable、ELBO、KL 項與 reparameterization trick；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 23：擴散模型
Spring 2026 Lecture 23 聚焦forward noising、reverse denoising、score／noise prediction 與採樣；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 24：生成對抗網路
Spring 2026 Lecture 24 聚焦generator、discriminator、minimax objective 與訓練不穩定；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 25：圖神經網路
Spring 2026 Lecture 25 聚焦message passing、aggregation、node representation 與 permutation symmetry；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 26：強化學習
Spring 2026 Lecture 26 聚焦state、action、reward、return、value 與 policy learning；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 27：Hopfield 網路
Spring 2026 Lecture 27 聚焦聯想記憶、能量函數、固定點與 pattern retrieval；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 Lecture 28：Boltzmann machine
Spring 2026 Lecture 28 聚焦能量式機率模型、隨機單元、partition function 與學習困難；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CMU 11-785 深度學習完整課程導讀：28 講能看，作業鏈卻不完整公開
CMU 11-785 Spring 2026 的 28 講內容都有官方 slides 與 YouTube，另有大量公開 bootcamp／recitation；但 HW1–4 的核心規格、starter 與評測依賴 Autolab、Piazza 和 Kaggle。
CMU 07-380 Fall 2026 總覽：首開 26 講從邏輯與規劃到擴散模型，HW 與 Project 尚未全開放
07-380 Fall 2026 是 CMU AI 新制第二門首開，26 講涵蓋邏輯、規劃、優化、機率圖、生成式與系統，Lec01 與 Prop Logic 已公開；HW1-7、Quiz×6 與 Final Project 多數尚未釋出，本文以 A2→A3 過渡版對照 07-280 的銜接與校外自學邊界。
CMU 10-301 HW1：先用數學與 Python 找出機器學習地基缺口
HW1 是 written＋programming 作業：用機率、微積分、線代與 CS 題組檢查地基，再實作 majority-vote classifier。
CMU 10-301 HW2：從資訊量手算到完整 Decision Tree
HW2 要先用 entropy 與 mutual information 手算切分，再完成建樹、預測與評估的端到端分類器。
CMU 10-301 HW3：比較 K-NN、Perceptron 與 Linear Regression
HW3 是純 written 作業，以 decision tree 回顧，再比較 K-NN、Perceptron 與 Linear Regression 的 inductive bias、誤差與 model selection。
CMU 10-301 HW4：把 Logistic Regression 從 likelihood 寫成分類器
HW4 把機率解釋、cross-entropy 梯度與程式實作綁在一起，驗收的是一條可追蹤的訓練流程。
CMU 10-301 HW5：用 NumPy 拆開 Neural Network 與 Backpropagation
HW5 的價值在於不靠自動微分，親手追蹤 forward shapes、cache 與 backward gradients。
CMU 10-301 HW6：Learning Theory、MLE／MAP 與公平指標
HW6 把 generalization、MLE/MAP、probabilistic learning、公平指標與社會影響放在同一份 written 作業，逼你說清楚假設與取捨。
CMU 10-301 HW7：從基礎神經網路走到 Deep Learning
HW7 在 HW5 的 backpropagation 地基上加入深度模型的架構與訓練問題，重點是診斷而非只把網路加深。
CMU 10-301 HW8：從 MDP 到 Reinforcement Learning 更新規則
HW8 把 state、action、reward、transition 與 value update 接起來，驗收你能否區分環境動態、policy 與估計誤差。
CMU 10-301 HW9：用 Ensembles、k-Means、PCA 與推薦系統收束全課
最後一份 written 作業把 ensemble、clustering、representation 與 recommendation 並列，驗收你能否按問題結構選學習典範。
CMU 10-301／601 Spring 2026：用九份作業學完整機器學習
Spring 2026 的 10-301／601 公開 27 講教材與九份作業包；校外讀者能完成主要實作，但拿不到 Panopto、Piazza、Gradescope 與正式作業解答。
CMU AI 核心改制：15-281＋10-315 到 07-280＋07-380，不只是換課號
CMU 在 2026 年把原本分開的廣義 AI 與 SCS 機器學習入口，重新整合成 07-280 → 07-380；這是內容與先修路線的重切，不是兩門課逐一改名。
Pacman AI project 血統：Berkeley CS188 與 CMU 15-281 怎麼重組同一套教材
CMU 15-281 的 Search and Games 明確標示源自 Berkeley Pacman AI projects；官方課站另列一份零分 P0 tutorial，以及 P1–P5 五份 programming assignments。
CMU 的 AI 學位：全美第一個 AI 學士，把「AI 該學什麼」寫成了畢業要求
Stanford 沒有 AI 學位，AI 是 CS 底下的一條 track；CMU 2018 年開出全美第一個 B.S. in Artificial Intelligence，把 AI 拆成四個 cluster 並強制各修一門，還把倫理課列進畢業要求。碩士這條線則是 MSAII——不在 CS 系，在語言技術研究所，195 學分裡有 84 分是創業流程，最後要交一個能拿去募資的 capstone。查證時發現兩處官方頁面自己打架：AI Core 是 2 門還 3 門、總學分是 192 還 195。
CMU AI／ML 課程導讀：07-280 新主幹與校外可走的公開路線
CMU 現行 BSAI 已改成 07-280 → 07-380，再從 NLP／視覺核心與四個 AI clusters 延伸；但 07-380 要到 Fall 2026 才首開。07-280 Spring 2026 的殘留教材與 10-301/601 已能完整自學，15-281 則是仍有價值的退休舊路線。