神經網路的架構：從一個 ReLU 疊到殘差連接與正規化層｜Stanford CS229 第 7 堂
第 7 堂先把線性模型的訓練流程原封不動搬到非線性模型：每筆資料一個 loss、取平均、用 SGD 往下走，剩下兩個問題是模型長什麼樣、梯度怎麼算。後半堂回答第一個：一個神經元是 ReLU(wᵀx+b)，m 個神經元疊成矩陣就是一層 ReLU(Wx+b)，參數 md+m 個；再往上是殘差區塊 z+σ(MM(σ(MM(z)))) 與 LayerNorm、RMSNorm。梯度怎麼算留給第 8 堂。
#neural-networks
41 篇文章反向傳播：算梯度為什麼只要一次前向的成本｜Stanford CS229 第 8 堂
這堂課從一個定理出發：能用 N 個基本運算算出來的純量函數，梯度也能在 O(N) 時間算完。做法是把鏈鎖律讀成「拿到 ∂J/∂u 就能算 ∂J/∂z，而且只需要中間那個模組的資訊」，再替矩陣乘法與啟動函數各推一個 backward 函數：Wᵀv、vzᵀ、σ′(z)⊙v。本文另外用一個 2-2-1 的小網路把前向與反向手算一遍。
ML 基礎與 Transformer 底層概念：從偏差變異、AdamW 到 attention、RoPE 與 MoE
面試追問通常落在機制：為什麼要除以 √d_k、AdamW 和 Adam＋L2 差在哪、AUC 很高為什麼還不能上線。本文逐題講概念、機制與答法，最後附 3 題可執行的 numpy 手寫題。
kNN、Softmax、兩層網路與全連接網路｜Stanford CS231N 作業 1
CS231N 作業一占總成績 12%，2026 年 4 月 16 日截止，五個 Colab notebook 全部在 CIFAR-10 上用 numpy 手寫：Q1 kNN 要寫出兩層迴圈、一層迴圈、零迴圈三種距離計算；Q2 Softmax 從 naive 到向量化再到 SGD；Q3 把 affine、ReLU、softmax 組成兩層網路；Q4 改用 HOG 與色彩直方圖特徵；Q5 推廣成任意層數，並實作 Momentum、RMSProp、Adam。起始碼 65 KB，公開可下載；拿不到的是 Gradescope 評分。本文只講結構與目標，不給解答。
神經網路與反向傳播——計算圖上的「上游乘以本地」｜Stanford CS231N 第 4 堂
L4 前半把線性分類器 f = Wx 換成兩層網路 f = W₂ max(0, W₁x)，說明拿掉 max 這個激活函式就會退回線性分類器。後半回答網路變深之後梯度怎麼算：把函式畫成計算圖，每個節點只要知道自己的本地梯度，再乘上從後面傳回來的上游梯度。add 分配梯度、mul 交換、max 路由、copy 相加，四個模式就能追蹤任何網路。最後推到矩陣：dL/dx 永遠和 x 同形狀，所以不要真的建出 Jacobian。
神經網路的概念｜政大蔡炎龍 生成式AI 第 2 堂
第二講把上一講的「呆萌型 AI 機器人」拆開：輸入輸出都要變成數字（張量），分類問題用 one-hot 與 softmax 把分數變成機率，神經網路由神經元一層層接起來，訓練就是用梯度下降把 loss 壓小。最後用 Keras 在 MNIST 上打造第一個全連結神經網路，再接上 Gradio 畫板。第二週作業要你自己設計 DNN，唯一的硬規定是不能是三層；長庚衛星班要求截圖驗證正確率最高的那組參數，也鼓勵保留失敗的嘗試。
神經網路與反向傳播｜台大陳縕儂 深度學習之應用 第 2 堂
訓練一個模型要回答三個問題。模型是什麼：一層層的神經元，每層是 z = Wa + b 再經過非線性的 activation；一個神經元只能畫一道分界，所以做不了 XOR，疊層才行。什麼叫好的函數：定一個 loss，值越小越好。怎麼挑出最好的：gradient descent 每次看腳下的斜率走一步，實務上用 mini-batch SGD。參數有上百萬個，梯度靠反向傳播算：forward 一趟存下每層的輸出，backward 一趟從輸出層往回算 δ，兩者相乘就是每個權重的梯度。文中用數字各走了一次。
神經網路：反向傳播怎麼算梯度｜台大林軒田 機器學習技法 第 12 堂
感知器的線性組合做得出 AND、OR，做不出 XOR；再疊一層就可以，這就是多層感知器。這堂課把中間的 sign 換成 tanh、輸出層接線性迴歸，再用連鎖律推出反向傳播：先正向算出每一層的輸出 x，再從輸出層往回算 δ，每個權重的梯度就是前一層的 x 乘上這一層的 δ。最後處理訓練的兩個麻煩：E_in 非凸，初始權重要小而且隨機；d_VC 大約是 O(VD)，要靠 weight elimination 與提早停止防過擬合。
深度、萬能近似、激活函數與反向傳播｜Berkeley CS189 第 17–18 堂
Lec 17 用 XOR 說明為什麼線性模型、甚至多層線性模型都學不會非線性邊界，只要一層 ReLU 就能解；萬能近似定理保證「存在」，但不告訴你怎麼找權重、要多寬。Lec 18 把 chain rule 系統化成計算圖上的反向傳播：多條路徑的梯度相加，成本和參數數量成線性，有限差分則是平方。Discussion 8 讓你親手證明 GD 收斂速率與一維 ReLU 萬能近似。
初始化、BatchNorm、CNN、early stopping 與 double descent｜Berkeley CS189 第 19–20 堂
Lec 19 先收尾反向傳播，接著處理「怎麼讓梯度一直流得動」：全零初始化會讓所有單元學成一樣，要用小的隨機值（ReLU 用 He 初始化）；batch norm 用 mini-batch 的平均與變異數正規化 pre-activation。後半進入 CNN：局部連接加權重共享，讓同一個特徵偵測器掃過整張圖。Lec 20 補完 pooling、receptive field 與 CNN 的訓練，再談 early stopping、dropout，以及和傳統 bias-variance 圖不一樣的 double descent。
核方法、神經網路與 Scaling Law｜Harvard CS181 作業 3
CS181 Spring 2026 的 HW3（due 3/23）三題 100 分：先把多項式與 RBF kernel 拆回特徵映射、從 ridge 推到 dual 係數 α 與 support vector 直覺；再手推兩層 sigmoid 網路的 backprop；最後佔一半分數的是在 Fashion-MNIST 上訓練 ResNet，自己量出 scaling law，用 C≈6ND 推算固定算力下模型與資料該怎麼分。
Neural Networks——反向傳播、TensorFlow/Keras、CNN 與交通號誌辨識｜Harvard CS50 AI 第 5 週
第 5 週講神經網路：一個 unit 把輸入乘上權重、加 bias、再過 activation function；梯度下降一小步一小步調權重，隱藏層靠 backpropagation 把誤差往回分；影像先做卷積與 pooling 再接一般網路，就是 CNN；序列資料用 RNN 把輸出餵回自己。附逐段時間連結，以及 Traffic 專案的解題思路、易錯處與檢查方式。
導論：從感知器到深度網路｜CMU 11-785 第 1 堂
Spring 2026 Lecture 1 聚焦神經元、感知器、連結主義與深度學習問題設定；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
神經網路作為通用近似器｜CMU 11-785 第 2 堂
Spring 2026 Lecture 2 聚焦布林函數、網路深度與寬度對表示能力的影響（含多輸入 XOR 的例子），並在結尾銜接到下一講的訓練問題；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練一：學習與經驗風險最小化｜CMU 11-785 第 3 堂
Spring 2026 Lecture 3 聚焦學習問題的設定（輸入與輸出如何表示成數字）、perceptron 學習規則及其不適用於多層網路、可微分的 divergence，以及經驗風險最小化（loss）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練二：梯度下降｜CMU 11-785 第 4 堂
Spring 2026 Lecture 4 聚焦導數與梯度的定義、極值與二階導數、沿負梯度反覆更新的梯度下降，以及訓練前要先定義的網路、輸入輸出表示與 divergence；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練三：反向傳播｜CMU 11-785 第 5 堂
Spring 2026 Lecture 5 聚焦分層網路的符號、前向傳遞、chain rule 與 Jacobian（含向量激活函數），以及反向傳遞如何逐層算出權重與偏置的導數；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練四：收斂、損失曲面與動量｜CMU 11-785 第 6 堂
Spring 2026 Lecture 6 聚焦梯度下降的收斂（凸函數與二次函數上的步長選擇、各維度差異）、局部極小與鞍點、遞減或自適應的 learning rate、R-prop，以及 momentum 與 Nesterov 加速梯度；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練五：SGD、batch size 與二階方法｜CMU 11-785 第 7 堂
Spring 2026 Lecture 7 聚焦SGD 與 mini-batch 的增量更新，以及 RMSprop、momentum 等趨勢式更新（二階方法只在投影片，錄影未講）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
訓練六：最佳化器與正則化｜CMU 11-785 第 8 堂
Spring 2026 Lecture 8 聚焦divergence（loss）的選擇、BatchNorm、dropout 與其他正則化手法，以及 early stopping 等訓練技巧（AdaGrad、Adam 不在這支錄影中）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
卷積神經網路一｜CMU 11-785 第 9 堂
Spring 2026 Lecture 9 聚焦為什麼要掃描輸入、把掃描分散到多層、以 max pooling 處理形變，以及 CNN／time delay neural network 的結構；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
卷積神經網路二｜CMU 11-785 第 10 堂
Spring 2026 Lecture 10 聚焦CNN 的來源（Hubel 與 Wiesel、Fukushima 的 Neocognitron）、卷積層與池化層的運算，以及 filter 大小／stride／通道數等設計選擇；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
卷積神經網路三｜CMU 11-785 第 11 堂
Spring 2026 Lecture 11 聚焦CNN 的回顧，以及卷積層與池化層的反向傳播；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
卷積神經網路四｜CMU 11-785 第 12 堂
Spring 2026 Lecture 12 聚焦補充的反向傳播規則（stride、上採樣與下採樣）、對平移以外變換的不變性，以及 CNN 簡史與主要架構的快速介紹；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
循環神經網路一｜CMU 11-785 第 13 堂
Spring 2026 Lecture 13 聚焦序列建模的動機、狀態與記憶、Jordan／Elman 類循環網路、沿時間的反向傳播，以及雙向網路；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
循環神經網路二｜CMU 11-785 第 14 堂
Spring 2026 Lecture 14 聚焦時間反向傳播、梯度穩定性與 LSTM 類 gated memory；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Seq2Seq 與 CTC｜CMU 11-785 第 15 堂
Spring 2026 Lecture 15 聚焦序列模型訓練時的對齊問題（以明確對齊、重新估計對齊來訓練的做法與其容易落入局部最佳的風險）；CTC 只在結尾被引出，細節留到下一講；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
CTC blank 與 beam search｜CMU 11-785 第 16 堂
Spring 2026 Lecture 16 聚焦blank 符號與相鄰重複符號的合併規則、CTC 的 forward（alpha）機率計算，以及剪枝式的近似解碼（beam 僅在結尾簡短說明）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
語言模型與翻譯｜CMU 11-785 第 17 堂
Spring 2026 Lecture 17 聚焦逐字預測下一個詞的語言模型、條件式翻譯模型，以及 beam search 解碼；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Attention 與 Transformer｜CMU 11-785 第 18 堂
Spring 2026 Lecture 18 聚焦seq2seq 的 attention 機制（query、key、value 與 softmax 加權平均）、multi-head 的提及，以及對 Transformer 的簡述；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Transformer 與後續架構｜CMU 11-785 第 19 堂
Spring 2026 Lecture 19 聚焦encoder／decoder 結構、mask、residual path 與架構變體；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
大型語言模型｜CMU 11-785 第 20 堂
Spring 2026 Lecture 20 聚焦規模化自回歸模型、預訓練與 scaling law，以及後訓練（包含讓模型取樣自己的答案並依回饋改進）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
表示學習與 autoencoder｜CMU 11-785 第 21 堂
Spring 2026 Lecture 21 聚焦神經網路到底表示什麼、重建目標（自編碼器），以及它與 PCA（降維）的關係；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
變分自編碼器｜CMU 11-785 第 22 堂
Spring 2026 Lecture 22 聚焦latent variable、ELBO、KL 項與 reparameterization trick；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
擴散模型｜CMU 11-785 第 23 堂
Spring 2026 Lecture 23 聚焦forward noising、reverse denoising、score／noise prediction 與採樣；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
生成對抗網路｜CMU 11-785 第 24 堂
Spring 2026 Lecture 24 聚焦generator、discriminator、minimax objective 與訓練不穩定；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
圖神經網路｜CMU 11-785 第 25 堂
Spring 2026 Lecture 25 聚焦message passing、aggregation、node representation 與 permutation symmetry；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
強化學習｜CMU 11-785 第 26 堂
Spring 2026 Lecture 26 聚焦state、action、reward、return、value 與 policy learning；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Hopfield 網路｜CMU 11-785 第 27 堂
Spring 2026 Lecture 27 聚焦聯想記憶、能量函數、固定點與 pattern retrieval；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
Boltzmann machine｜CMU 11-785 第 28 堂
Spring 2026 Lecture 28 聚焦能量式機率模型（Gibbs 分布與歸一化常數 Z）、隨機（機率式）神經元，以及如何訓練這類機率網路；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。
從神經網路基礎到序列模型的學習路線｜CMU 11-785 課程總覽
CMU 11-785 Spring 2026 的 28 講內容都有官方 slides 與 YouTube，另有大量公開 bootcamp／recitation；但 HW1–4 的核心規格、starter 與評測依賴 Autolab、Piazza 和 Kaggle。