推薦系統的輸入只有使用者編號。把編號做 binary vector encoding、丟進拿掉 tanh 的 N-d̃-M 線性網路，假說就是 h(x) = WᵀVx，等於把評分矩陣寫成 R ≈ VᵀW。學 V 與 W 有兩條路：交替最小平方每輪解 M+N 個線性迴歸，SGD 每次只用一筆評分更新一位使用者與一部電影的向量。最後把 boosting、神經網路、RBF 網路、矩陣分解與 k 近鄰收成一張萃取模型的地圖。
反向傳播不是新的數學，是把連鎖律裡各層共用的那一段只算一次。線性層的前向是乘 W、反向是乘 W 的轉置、權重梯度是「輸入 × 回傳的梯度」；計算圖分岔時梯度相加，所以共用參數的梯度也是相加。文末用一個 2-2-1 的小網路手算一次更新，損失從 0.0175 降到 0.0076。
第 7 堂先把線性模型的訓練流程原封不動搬到非線性模型：每筆資料一個 loss、取平均、用 SGD 往下走，剩下兩個問題是模型長什麼樣、梯度怎麼算。後半堂回答第一個：一個神經元是 ReLU(wᵀx+b)，m 個神經元疊成矩陣就是一層 ReLU(Wx+b)，參數 md+m 個；再往上是殘差區塊 z+σ(MM(σ(MM(z)))) 與 LayerNorm、RMSNorm。梯度怎麼算留給第 8 堂。
PLA、線性迴歸、邏輯迴歸都先算分數 s = wᵀx，三種誤差都能寫成 ys 的函數。平方誤差與換成 log₂ 的 cross-entropy 都壓在 0/1 誤差上面，所以把迴歸的 E_in 做小，分類的 E_out 也跟著有保證。接著把梯度裡的 N 筆平均換成隨機抽一筆，得到每步 O(1) 的 SGD；再用 OVA（K 個分類器、取分數最高）與 OVO（K(K−1)/2 個分類器、投票）把二元分類器組成多類別分類器。
從 SGD 到 Adam，用縮放規則一次搞懂深度學習優化器怎麼選、學習率怎麼調