hard-margin SVM 堅持把資料完全分開，所以會去擬合雜訊。這堂課替每個點加一個違反量 ξₙ，用參數 C 權衡邊界寬度與違反總量，得到 soft-margin SVM；它的對偶問題和 hard-margin 只差 αₙ 多了上界 C。αₙ 的值把資料分成非支援向量、free SV、bounded SV 三類，算 b 要用 free SV；C 與 γ 用交叉驗證選，支援向量的比例 #SV/N 是 leave-one-out 誤差的上界。
這堂課把測試誤差拆成雜訊 σ²、偏差平方、變異三項，再用 ridge regression 的閉式解說明正規化怎麼把特徵值從 λ 推到 λ+ρ，用一點偏差換掉大量變異。後半堂講雙降、ImageNet-V2，以及用開發集、k 折交叉驗證與 successive halving 挑超參數。
用 E_in 選模型一定偏向最複雜的那個，用 E_test 選又拿不到測試資料。這堂課從手上的 N 筆切出 K 筆當驗證集，得到 E_out(g_m*) ≤ E_out(g⁻_m*) ≤ E_val(g⁻_m*) + O(√(log M / K))，說明選完為什麼要用全部資料重訓、K 為什麼取 N/5；再把 K 推到 1 得到幾乎無偏的 leave-one-out，最後用 5-fold 或 10-fold 交叉驗證把計算量降回可行。