初始化、BatchNorm、CNN、early stopping 與 double descent｜Berkeley CS189 第 19–20 堂
Lec 19 先收尾反向傳播，接著處理「怎麼讓梯度一直流得動」：全零初始化會讓所有單元學成一樣，要用小的隨機值（ReLU 用 He 初始化）；batch norm 用 mini-batch 的平均與變異數正規化 pre-activation。後半進入 CNN：局部連接加權重共享，讓同一個特徵偵測器掃過整張圖。Lec 20 補完 pooling、receptive field 與 CNN 的訓練，再談 early stopping、dropout，以及和傳統 bias-variance 圖不一樣的 double descent。