#computation-graph

怎麼訓練神經網路：反向傳播其實是在省重複計算｜MIT 6.7960 第 2 堂

反向傳播不是新的數學，是把連鎖律裡各層共用的那一段只算一次。線性層的前向是乘 W、反向是乘 W 的轉置、權重梯度是「輸入 × 回傳的梯度」；計算圖分岔時梯度相加，所以共用參數的梯度也是相加。文末用一個 2-2-1 的小網路手算一次更新，損失從 0.0175 降到 0.0076。