#sequence-modeling

MIT 6.7960 L10：記憶與序列建模 —— RNN、LSTM 與梯度消失／爆炸

RNN 把過去壓進一個隱狀態，但遞歸讓梯度在時間上連乘，要嘛消失要嘛爆炸；LSTM 用輸入/遺忘/輸出門把『記憶』與『更新』解耦，讓長程資訊能穩定流動。注意力後來取代它，是因為 O(1) 取用任意歷史。