#sequence-modeling

記憶與序列建模 —— RNN、LSTM 與梯度消失／爆炸｜MIT 6.7960 第 10 堂

RNN 沿時間傳遞隱狀態，梯度連乘可能衰減或放大；LSTM 以門控制 cell state 的保留與更新，改善長程訊號傳遞但不保證穩定。Self-attention 縮短位置間的資訊路徑，單層 dense attention 的總計算仍隨序列長度平方成長。