#self-attention

2 篇文章

Transformer 與 Attention：模型怎麼決定該看哪些字

Transformer 的核心是 self-attention：對每個 token，模型算出它跟其他所有 token 的相關程度，然後按權重加總。這讓模型能跨越距離抓到「it 指的是 cat 不是 mat」這種關係，也是它處理長文的基礎。

第 5 講從 RNN 的長距離與循序瓶頸走到 self-attention，再組成 Transformer；它縮短位置間的資訊路徑並容許平行計算，但付出二次方 attention 成本與位置資訊必須另行注入的代價。