#positional-encoding — quidproquo

MIT 6.7960 L08：Transformer —— Token、Attention 與位置編碼，以及它和 MLP/CNN/GNN 的關係

Transformer 不是憑空冒出的架構：token 把資料切成離散單元，attention 做軟性的訊息聚合，positional code 補回順序。把它和 MLP/CNN/GNN 擺在一起看，會發現它們都是『對鄰居做加權彙整』的不同特例。