#flashattention

CS336 Lecture 5：GPU 快不是因為每個 thread 快，而是資料少搬幾次

第五講從 SM、warp 與記憶體階層解釋 GPU，再用低精度、fusion、recomputation、coalescing 與 tiling 統一常見優化；FlashAttention 正是這些原則在 attention 上的組合。