分散式訓練與高效推論：先找成本在哪裡｜CMU 10-423 主題單元
模型放不下一張GPU，和模型已放得下卻生成太慢，是不同故障。分散式策略重新分配資料、參數與狀態；FlashAttention主要改善attention的記憶體IO；KV cache避免decode時重算歷史K/V。先找成本的位置，再選方法。
#flashattention
8 篇文章長上下文與SSM：保留歷史的兩種取捨｜CMU 10-423 主題單元
長上下文問模型能否處理、找到並使用很久以前的資訊；SSM問如何用狀態更新處理序列。SSM的效率不能直接證明長文件檢索可靠，attention的長窗口也不能直接證明重要資訊一定被使用。第19與21堂因此各自有獨立教學。
FlashAttention：attention 慢在搬資料，不在算——Tri Dao 從 FA1 講到 FA4｜CMU 11-868 第 21 堂
標準 attention 會把 N×N 的分數矩陣寫回 HBM 再讀出來，時間大多花在搬資料。FlashAttention 用 tiling 加 softmax rescaling，讓每一塊都在 SRAM 裡算完，backward 則重算而不存。Tri Dao 在 11-868 的客座講義裡給了一組數字：backward 的 FLOPs 多了 13%，HBM 讀寫少了 9 倍，時間快了 6 倍。之後 FA3、FA4 的主題也一樣：硬體變了，瓶頸跟著搬家，演算法就得跟著改。
在 H100 上寫最快的 kernel：五道 AI kernel 題，評分看工作日誌不看排名｜Stanford CS149 程式作業 5
CS149 Fall 2025 的最後一份程式作業是開放式的：從 Histogram、1D occupancy decoder、FlashAttention、3D 熱方程 RK4、SwiGLU 五題挑一題以上，在 H100 上把 PyTorch baseline 調快，可以用 CUDA、Triton 或 TileLang，也允許用 LLM。分數不看速度門檻，看你交的工作日誌能不能說清楚每一步量了什麼、推出什麼假設、為什麼停手。H100 job queue 與排行榜要 SUNet ID，校外只能在自己的 NVIDIA GPU 上用 eval.py 跑。
補充：用 Roofline、Profiler 與 FlashAttention 看懂 GPU 瓶頸｜MIT 6.5940 實驗 1
這篇是 Fall 2026 的材料，不屬於本系列主幹的 Fall 2024。Fall 2026 把 Lab 1 從剪枝換成「Efficient AI Fundamentals」（lab1_gpu_basics.zip）：Part 1 手刻三層迴圈的 GEMM、算 MAC／FLOPs／I/O；Part 2 畫 GEMM 與 GEMV 的 roofline；Part 3 拿 gemma-3-270m-it 的 decoder layer 算 attention 與 MLP，比較 prefill 與 decode；Part 4 用 PyTorch Profiler 看 kernel、自己寫 GeLU 體會 kernel fusion、再試 torch.compile 與 CUDA Graph；Part 5 比較 SDPA 與 FlashAttention。主題 80 分，另有 20 分 bonus，Part 5 因為 Colab T4 跑不動整段改成 bonus。
台大李宏毅 ML 2026 導讀：加快生成（上）——Flash Attention 為什麼卡在搬資料，而不是計算｜台大李宏毅 機器學習 主題單元
李宏毅在 ML 2026 第三週講推論加速，前半堂只講一招：Flash Attention。GPU 的運算單元很快，但工作台（on-chip SRAM）很小，資料得從倉庫（HBM）搬上搬下，搬運才是瓶頸。一般的 softmax 要來回倉庫好幾次；Flash Attention 用「先假設目前最大值就是 Amax，之後再乘一個修正項」的技巧，把找最大值、算分母、做 weighted sum 合進同一次掃描，連 attention weight 都不必真的算出來。結果和原本的 attention 一模一樣，不需要重訓，代價只是一點額外運算和一點燒腦。
台大李宏毅 ML 2026 導讀：HW3 LLM Fast Inference——讀七篇加速論文，再在 GPU 上量 speculative decoding、FlashAttention 與 vLLM｜台大李宏毅 機器學習 主題單元
HW3 是 20 題選擇題（每題 0.5 分），不交程式，只在 NTU COOL 上作答。前 10 題讀論文：四篇 speculative decoding（Leviathan、DeepMind 的 Speculative Sampling、Inference with Reference、SpecInfer）加上 FlashAttention 1–3；後 10 題照 Colab 填 TODO 後分析結果：手寫 speculative decoding 的接受率、兩種 prompt regime 下 assistant 模型與 n-gram 的加速曲線、用 T4 規格估 FlashAttention 的 HBM 讀取量與理論加速、vLLM 的 prefix caching 多輪測試與失效實驗，以及 CPU offload 對 throughput 的影響。題目中英雙語全部印在作業 PDF 裡，校外可以完整自學，只是拿不到官方解答。
GPU 快不是因為每個 thread 快，而是資料少搬幾次｜Stanford CS336 第 5 堂
第五講從 SM、warp 與記憶體階層解釋 GPU，再用低精度、fusion、recomputation、coalescing 與 tiling 統一常見優化；FlashAttention 正是這些原則在 attention 上的組合。