分散式訓練與高效推論：先找成本在哪裡｜CMU 10-423 主題單元
模型放不下一張GPU，和模型已放得下卻生成太慢，是不同故障。分散式策略重新分配資料、參數與狀態；FlashAttention主要改善attention的記憶體IO；KV cache避免decode時重算歷史K/V。先找成本的位置，再選方法。
#speculative-decoding
5 篇文章詞表怎麼選、token 怎麼吐，以及 speculative decoding 為什麼快｜CMU 11-868 第 8–9 堂
L08 從 BPE 講到講者 Lei Li 參與的 VOLT：詞表大小有成本也有價值，VOLT 用「每加一個 token 能降多少正規化熵」找划算的點，再化成最佳傳輸問題求解；後半講 LLaMA 3 詞表從 32k 擴到 128k、中文字被 byte-level BPE 切成三個 token 的代價。L09 從 greedy、取樣、beam search 一路講到 speculative decoding：小模型先猜 N 個 token，大模型一次前向驗證，因為驗證比生成便宜；最後介紹 EAGLE 改成預測最後一層特徵。
台大李宏毅 ML 2026 導讀：HW3 LLM Fast Inference——讀七篇加速論文，再在 GPU 上量 speculative decoding、FlashAttention 與 vLLM｜台大李宏毅 機器學習 主題單元
HW3 是 20 題選擇題（每題 0.5 分），不交程式，只在 NTU COOL 上作答。前 10 題讀論文：四篇 speculative decoding（Leviathan、DeepMind 的 Speculative Sampling、Inference with Reference、SpecInfer）加上 FlashAttention 1–3；後 10 題照 Colab 填 TODO 後分析結果：手寫 speculative decoding 的接受率、兩種 prompt regime 下 assistant 模型與 n-gram 的加速曲線、用 T4 規格估 FlashAttention 的 HBM 讀取量與理論加速、vLLM 的 prefix caching 多輪測試與失效實驗，以及 CPU offload 對 throughput 的影響。題目中英雙語全部印在作業 PDF 裡，校外可以完整自學，只是拿不到官方解答。
（一）：自迴歸模型的解碼、KV Cache 與 Speculative Decoding｜Harvard CS181 作業 6
HW6 Problem 4（20 分）用三個問題拆解「一個 token 接一個 token 生成」的代價：逐步挑最大機率不等於整句最可能、每步重算所有 key 讓成本變成平方級而 KV cache 把它壓回線性、speculative decoding 用小模型先猜再讓大模型一次驗證。全部是紙筆題，但每一題都對應到今天 LLM 推論系統的真實設計。
Speculative Decoding 與 Test-Time Scaling｜Stanford CS224N 第 13 堂
第 13 講從推論效率走到推論能力：speculative decoding 用小模型草擬、大模型驗證；on-policy distillation 處理資料漂移；長上下文與 test-time scaling 則用更多推論資源換取表現。