長上下文與SSM：保留歷史的兩種取捨｜CMU 10-423 主題單元
長上下文問模型能否處理、找到並使用很久以前的資訊；SSM問如何用狀態更新處理序列。SSM的效率不能直接證明長文件檢索可靠，attention的長窗口也不能直接證明重要資訊一定被使用。第19與21堂因此各自有獨立教學。
#mamba
3 篇文章長上下文 LLM——上下文拉長時，先爆的是 KV cache｜MIT 6.5940 第 15 堂
第 15 講分四段。延長上下文：RoPE 內插可以把 LLaMA 從 2k 拉到 32k，LongLoRA 用 shifted sparse attention 讓長上下文微調變便宜。評估：lost-in-the-middle、Needle-in-a-Haystack 與 LongBench。高效 attention：KV cache 隨長度線性長大，StreamingLLM 發現開頭幾個 token 是 attention sink，保留它們加上最近視窗就能穩定生成；DuoAttention 只讓少數 retrieval head 保留完整 KV cache；Quest 保留全部 KV、依 query 只讀最關鍵的幾頁。最後一段跳出 Transformer：Mamba 用選擇性 SSM 取代 attention，Jamba 把兩者混在一起。
Attention 不只一種，MoE 也不是免費擴大模型｜Stanford CS336 第 4 堂
第四講沿著兩種稀疏化拆解現代 LLM：linear/recurrent attention 減少序列維度成本，MoE 讓每個 token 只啟用部分參數；兩者都把理論省下的 FLOPs 換成 routing、平衡與通訊問題。