CMU 10-423 Spring 2026 的 L19 和 L21 都在處理同一個問題：序列一長，標準 attention 的記憶體與 KV cache 就撐不住。L19 給兩條路：用 sparse、sliding window、dilated attention 近似注意力，或保留完整注意力、改用 Blockwise Parallel Transformer 與 Ring Attention 把計算拆到多張 GPU。L21 給第三條路：換掉 attention，改用只保留固定大小隱藏狀態的 state space model（S4、Mamba），或把 attention 和線性注意力層交錯成 hybrid 模型（Jamba、Nemotron-H、Qwen3-Next）。
CMU 10-423 第 4 講前半區分預訓練、mid-training 與 post-training，後半挑出現代 LLM 幾乎都在用的三個元件：RoPE 把位置資訊改成對 query、key 的旋轉，讓注意力分數只取決於兩個 token 的相對距離；GQA 讓多個 query head 共用一組 key/value head，省記憶體和算力；sliding window 改注意力遮罩，讓每個 token 只看左邊固定數量的 token。三者都是 HW1 的題目。
第 15 講分四段。延長上下文：RoPE 內插可以把 LLaMA 從 2k 拉到 32k，LongLoRA 用 shifted sparse attention 讓長上下文微調變便宜。評估：lost-in-the-middle、Needle-in-a-Haystack 與 LongBench。高效 attention：KV cache 隨長度線性長大，StreamingLLM 發現開頭幾個 token 是 attention sink，保留它們加上最近視窗就能穩定生成；DuoAttention 只讓少數 retrieval head 保留完整 KV cache；Quest 保留全部 KV、依 query 只讀最關鍵的幾頁。最後一段跳出 Transformer：Mamba 用選擇性 SSM 取代 attention，Jamba 把兩者混在一起。
Self-attention 本身看不出「你打我」和「我打你」的差別，所以要另外告訴它位置。李宏毅這一講從 Sinusoidal 絕對位置講到 ALiBi、T5 的相對位置，再到今天 Llama、Qwen、Gemma 都在用的 RoPE。後半段處理「訓練短、測試長」：RoPE 轉到沒看過的角度就會壞，於是有 Position Interpolation、NTK-Aware、YaRN、Dynamic Scaling、LongRoPE 這一串修法。最後一個轉折是 NoPE：decoder-only 的因果注意力本來就帶有位置資訊，甚至可以在訓練後把位置編碼拿掉。
Agent 每一步都把整段歷史重新送進模型，五次呼叫就累積 80K token 的輸入；OpenHands 的 1,500 個 session 平均 7.8 萬 token，其中 37% 是工具結果。Neubig 分兩層處理：模型層靠「多層局部 + 一層全域」的混合注意力與長度課程撐起百萬 context；harness 層靠穩定前綴吃到便宜約十倍的 cache，再用保留錨點、外存證據的 compaction 撐過上限，而且 compaction 要用接續任務來評。
Kimi 是月之暗面（Moonshot AI）推出的 LLM 家族，以超長 context 起家。2026 年 7 月發布的 Kimi K3 是全球首個開源 3T 級模型——2.8T 參數、104B 活躍、1M context，在 Artificial Analysis Intelligence Index 得分 60 與 GLM-5.3 並列開源第一。其 Kimi Delta Attention 架構帶來 2.5 倍 scaling 效率提升。
SLIDERS 不讓模型直接吞完所有長文件，而是從問題誘導 schema、做語意切塊與情境化擷取、協調重複列，再用 SUQL 查詢產生答案。
DeepSeek-OCR 的論文題目是 Contexts Optical Compression — OCR 只是手段，真正驗證的是『把文字渲染成圖片再餵給 VLM』能達到 10× 壓縮且 97% 精度。這對長上下文 LLM 與 RAG 的 token 成本是質變。
傳統 RAG 把文件切成小 chunks 再檢索，但這造成資訊碎片化。LongRAG 利用 100K+ token 的長上下文模型，檢索更大的文件區段（整個章節甚至整份文件），減少碎片化同時保持檢索效率。