KV Cache 把已經算過的 key 和 value 存起來，decode 時就不必重算，但它每個 token 都要佔一份記憶體：以 Gemma 2 27B 為例，一個 token 約 0.72MB，A100 80GB 只夠放約 11.4 萬個 token。李宏毅接著整理了一串瘦身法：讓多個 query 共用 key/value（MQA、GQA）、把 key/value 壓成一個向量又不必解壓（MLA）、只看一段範圍（Sliding Window、StreamingLLM）、把沒人理的 key/value 丟掉（Scissorhands、H2O），最後講跨對話的 prompt caching：只有前綴完全相同才會命中，所以 system prompt 要把穩定的內容放前面。
李宏毅 ML 2026 第一講把 OpenClaw 拆成五個問題：agent 怎麼知道自己是誰、怎麼用工具與 SKILL、怎麼記憶、怎麼定時工作、怎麼長時間自主運作。答案都回到同一件事：語言模型只會文字接龍，每一輪都重新開始，身分、記憶、SOP 全是 OpenClaw 塞進 prompt 的文字檔，或模型透過工具讀寫的檔案。本篇照 intro.pdf 60 頁與課堂錄影走一遍，也整理投影片裡的防禦建議。
Self-attention 本身看不出「你打我」和「我打你」的差別，所以要另外告訴它位置。李宏毅這一講從 Sinusoidal 絕對位置講到 ALiBi、T5 的相對位置，再到今天 Llama、Qwen、Gemma 都在用的 RoPE。後半段處理「訓練短、測試長」：RoPE 轉到沒看過的角度就會壞，於是有 Position Interpolation、NTK-Aware、YaRN、Dynamic Scaling、LongRoPE 這一串修法。最後一個轉折是 NoPE：decoder-only 的因果注意力本來就帶有位置資訊，甚至可以在訓練後把位置編碼拿掉。
這一講問：沒有人介入時，模型能不能自己發現錯誤並改正？李老師把做法分成三條路。改 inference：contrastive decoding 一家族都在「製造一個會答錯的版本，再把它減掉」，差別只在錯誤版本怎麼來。改 workflow：插一句「再檢查一下」有時有用但不穩定，外部回饋比自我反思可靠，而且在算力有限時，拿同樣算力多抽幾個答案投票往往更划算。改參數：直接教自我修正會遇到「訓練後犯的錯不一樣了」，所以業界改用 RL；RL 到底是教會新能力還是只把本來就有的路徑變常見，目前仍在爭論。
李宏毅 5/8 這堂先說清楚：「AI 自我成長」沒有明確定義，它是人類漸漸放手的過程。他把機器學習拆成三步，逐一檢查「我」能不能換成 AI：答案可以由 AI 自我修正後當標準答案，reward shaping 可以交給 LLM 寫，loss 可以讓模型自己訂（打分、多數決、entropy），連題目都能讓 proposer 自己出。但實驗一再顯示，完全不靠人會卡在天花板甚至把自己訓練壞；強 AI 訓練比自己弱的 AI 已經做得到，只是還沒超過人類。結論：2026 年 5 月，AI「還在盧比孔河邊」。
上集講的是 AI 自己訂 loss、自己更新參數；下集把另一半補上：AI Agent = Harness + LLM，harness 也能自己長。harness 沒辦法算 gradient，所以常見做法是拿一個語言模型當改寫器，再用類似基因演算法的 pool 保留多個候選（OPRO、GEPA、Darwin Gödel Machine，現成工具是 DSPy）。接著談三個延伸：harness 與參數一起更新效果更好；目標會變時要在「全部丟掉」和「全部背著」之間取捨，而且改 harness 也會遺忘；更新規則本身也能被更新（HyperAgent、Gödel Agent、SEAL），這就是 meta learning。最後李宏毅換了一個類比：參數是基因、context 才是神經元，然後指出現在的 agent 缺的是內在動機，而最可能讓成長失控的，是人給的目標和 AI 自己解讀出來的目標不一致。
CMU 11-768 是 Graham Neubig 和 Daniel Fried 在 2026 秋季新開的 agent 研究所課：先修嚴格要求訓練過語言模型，23 講從工具呼叫、context、記憶、規劃講到 SFT、RL、沙盒與人機互動。前半學期三份個人作業依序做 harness、評測、訓練，後半學期是團隊研究專題；投影片已公開，前 10 講影片也已公開。
CS224U 2023 春季版的 Analysis methods 單元先拿一張三欄計分表比較三類方法：probing 擅長描述表徵，卻給不出因果推論；integrated gradients 對表徵只給得出一個分數，但滿足 sensitivity 公理，所以有因果保證。本篇走完投影片前 40 頁、影片 33–35 與 feature_attribution.ipynb，也記下 notebook 在今天的環境裡會卡住的地方。
CS224U 第四單元先問一個問題：行為測試能證明什麼、不能證明什麼。答案是它永遠給不了保證，而且失敗時要先分清是模型的問題還是資料的問題——BERT 在否定句 NLI 上 2.2% 的準確率，用少量例子微調後就回到 90%。接著看 SQuAD 的干擾句、Breaking NLI、ANLI 的人機對抗收集，最後以 DynaSent 兩輪資料收尾。
Causal abstraction 的核心操作只有一個：把 source 輸入在某個位置的內部狀態搬到 base 輸入的同一位置，看輸出是否跟你假設的高階程式一樣變化。CS224U 的 iit_equality.ipynb 裡，一個測試準確率 0.99 的網路在這項檢驗上只拿到 0.50 與 0.54；改用 IIT 訓練後，反事實準確率變成 1.00。DAS 則把「猜哪些神經元對應哪個變數」改成學一個旋轉矩陣。
COGS 有幾個泛化切分幾乎每個模型都是 0 分。CS224U 用自家的 ReCOGS 研究拆解原因：遞迴切分的 0 分主要是長度泛化問題，介系詞片語切分的 0 分來自訓練資料只讓它出現在特定變數與位置。作業三 hw_recogs.ipynb 用 13.5 萬筆 ReCOGS 訓練資料，先要你找出 Charlie 與 Lina 這兩個訓練與測試角色完全相反的名字，再看一個訓練好的模型怎麼栽在它們身上。
CS224U Spring 2023 把 Transformer 家族講成一條「BERT 的四個已知限制」主線：RoBERTa 回應第一條（最佳化探索不足），ELECTRA 回應第二、三條（[MASK] 造成的落差、每批只有約 15% token 有訓練訊號），XLNet 回應第四條（被遮住的 token 彼此獨立的假設）。GPT 改的是目標函數與 mask，T5、BART 改的是架構與輸入破壞方式，蒸餾改的是模型大小。課程的 2023 年判斷是：自迴歸架構已經勝出，但做表徵時雙向模型可能仍占優勢。
CS224U Spring 2023 的 contextual representations 單元前三段：先用「break」「crane」這類例子說明靜態詞向量為什麼注定不夠，再用「The Rock rules」三個詞一步步拆出 Transformer block——各欄之間只有 attention 會互相連結，其他步驟都逐欄獨立。最後用兩個問題比較三種位置編碼：位置集合要不要事先決定？會不會妨礙泛化到新位置？絕對位置兩題都不過，正弦函數過第一題，Shaw 2018 的相對位置編碼兩題都過。
CS224U「NLP methods and metrics」單元的後半段不談指標公式，談實驗怎麼站得住：資料集要自然還是眾包、要對抗還是常見案例，課程答案都是「兩者都要」；切分要鎖住 test set；baseline 要在定假設時就決定；兩個模型的差異要用信賴區間、Wilcoxon 或 McNemar 檢驗，而且要跑多個隨機初始化。整單元的公開材料齊全（投影片、三支影片、兩份 notebook），但 Kawin Ethayarajh 那場「Real-world NLP assessments」客座沒有公開投影片或影片。
2023 年春季 CS224U 在 Transformer 單元裡插了兩場由課程團隊成員主講的專題。Lisa Li 講 Diffusion-LM：不再一個字一個字往右生，而是把一串高斯雜訊逐步去噪成詞向量，代價是訓練與解碼效率都輸給自迴歸模型，換到的是可以在每一步用分類器梯度操控輸出。Sidd Karamcheti 講怎麼把 GPT-2 Small 的單卡訓練時間從 99.63 天壓到 3.37 天：資料平行、混合精度、ZeRO 一層層疊上去。前者只有投影片，後者有投影片與兩段錄影。
CS224U 第一份作業 hw_sentiment.ipynb 是三分類情感分析：用 DynaSent 兩輪加 SST-3 開發，bake-off 測試集混入來源不明的 mystery 句子。9 分作業裡，原創系統一題占 3 分，規則只有一條：開發過程不准碰三份公開測試集。今天照原樣跑，第一個資料載入 cell 就會卡在 Hugging Face datasets 4.0 拿掉 trust_remote_code 這件事上。
CS224U 作業二 hw_openqa.ipynb 要你只用凍結的語言模型與凍結的 ColBERT 檢索器回答沒有附原文段落的問題。2023 春季版寫的是 DSP，repo 現行版在 2024 年 1 月改成 DSPy 並釘在 dspy-ai==2.4.13。開工前得先準備 OpenAI API key、約 406 MB 的 ColBERTv2 權重與 600 MB 的預建索引；而 notebook 第一行 dspy.OpenAI 在 DSPy 3.4 已經不存在。
CS224U 2023 春季版把 in-context learning 定義成「凍結的語言模型只靠 prompt 完成任務」，並提醒 few-shot 的第二個條件（訓練時沒看過同類例子）幾乎無法驗證。Potts 的 38 頁投影片從 GPT-2 的 TL;DR 講到 demonstration 怎麼挑、chain of thought、self-consistency、DSP，最後給四條建議：先建 dev/test、了解目標模型的指令格式、把寫 prompt 當成 AI 系統設計。Mina Lee 的客座則反過來問：該學會讀懂 prompt 的，是人還是模型？
CS224U 2023 春季版花一整個單元講檢索，理由是 OpenQA 只給問題、證據要自己找，而大型語言模型會捏造來源。Potts 與 Omar Khattab 的投影片從 TF-IDF、BM25 講到 Success@K、MRR、average precision，再講 cross-encoder、DPR、ColBERT、SPLADE 四種 neural IR 在表達力與規模之間怎麼取捨，最後要你把延遲與成本也當成指標。
CS224U Spring 2023 的第一堂拿「哪些美國州不和任何美國州接壤？」從 1980 年的 Chat-80 一路問到 text-davinci-001，先證明進展是真的，再用 Levesque 的「cheap tricks」、會編造連結的模型和飽和的 benchmark 質疑這些進展算不算理解。課程地圖因此分成兩半：前半教怎麼用 Transformer 與檢索增強的 in-context learning 做系統，後半教怎麼用更難的 benchmark、行為評估與因果解釋方法檢驗系統。