第 38 頁，共 129 頁
Harvard CS 2881R 第 9 講請來 OpenAI 首席經濟學家 Ronnie Chatterji 與 Stanford 的 Bharat Chandar。Chandar 用 ADP 薪資資料說明：22–25 歲、在 AI 高曝險職業的年輕人，在控制公司層級衝擊後，就業相對下降 16%，資深員工沒有同樣的趨勢；調整主要出現在人數，薪資還沒動。兩位講者也一再提醒，總體就業目前看不出大規模替代，「曝險」不等於「被取代」。這講沒有投影片，材料是錄影與閱讀清單。
Harvard CS 2881R Fall 2025 第 10 講請來 OpenAI、Anthropic、Google DeepMind 的四位研究者，從兩個方向偵測模型的不良行為：讀它寫出來的 chain of thought，或讀它的 activation。CoT 監控抓 reward hacking 比只看動作有效，但把監控器放進訓練獎勵，模型就學會把意圖藏起來。activation 這一側，persona vector 能追蹤人格漂移，Sonnet 4.5 的稽核則顯示關掉「我在被測試」的方向後，不良行為會變多。Neel Nanda 的結論最務實：簡單的 steering vector 常常贏過 SAE，先跟 baseline 比。
Harvard CS 2881R 第 11 講談聊天機器人與心理健康。Boaz Barak 提出一個他自己說「未經證實」的解釋：模型有預訓練的「模擬器」與強化學習的「最佳化器」兩種模式，對話越長、越偏離訓練分布，越容易退回模擬器，順著故事繼續討好。兩組學生實驗分別測到：一次討好會外溢到無關問題，而妄想情境下 GPT-4.1 的附和率隨對話變長而惡化。預讀同時列了正面證據（NEJM AI 隨機試驗、NHS 觀察研究）與反面證據（stigma 研究、Parasitic AI）。本文只轉述研究與課堂討論，不提供臨床建議。
Harvard CS 2881R 最後一講由 Boaz Barak 和兩位 OpenAI 客座 Tejal Patwardhan、Kevin Liu 談未來十年。Boaz 的心智模型是：AI 等於每年向經濟注入指數成長、也越來越通用的虛擬勞動力，他最擔心的是變化太快而控制不足，以及權力集中與監控。Patwardhan 介紹 GDPval：用產業專家的真實工作成品當標準答案，由另一批專家盲評。Liu 說明為什麼 coding agent 還沒自動化 AI 研究：驗證太貴、回饋迴圈太長。課站這講的 Resources 寫「to be determined」，本文內容全部來自錄影。
CS2881R 的期中作業不是考試，是 2–4 人一組，從四篇 AI 安全論文裡挑一篇，重做它最核心的那張圖或表，再做一到兩個延伸，交 3–5 頁報告與 GitHub。規格投影片與評分表都公開，校外讀者可以完整照做。評分表把最多分數給「重現」與「延伸」，另外專門留一分給「你對結果有多脆弱的反思」——這一分正是這份作業想訓練的研究習慣。
6.5940 的前兩講先證明問題存在，再給量尺。L1 用一張圖說明模型參數量的成長遠快於 GPU 記憶體，並指出雲端 GPU 有 80GB 記憶體、微控制器只有 320kB。L2 把效率指標分成記憶體與運算兩類：#Parameters、model size、peak activations，以及 MAC、FLOP、OP。以 AlexNet 為例，它有 61M 參數、724M MACs；在微控制器上真正先爆掉的常常是 activation，不是參數。Lab 0 用 CIFAR-10 上的 VGG 變體（9.2M 參數、606M MACs）當之後幾個 lab 的起點。
MIT 6.5940 教怎麼讓模型變小、變快、塞進筆電與微控制器，分四章：高效推論（pruning、quantization、NAS、distillation、MCUNet 與 TinyEngine）、特定領域最佳化（LLM 部署與後訓練、長上下文、ViT、diffusion）、高效訓練（分散式與裝置端訓練），以及量子 ML。同時講演算法與系統，最後要把 Llama2-7B 跑在自己的筆電上。本系列以 Fall 2024 為主幹，23 講的錄影與 Lab 0–5 都公開，投影片只缺第 22 講的量子 ML 部分。
MIT 6.5940 Fall 2024 的最後兩講分成兩塊。L22 開頭是 13 頁的 Course-Summary.pdf（錄影裡只佔開頭一小段）：用推論、訓練、特定應用三塊加上 System／Algorithm 兩軸重畫整門課，再交代期末專題的 7 項評分。L22 其餘大部分是 Quantum ML Part I，只有錄影、沒有投影片。L23（Hanrui Wang 主講，99 頁）講參數化量子電路（PQC）：資料編碼、parameter-shift 梯度、雜訊下的機率式梯度剪枝（QOC）、TorchQuantum 函式庫，以及用 SuperCircuit 搜尋加閘剪枝的 QuantumNAS。讀起來像把前面學的 supernet 和 magnitude pruning 在量子電路上重演一次。Fall 2026 已把這兩講換成 Guest Lecture。
Diffusion 慢，是因為同一個大網路要從純雜訊一路跑幾十到上千步。L18 先把 DDPM、條件生成、latent diffusion、SDEdit、DreamBooth 講完，再分三條路加速：少跑幾步（DDIM 跳步、progressive distillation 每輪把步數減半）、每步少算（DC-AE 把圖壓 64 倍、只重算被編輯的 1.7% 區域省 8.2 倍 MACs、SVDQuant 把 FLUX 壓到 4-bit）、多卡分攤（DistriFusion 8 張 A100 最多快 6.1 倍）。
GPT-3 的 fp16 權重就要 350GB，一張 80GB 的 A100 放不下，更別說梯度和 Adam 狀態。L19 講怎麼切：資料平行、ring all-reduce、ZeRO-1/2/3（每張卡能訓練的模型從 5B 推到 320B）、GPipe 把 pipeline 利用率從 25% 提到 57%、Megatron 式 tensor parallelism、Ulysses 與 Ring Attention 的 sequence parallelism。L20 講切完之後的通訊瓶頸：Alpa 自動搜平行策略、DGC 把梯度壓 277–608 倍還不掉精度、TernGrad 把梯度量化成三值，以及用延遲更新蓋掉網路延遲的 DGA。
第 16 講談 ViT：高解析度下 attention 成本隨解析度平方成長，window attention（Swin）把計算限制在局部視窗，EfficientViT 用 ReLU linear attention 把複雜度降到線性再補回局部與多尺度能力，SparseViT 剪掉不重要的視窗；自監督（對比學習、CLIP、MAE）解決 ViT 需要大量標註的問題；最後 HART 用離散 token 加殘差 diffusion，比 diffusion 模型高出數倍吞吐量。第 17 講針對三種冗餘：GAN 的 2D 空間冗餘（GAN Compression、AnyCost GAN、DiffAugment）、影片的時間冗餘（TSM 零 FLOPs 的時間建模）、點雲的 3D 稀疏（PVCNN、SPVCNN、BEVFusion）。Fall 2026 排程已拿掉第 17 講。
這篇是 Fall 2026 的材料，不屬於本系列主幹的 Fall 2024。Fall 2026 把 Lab 1 從剪枝換成「Efficient AI Fundamentals」（lab1_gpu_basics.zip）：Part 1 手刻三層迴圈的 GEMM、算 MAC／FLOPs／I/O；Part 2 畫 GEMM 與 GEMV 的 roofline；Part 3 拿 gemma-3-270m-it 的 decoder layer 算 attention 與 MLP，比較 prefill 與 decode；Part 4 用 PyTorch Profiler 看 kernel、自己寫 GeLU 體會 kernel fusion、再試 torch.compile 與 CUDA Graph；Part 5 比較 SDPA 與 FlashAttention。主題 80 分，另有 20 分 bonus，Part 5 因為 Colab T4 跑不動整段改成 bonus。
MIT 6.5940 Fall 2024 第 9 講分五段：知識蒸餾（KD）的定義與 temperature、六種可以對齊的東西（logits、權重、特徵、梯度、稀疏模式、關係）、不需要固定大老師的 self／online 蒸餾、偵測／分割／GAN／NLP／LLM 上的 KD，以及專為小模型設計的 Network Augmentation。溫度從 T=1 調到 T=10，老師對「貓 vs 狗」的輸出從 0.982／0.017 變成 0.599／0.401，這一步就是 KD 能傳遞「暗知識」的起點。
MIT 6.5940 Fall 2024 的 Lab 1 是一本 Colab notebook，9 題共 100 分：前 5 題在 CIFAR-10 的 VGG 上做 magnitude-based 細粒度剪枝與 sensitivity scan，要求剪到原大小 25% 且 fine-tune 後準確率高於 92.5%；第 6–8 題做 channel pruning、用 Frobenius norm 排序 channel、量測實際加速；第 9 題比較兩者。Fall 2026 沒有 pruning lab。
Lab 2 是一份 Colab notebook，10 題共 100 分，對象是 CIFAR-10 上預訓練好的 VGG。前 3 題做 K-means 量化：寫量化函數、推算 n bit 有幾個 cluster、寫 centroid 更新，再看 8／4／2 bit 微調前後的準確率。後 7 題做線性量化：寫 q = round(r/S) + Z、推 scale 與 zero point 公式、做 per-channel 權重量化與 bias 量化、寫整數版的全連接層與卷積層，最後把整個模型轉成 INT8 跑推論。本文整理題目、配分、環境需求與校外限制，不附解答。
MIT 6.5940 Fall 2024 Lab 3 給你一個 OFA 方式訓練好的 MCUNetV2 super network（超過 10^19 個子網路）與 Visual Wake Words 資料集，10 題共 100 分加 10 分 bonus：先實作 MACs／peak memory 的 efficiency predictor 與三層 MLP accuracy predictor，再寫 random search 與 evolutionary search，最後在 250KB、60M MACs 的限制下找出準確度 92.5% 以上的子網路。本篇拆題目結構與每題在練什麼，不貼解答。
Lab 4 是 Colab notebook，用 OPT-1.3B 一步步重做 AWQ：先看 3-bit 量化後 perplexity 變多差，再保留 1% 重要 channel（Q1），最後改用縮放保護它們並搜尋最佳縮放（Q2），兩題各 50 分，另有依 perplexity 計分的 bonus。Lab 5 換到 C++：用 TinyChatEngine 在自己的電腦上跑 4-bit 的 LLaMA2-7B-chat，替 W4A8 線性層 kernel 依序寫 loop unrolling、multithreading、SIMD、multithreading＋unrolling、全部組合五個版本，每個 20 分，另有最多 20 分的效能 bonus。本文整理兩份作業的題目、配分、環境與校外限制，不附解答。
第 13 講把 LLM 推論變快的方法分成三條路。量化：SmoothQuant 把 activation 的離群值難度搬到權重做 W8A8，AWQ 依 activation 找出約 1% 的重要權重、用縮放保護它們做 W4A16，QServe 再合成 W4A8KV4。稀疏：Wanda 用 |W|·‖X‖ 剪權重，DejaVu 與 MoE 每個 token 只用一部分參數，SpAtten 與 H2O 丟掉不重要的 token。Serving：TTFT／TPOT 指標、PagedAttention、FlashAttention、speculative decoding 與 continuous batching。投影片上 OPT-6.7B 做 INT3 時，RTN 的 perplexity 是 43.16，把重要 channel 放大 2 倍就降到 14.07。
第 14 講分三段。第一段是微調：SFT 用想要的回答做 next-token prediction，RLHF 先訓 reward model 再用帶 KL 懲罰的 RL 微調，DPO 把兩階段壓成一次監督式訓練；接著一路比較 PEFT：BitFit 只調 bias、Adapter 插小層但推論變慢、Prompt/Prefix-Tuning 佔用輸入長度，LoRA 用可併回權重的低秩分支解決推論延遲，QLoRA 再把主幹量化成 NF4，BitDelta 把微調差值壓到 1 bit。第二段是多模態 LLM：Flamingo 用 cross-attention、PaLM-E 與 VILA 把影像當 token、VILA-U 讓模型也能輸出影像。第三段是 prompt engineering：zero/few-shot、CoT 與 RAG。
第 15 講分四段。延長上下文：RoPE 內插可以把 LLaMA 從 2k 拉到 32k，LongLoRA 用 shifted sparse attention 讓長上下文微調變便宜。評估：lost-in-the-middle、Needle-in-a-Haystack 與 LongBench。高效 attention：KV cache 隨長度線性長大，StreamingLLM 發現開頭幾個 token 是 attention sink，保留它們加上最近視窗就能穩定生成；DuoAttention 只讓少數 retrieval head 保留完整 KV cache；Quest 保留全部 KV、依 query 只讀最關鍵的幾頁。最後一段跳出 Transformer：Mamba 用選擇性 SSM 取代 attention，Jamba 把兩者混在一起。