CS231N Spring 2026 的 A3 占總成績 15%，四個 Colab notebook 把 L8、L12–L14、L16 各自落成一份實作：Q1 手寫 multi-head attention、Transformer decoder 做 COCO captioning，再組一個 ViT 在 CIFAR-10 上訓練；Q2 實作 SimCLR 的資料增強與對比損失，比較有無自監督預訓練的線性分類；Q3 寫 DDPM 的加噪、UNet、去噪損失、取樣與 classifier-free guidance，生成文字條件的 32×32 emoji；Q4 用預訓練 CLIP 做相似度、零樣本分類與檢索，再用 DINO 特徵只靠一幀標註做影片分割。本文只講題目結構、檔案與目標，不給解答。
CS231N 第 12 講的問題是：大規模訓練需要大量標註，能不能不靠人工標註學到好的表示？答案分三段。第一段是從影像變換自動產生標籤的 pretext task：預測旋轉、拼圖、補洞、上色，以及把遮罩比例拉到 75% 的 MAE。第二段是更通用的對比學習：InfoNCE 損失、需要大 batch 的 SimCLR、用佇列解耦 batch 與負樣本數的 MoCo，以及序列層級的 CPC。最後是不需要負樣本的 DINO：學生網路去預測動量老師的輸出，靠 centering 與 sharpening 避免崩塌。評估方式的核心是 linear probing：凍結編碼器，只訓練一層線性分類器。
資料很多不代表標註很多。這一堂問的是：沒有標註時，怎麼從資料裡學到有用的表示？共同的想法是找出觀察背後的潛在因子。Auto-encoder 把輸入壓成一段短碼再還原。VAE 另外要求短碼服從高斯分布，所以可以從分布抽樣來生成。Dual learning 讓兩個方向相反的任務互相當對方的回饋。自監督學習分成自我預測（遮掉一部分猜回來）與對比學習（相似的拉近、不相似的推遠）。CLIP 用圖文配對做對比學習，讓影像分類不必另外訓練；DALL·E 2 再用它的表示生成圖片。最後談多模態模型：把影像投影到語言模型的空間，以及能邊聽邊決定何時開口的串流互動。
HW5 是 Spring 2026 唯一標成選修的作業，5/11 到期，和期末考同一天。書面有三塊：用 scRNA-seq 當背景推 InfoNCE 的梯度與負樣本數的取捨；證明最佳去噪器是條件期望、推到 continuity equation；把 flow matching 的直線路徑推廣成一般插值。Notebook 則是完整的 LLM 微調流程：固定用 Qwen2.5-0.5B-Instruct，把 MMLU machine_learning 轉成 chat 格式，用 TRL 的 SFTTrainer 全參數微調，比較微調前後在 CS189 考題上的準確率，最後對 169 題測試集提交 Kaggle，同時要防 catastrophic forgetting。官方附 hw5-sol.pdf，只涵蓋書面題。
Lec 23 把 transformer 接成一個會預測下一個 token 的模型：切 token、查 embedding、疊 L 層 masked attention，最後乘回 embedding 表做 softmax，用交叉熵（也就是 MLE）訓練。預訓練只給知識，要會聊天還需要 SFT、LoRA、RLHF、DPO；推論時再靠 in-context learning、RAG、chain-of-thought 與工具呼叫。Lec 24 把「自己造一個假的監督任務」推廣到影像：自編碼器、上色、補洞、旋轉、拼圖、聚類，最後到對比學習、SimCLR 與 CLIP。Discussion 11 練位置編碼、RoPE、causal mask 與 KV cache。
HW5 的 Problem 1–2 都是「把學習變成分類題」：SimCLR 的 NT-Xent 損失是在 2N−1 個候選裡找出同一張圖的另一個增強版本，GAN 的判別器是在分真假。作業要你推出這兩件事的數學（交叉熵等價、最佳判別器與 JS divergence），再在 FashionMNIST 與 MNIST 上把兩套訓練迴圈寫出來。
2021 年是 diffusion model 超越 GAN、自監督學習理論突破、RL 評估方法論覺醒的一年。NeurIPS 收了 9,122 篇投稿創當時紀錄，ICLR 的 Score-Based Generative Modeling 論文日後成為整個 diffusion 生態的理論基石，ICML 則在優化理論與自監督學習動力學分析上交出紮實貢獻。
2021 年是 AI 頂會的分水嶺：Transformer 從 NLP 全面入侵 CV 與時序領域，自監督學習成為各會議最熱門關鍵詞，Diffusion Model 拿下 ICLR Outstanding Paper 但還沒有人意識到它會取代 GAN——而 GNN 和 Federated Learning 正處於論文量的歷史高峰，之後開始走下坡。
CS230 第二講用三個案例研究推導出 embedding：日夜分類教你怎麼用人當 proxy 決定解析度，喚醒詞偵測教你三小時生出上百萬筆訓練資料，人臉驗證教你設計出第一個 loss function。最後從監督式 triplet 走到自監督 pairs——那一步才是現代模型能吃下數十億張未標註影像的原因。