CMU 10-423 用兩堂課把生成模型接上兩種模態。L12 後半講文字怎麼控制圖片：GAN、自迴歸（Parti）、diffusion（DALL-E 2、Imagen）三條路線，最後落在 latent diffusion——先把圖片壓進自編碼器的潛在空間，再在那裡跑 DDPM，用 cross-attention 讀提示詞。L13 反過來，讓語言模型讀圖：用 CLIP／SigLIP 或 VQ-VAE 把圖片變成向量或整數，送進 decoder-only Transformer；只讀不畫的 VLM（PaliGemma、Qwen-VL）和能輸出圖片的 VLM（LWM、Gemini）差在影像是不是離散 token。
CS231N Spring 2026 的 A3 占總成績 15%，四個 Colab notebook 把 L8、L12–L14、L16 各自落成一份實作：Q1 手寫 multi-head attention、Transformer decoder 做 COCO captioning，再組一個 ViT 在 CIFAR-10 上訓練；Q2 實作 SimCLR 的資料增強與對比損失，比較有無自監督預訓練的線性分類；Q3 寫 DDPM 的加噪、UNet、去噪損失、取樣與 classifier-free guidance，生成文字條件的 32×32 emoji；Q4 用預訓練 CLIP 做相似度、零樣本分類與檢索，再用 DINO 特徵只靠一幀標註做影片分割。本文只講題目結構、檔案與目標，不給解答。
CS231N Spring 2026 的視覺與語言講次，先把課程前半的「一個任務一個模型」換成「基礎模型」：先用大量多樣的資料預訓練一個模型，再用微調、zero-shot 或 few-shot 接到許多任務。主角有三條線。第一條是 CLIP：用 4 億組網路圖文配對做雙向對比學習，再把類別名稱寫成句子，就能不經微調直接分類；它也有弱點，分不出「草地上的杯子」和「杯子裡的草」。第二條是 LLaVA、Flamingo 到 Qwen3-VL、Molmo 的視覺語言模型：把圖片特徵接進 LLM，讓模型看圖輸出文字。第三條是 chaining：讓 LLM 寫描述或寫程式，把現成的視覺模型串起來。
L11 把 Stable Diffusion 架構圖上剩下的三塊補齊。CLIP 用「文字和圖越像越好」的對比訓練，讓 prompt 變成 77×768 的 embedding；排程器把 1000 步的加噪壓成二、三十步的去噪，但 Euler a 這類 ancestral 演算法不會收斂，步數加到 100，人物的衣服和座位都會換掉；LoRA 凍結原本的 W，只學拆成 A·B 的 ΔW。實作用 diffusers 載入 SD 1.5 系模型，第十一週作業是自己做一個生圖 Web App。
資料很多不代表標註很多。ADL 最後一講問：沒有標註時，怎麼學到好的表示？答案是找出背後控制資料的潛在因子。Auto-encoder 把輸入壓成一段短碼再還原；denoising 版本先加雜訊或遮掉 15% 的 token，BERT 的 masked LM 就是這個想法。VAE 規定短碼要服從一個分布，於是能從分布抽樣來生成。Dual learning 讓翻譯與反向翻譯、理解與生成這類對稱任務互相當對方的回饋。自監督學習分兩派：自我預測（遮一部分猜回來）與對比學習（相似的拉近、不相似的推遠）。CLIP 用 4 億組圖文對做對比學習，讓影像分類可以 zero-shot；DALL·E 2 再把 CLIP 的表示拿來生成圖。Fall 2025 只有影片，投影片用 Fall 2024 版補位。
第十七講把 CLIP/SigLIP、LLaVA、Qwen-VL 與 Chameleon 排成三條路：對比式 encoder 學語意、vision encoder+projector+LM 做理解、離散 image tokens 做生成；解析度、token budget 與 modality balance 是共同瓶頸。
攀岩路線有大量圖片資訊（路線圖、岩壁照片），純文字 RAG 遺漏了這些。Multimodal RAG 讓圖片也能被搜尋和理解。