擴散模型的雜訊預測損失、基礎模型與 LoRA｜Stanford CS229 第 12 堂
前半堂把擴散模型的 ELBO 收成一條式子：每個時間步都是「猜出當初加進去的雜訊」的平方誤差，訓練五步、取樣一個迴圈。後半堂開始講基礎模型：預訓練加適應的兩階段、linear probe、finetune、LP-FT，以及 LoRA 只訓練 2dr 個參數卻省不了多少運算的原因。
#foundation-models
4 篇文章視覺與語言——從 CLIP 的對比學習到會看圖說話的多模態基礎模型｜Stanford CS231N 第 16 堂
CS231N Spring 2026 的視覺與語言講次，先把課程前半的「一個任務一個模型」換成「基礎模型」：先用大量多樣的資料預訓練一個模型，再用微調、zero-shot 或 few-shot 接到許多任務。主角有三條線。第一條是 CLIP：用 4 億組網路圖文配對做雙向對比學習，再把類別名稱寫成句子，就能不經微調直接分類；它也有弱點，分不出「草地上的杯子」和「杯子裡的草」。第二條是 LLaVA、Flamingo 到 Qwen3-VL、Molmo 的視覺語言模型：把圖片特徵接進 LLM，讓模型看圖輸出文字。第三條是 chaining：讓 LLM 寫描述或寫程式，把現成的視覺模型串起來。
Apple 開放 Private Cloud Compute 免費額度：AFM 3 模型家族與開發者該知道的事
Apple 讓 App Store Small Business Program 開發者免費使用跑在 Private Cloud Compute 上的 AFM 3 模型，門檻是首次下載數低於 200 萬次。AFM 3 家族共五個模型，裝置端的 AFM 3 Core Advanced 用 200 億參數稀疏架構只啟動 1–4B，雲端最強的 AFM 3 Cloud Pro 跑在 Google Cloud NVIDIA GPU 上，用 Gemini 輸出做蒸餾式精煉。
Apple Foundation Models——隱私優先的封閉生態 AI，20B 稀疏模型跑在手機上
Apple Foundation Models（AFM）是 Apple 自研的封閉生態 AI 家族，三代演進從 2024 年的 3B dense + LoRA adapter，到 2026 年的五個模型。AFM 3 Core Advanced 用 IFP 稀疏架構把 20B 跑在手機上（只啟動 1–4B），雲端最強的 Cloud Pro 跑在 Google Cloud NVIDIA GPU、用 Gemini 蒸餾精煉。沒有公開 API 定價，沒有第三方 benchmark，只透過 Foundation Models framework 給 iOS/macOS 開發者使用。