Cross-attention 與 DiT:條件如何進入去噪器|CMU 10-423 第 14 堂
以完整數值例子與變式答案理解Cross-attention 與 DiT:條件如何進入去噪器。
以完整數值例子與變式答案理解Cross-attention 與 DiT:條件如何進入去噪器。
追 Q-Former 的 query 讀取與兩階段訓練,再用固定預算計算模型與資料的分配
以完整數值例子與變式答案理解Mixture of Experts:總容量與啟用計算如何分開。
以完整數值例子與變式答案理解分散式訓練:梯度、模型與狀態各如何切分。
以完整數值例子與變式答案理解高效推論:FlashAttention、KV cache 與推測解碼。
區分位置/記憶體/資訊取用並設計受控驗收
從recurrence展開固定卷積並識別selection邊界
把不同危害對應不同資料流與指標
計算 frame、mel 與 WER,再算 codec token 帳並區分擴散採樣
能追時空attention shape並區分影片時間與去噪時間
區分三種世界表示與動作介入證據,再看共識成本與 corrigibility 定理的條件
以完整數值例子與變式答案理解LoRA:少改參數,改的是哪個矩陣。
用公開練習卷區分機率、資料流與評估錯誤,走完序列機率例子,再以變式題驗收。
開放式演化改的是 agent 程式與流程;archive 保留不同分支,保留測試再檢查泛化。
多個程式候選仍需需求反例來挑選;先通過正確性檢查,速度提升才有意義。
取回管理、訓練 KV 表示與 cache 重用處理不同瓶頸;速度與命中率都不保證資料新鮮。
Spotify 在 2026-10-07 把 Confidence、Portal、Xirp 與 Backstage 外掛併成「Spotify Technology」對外賣;核心賭注是 AI 讓寫程式變便宜後,瓶頸會移到判斷,而組織的共用脈絡是資產。營收未揭露;Confidence 有公開定價與免費方案,Xirp 仍是只支援 macOS 的 beta。
多產生候選只能提高正解出現的機會;可信的選擇器才把機會變成實際成功。
最後答案正確不代表推導成立;步驟回饋能定位錯誤,驗證器本身仍需檢查。
外部觀察、執行測試與原則批評提供不同回饋;先辨認訊號,再決定修正或訓練。