推論方法:模型訓練完之後,還能靠多算一點變聰明|MIT 6.7960 第 24 堂
訓練完的模型不是只能做一次前向傳遞。貪婪取樣不保證找到模型認為最可能的序列(本文的例子裡它拿到 0.30,最佳是 0.36),所以多取樣幾次挑最好的就會進步;評分標準換成驗證器,還能挑出真的對的答案。再把搜尋到的好答案拿回去訓練模型,就是 AlphaGo 與 STaR 的迴圈,Isola 推測 o1 也是這樣做的。
訓練完的模型不是只能做一次前向傳遞。貪婪取樣不保證找到模型認為最可能的序列(本文的例子裡它拿到 0.30,最佳是 0.36),所以多取樣幾次挑最好的就會進步;評分標準換成驗證器,還能挑出真的對的答案。再把搜尋到的好答案拿回去訓練模型,就是 AlphaGo 與 STaR 的迴圈,Isola 推測 o1 也是這樣做的。
CS181 2026 期末(5 月 9 日)能公開拿到的 final checklist、second-half practice 16 題與 final review 66 頁都是 2025 版,涵蓋 Bayes net、EM 等 2026 週表沒有的題目,卻缺 Transformer、VAE、GAN、自迴歸模型。先把 checklist 對上 2026 週表分三類,再用 hw 與 section 補新講題,最後拿 2025 practical 補一次端到端專案。
CS181 Spring 2026 的 HW2(due 2/27)共四題 90 分:用行星觀測資料訓練 10 個 logistic 模型看偏差與變異、推導生成式分類的 MLE、在 27 筆貸款申請資料上實作五種分類器,再用 SGD/Momentum/Adam 看 ridge 怎麼改變損失地形。核心是分清「模型給的機率」和「10 個模型彼此不一致」這兩種不確定性。
CS181 Spring 2026 的 HW3(due 3/23)三題 100 分:先把多項式與 RBF kernel 拆回特徵映射、從 ridge 推到 dual 係數 α 與 support vector 直覺;再手推兩層 sigmoid 網路的 backprop;最後佔一半分數的是在 Fashion-MNIST 上訓練 ResNet,自己量出 scaling law,用 C≈6ND 推算固定算力下模型與資料該怎麼分。
HW4 Problem 2 先在 CelebA 64×64 上訓練卷積 autoencoder,再讓你從 N(0, I) 隨機取樣,看它生不出臉;接著推 ELBO、reparameterization 與封閉形式 KL,最後把同一個骨幹改成 VAE,比較兩者的重建與取樣。
HW4 Problem 1(40 分)分五小題拆解 self-attention:2×2 手算、為什麼除以 √dk、沒有位置編碼時的 permutation equivariance、只用 NumPy 寫單頭注意力、用 PyTorch 寫多頭並在合成資料上畫注意力熱圖。
HW4 Problem 3 用三步量化「多棵樹投票為什麼會準」:Hoeffding 界在 p=0.6 時要 B≈691 棵獨立樹才壓到 10⁻⁶;樹之間相關係數 ρ 讓集成變異數卡在 ρσ²;最後比較隨機森林的密集集成與 MoE 的稀疏路由。
HW5 的 Problem 3–4 把手寫數字丟給三種不看標籤的方法:K-means 用 10 個平均影像代表整批資料,HAC 用合併樹給出任意群數,PCA 用幾個連續方向壓縮影像。三者都在回答「用少量東西描述資料,誤差多大」,作業要你把它們的目標函數與重建誤差放在一起比。
HW5 的 Problem 1–2 都是「把學習變成分類題」:SimCLR 的 NT-Xent 損失是在 2N−1 個候選裡找出同一張圖的另一個增強版本,GAN 的判別器是在分真假。作業要你推出這兩件事的數學(交叉熵等價、最佳判別器與 JS divergence),再在 FashionMNIST 與 MNIST 上把兩套訓練迴圈寫出來。
HW6 Problem 4(20 分)用三個問題拆解「一個 token 接一個 token 生成」的代價:逐步挑最大機率不等於整句最可能、每步重算所有 key 讓成本變成平方級而 KV cache 把它壓回線性、speculative decoding 用小模型先猜再讓大模型一次驗證。全部是紙筆題,但每一題都對應到今天 LLM 推論系統的真實設計。
HW6 Problem 1(15 分)把課堂上的離散 HMM 換成連續狀態:狀態每步加一點高斯雜訊、觀測再加一點雜訊,要你推出 filtering 分布 p(zₜ | x₀…xₜ) 的均值與變異數。這就是一維 Kalman filter。解法只有兩步:先用轉移「預測」,再用觀測「修正」,兩個高斯恆等式題目都給了。
HW6 Problem 2(15 分)給你一張 4×5 的 Gridworld:動作會打滑、獎勵在離開格子時才拿到。你要在 notebook 裡寫 policy evaluation、policy iteration 與 value iteration 各一步,再觀察折扣因子 γ 怎麼改變策略,最後反問「這樣建模機器人任務合理嗎」。環境規則全部已知,所以這是規劃,還不是學習。
HW6 Problem 3(20 分)要你寫一個表格式 Q-learning agent 玩類 Flappy Bird 的 Swingy Monkey,最低標準是 100 局內至少一次超過 50 分,還要再加一個自選的改進。Problem 5(10 分)是 250 字內的倫理題:假設社群平台的使用者政治立場愈來愈極端,用 RL 的概念解釋 reward 設計可能怎麼推了一把。
CS181 Spring 2026 期中考在 3/10 課堂上進行,佔總成績 15%,閉卷但可帶一張雙面筆記。官方 midterm checklist 分成迴歸、分類、神經網路與模型選擇、SVM 四塊;本篇把每塊對回 HW0–HW3 的題號,標出 2026 作業沒練到的缺口,並說明 2025 版 practice、review 與 concept checks 怎麼用。
2025–2026 年 18 個月內有 10+ 張 AI 安全證照密集上市,傳統三強 Security+($439)、AWS Security Specialty($300)、CISSP($749)仍是基礎。非資安專職的 AI 平台開發者,建議三階段:Security+ → AWS Security → SecAI+ 或 CAISP → CISSP,總預算 $1,780–$2,700。
台灣資安法 2.0 已三讀、金管會三級制度到位,但都不強制指定證照——真正的需求來自徵才市場。台灣有 7+ 家培訓機構可選:恆逸課程最齊全(SecAI+、COASP、OSAI+ 三種 AI 安全實體班都有)、WUSON 吳文智是 CISSP 圈的傳奇(月月額滿)、DEVCORE 是首家引進 OffSec 原廠講師的機構。ISC2 考場在台北信義區和高雄,多數證照也支援在家線上監考。
Browser Run 讓 Workers 使用 Cloudflare 管理的 headless Chrome。Quick Actions 適合 screenshot、PDF、HTML、JSON、crawl 這類單次任務;Browser Sessions 則適合 Puppeteer、Playwright、CDP、Stagehand 這類需要完整控制的 automation。
Cloudflare Cache Rules 是 zone 層的快取政策:用 request expression 決定哪些內容 eligible for cache、Edge TTL/Browser TTL 怎麼算、cache key 包哪些維度,以及遇到 stale、ETag、purge 時怎麼處理。它適合管理 CDN 快取規則;Worker Cache API 則適合程式化存取。
Cloudflare Containers 讓 Workers app 呼叫 on-demand serverless container,適合需要完整 filesystem、特定 runtime、既有 container image、更多 CPU/memory/disk 的工作。它不取代 Workers;Worker 保留入口與 routing,container 處理 runtime 太重的那段。
Cloudflare Edge Platform 這條系列回答一個產品問題:怎麼用 Workers、D1、KV、R2、Durable Objects、Queues、Workflows、Cache、Images、Email、Turnstile、Observability、Browser Run、Containers,把網站或 app 跑起來、跑穩、跑便宜。