Skip to content

從 VPI、Naive Bayes 到 Attention|Berkeley CS188 主題單元

2026年8月22日1 分鐘
TL;DRLecture 19–25 把 rational decisions、VPI 與 ML 接起來,Project 5 再用 PyTorch 實作 regression、分類、CNN、attention 與 optional character-GPT。

🌏 English version

影片狀態:已附影片。 影片來源與說明

Lecture 19–25先談 rational decisions 與 value of perfect information,再進入 decision trees、linear regression、Naive Bayes、neural networks、language models 與 fine-tuning。Project 5則把後半段落到 PyTorch:non-linear regression、手寫數字與語言分類、CNN、attention,以及 optional character-GPT。

這不是另一門完整深度學習課

P5 的作用是讓廣義 AI 課的學生碰到現代 ML workflow:定義 model、forward pass、loss、optimizer、batch 與 training loop。它涵蓋面廣,但不取代專門的最佳化、表示學習或大模型課。把每題當成一個介面練習,比追求在短時間內補齊全部理論更實際。

先讓小模型可解釋地工作

從 regression 開始時,先讓 input/output shape、loss 下降與 held-out behavior 都能說清楚,再進分類。digit classifier 練 multiclass loss;language identification 要處理序列;CNN 題加入 spatial inductive bias;attention 題則要求理解 query、key、value 的張量關係。

官方 P5 規格另提醒 NumPy 2.0 可能造成相容性問題,遇到相關錯誤可使用 1.24.3 或其他低於 2.0 的版本。這是版本重現問題,不要在模型程式裡用奇怪 workaround 掩蓋環境差異。

每完成一題,記錄 baseline、loss curve 與一類失敗案例。local autograder 能檢查介面與門檻,卻不會替你解釋為何模型錯;那一例才是自學者要補的分析。

系列導航:上一篇:Bayes nets 與 Ghostbusters|下一篇:結業路線

課程影片來源

官方 Spring 2026 課表與官方 YouTube 播放清單([CS188 SP26] Live Lectures,28 支)已於 2026-10-10 即時核對,本文嵌入的講課錄影在清單中(課表標為 Recording)。此處不提供未核對的時間跳轉。

YouTube:CS188 Spring 2026 Lecture 19: Rational Decisions

原始影片:CS188 Spring 2026 Lecture 19: Rational Decisions

課程與錄影入口:

查核日期:2026-10-10。

內容核對:已依字幕核對(2026-10-10):抽樣核對(只讀字幕開頭約五千字元):確認嵌入的是 Lecture 19,主題為Rational Decisions;字幕談 rational agent 最大化效用、效用為何能用數字表示(以 minimax 對單調轉換不變為例)、為何取期望,並預告後續 RLHF 與對齊,與本文把 rational decisions 接到 ML 的敘述相符。本文其餘章節講的是同單元其他講次與 Project,不是這支影片的內容。

更新紀錄

  • 2026-10-10:標註影片狀態,核對錄影來源與取得方式。
  • 2026-10-10:重查影片狀態。官方 Spring 2026 課表與 YouTube 播放清單即時核對,嵌入的講課錄影在清單中,狀態改為已附影片。
  • 2026-10-10:依字幕核對影片內容。確認嵌入影片是 Lecture 19(Rational Decisions),主題與本文範圍相符;未發現需更正的影片說法。

參考資料