Harvard CS50 AI 總結：什麼永恆、什麼改變、下一步走哪條路

🌏 English version

⚠️ 版本提醒：本系列涵蓋講課影片為 2020 年春季錄製（Week 0–5）與 2023 年重錄（Week 6）；專案規格、distribution code、check50 slug 均以 2026 年 OCW 官網最新版為準。

TL;DR

七週十二專案建立的「古典 AI 內功」在 2026 年仍是必修：搜尋、邏輯、機率、優化、反向傳播。但表格型 RL、統計 NLP、手工 CNN 已非主流。免費 OCW 路線材料完整、自動評分閉環，缺口在 LLM 應用層。下一步：Transformer → 微調 → RAG → Agent → 評測。

---

一、什麼是永恆的（2026 年依然核心，甚至更重要）

1. 搜尋與規劃思想

• 狀態空間、Frontier、啟發式、最優性/完整性權衡 — 這套詞彙與思維框架，無論是傳統規劃、機器人運動規劃、還是 LLM 的推理鏈，核心都是在圖上找路徑
• Minimax/Alpha-Beta — 博弈論基礎，AlphaZero/MuZero 的祖師爺
• A 與啟發式設計* — 啟發式函數設計能力 = 領域知識注入能力，這在提示工程中同樣關鍵

2. 邏輯與知識表示

• 命題/一階邏輯、模型檢查、Resolution — 符號系統的嚴格語義，是神經符號融合、程式合成、形式化驗證的基石
• 知識工程流程：領域建模 → 形式化 → 推理 → 驗證 — 這套流程在構建 RAG 知識庫、Agent 工具描述時完全復用

3. 機率圖模型與不確定性推理

• 貝氏網路、條件獨立、D-separation — 因果推理、概率編程、不確定性量化的數學語言
• 馬可夫模型、HMM、PageRank — 序列建模、圖嵌入、圖神經網路的理論前身
• 近似推論（取樣、變分） — 大模型推理時的解碼策略、不確定性估計同源

4. 約束滿足與組合優化

• CSP、AC-3、回溯、啟發式 — 排程、資源分配、編譯器寄存器分配、提示詞約束滿足
• 局部搜尋、模擬退火 — 非凸優化、超參數搜尋、神經架構搜尋的基礎策略

5. 反向傳播與自動微分

• 鏈式法則、計算圖、梯度流向 — 所有深度學習框架的核心引擎；理解它才能 Debug 梯度消失/爆炸、設計自定義層、寫高效 Kernel
• 優化器家族（SGD、Momentum、Adam、Lion、Muon） — 參數更新規則的數學直覺，直接決定訓練穩定性

6. 卷積與平移不變性

• 參數共享、局部感受野、池化、通道 — 視覺基礎模型的起點；雖然 ViT 取代 CNN 成主流，但混合架構、輕量化部署仍大量用到

7. 科學實驗與工程紀律

• Train/Val/Test 分離、交叉驗證、消融實驗、超參數搜尋、隨機種子固定、記錄再現性 — 這套 ML 工程方法論，比任何具體模型架構都更長壽

---

二、什麼已被時代超越（或僅剩教學價值）

主題	當年地位	2026 現況	替代/演進方向
表格型 Q-learning (Nim)	表格型 RL 入門	狀態空間爆炸，實務全用 Deep RL (DQN, PPO, SAC)	DQN → Actor-Critic → Offline RL → RLHF
k-NN / SVM (Shopping)	傳統 ML 基線	結構化資料首選 Gradient Boosting (XGBoost/LightGBM/CatBoost)；非結構化資料用 Embedding + 簡單分類頭	Tabular DL (TabTransformer), AutoML
手工特徵工程	ML 核心技能	表示學習/基礎模型 自動學習特徵；僅在資料極少、領域極專時仍需	Prompt Engineering、Few-shot、RAG 檢索增強
N-gram / TF-IDF (Questions)	統計 NLP 主流	密集向量檢索、重排序模型、LLM 嵌入 完全取代稀疏向量	Dense Retrieval (DPR, Contriever), Reranker (Cross-Encoder), Hybrid Search
CFG / CYK (Parser)	句法分析標準	依存分析、成分分析 由神經網路端到端完成；LLM 直接輸出結構化結果	Structured Generation, Function Calling, JSON Mode
手工 CNN 架構 (Traffic)	視覺分類 SOTA	ViT、ConvNeXt、EfficientNet、Swin、DINOv2 等預訓練骨幹 + 微調	Foundation Models, Transfer Learning, PEFT/LoRA
Seq2Seq + Attention (Week 6 簡介)	NMT 主流	Transformer Encoder-Decoder、Decoder-only (GPT)、Encoder-only (BERT) 統一架構	LLM 全棧

---

三、免費 OCW 自學路線的優缺點總結

✅ 優點（極少見的完整閉環）

1. 材料 100% 開放：影片、投影片、逐字稿、Notes、Quiz、Projects、Distribution Code、check50、submit50、Gradebook
2. 自動評分即時回饋：check50 本地跑、submit50 交分數，五分鐘內知道對錯 — 這是付費課程才有的體驗
3. 專案設計教學純度高：每個專案切中單一核心算法，無雜訊，做完即內化
4. 證書免費：12 專案均 ≥70% 即可領 CS50 Certificate，無門檻
5. 社群龐大：GitHub 上無數參考實作、討論串、Debug 經驗

❌ 缺點（必須補齊）

1. 錄影老舊：Week 0–5 為 2020 年，Week 6 為 2023 年 — 錯過 Transformer 普及、LLM 爆發、RAG/Agent 生態
2. 無 LLM 應用層：Prompt Engineering、RAG、Function Calling、Agent 循環、評測基準（MMLU, GSM8K, HumanEval）、安全/對齊 — 全缺
3. 無分散式/大規模訓練：單機單卡、小資料集、玩具專案 — 產業級訓練/推理工程完全未觸及
4. 無 MLOps/LLMOps：CI/CD、模型版本、監控、A/B 測試、線上推理優化 — 就業必備
5. 數學深度有限：證明略過、推導跳過 — 要做研究需自補《PRML》、《DLB》、《Information Theory》

---

四、2026 年接著該學什麼：後續路線圖

CS50 AI 完成 (12 Projects ✓)
         │
         ▼
┌─────────────────────────────────────┐
│  Phase 1: Transformer 內功 (2-4 週)  │
├─────────────────────────────────────┤
│  ▸ 《Attention Is All You Need》精讀  │
│  ▸ 手寫 Mini-GPT (nanoGPT 風格)      │
│  ▸ 理解：Q/K/V、Multi-Head、RoPE、   │
│     LayerNorm、Residual、FFN、因果遮罩│
│  ▸ 從零訓練字元級語言模型 (TinyStories)│
└─────────────────────────────────────┘
         │
         ▼
┌─────────────────────────────────────┐
│  Phase 2: LLM 微調與對齊 (3-6 週)    │
├─────────────────────────────────────┤
│  ▸ LoRA/QLoRA 參數高效微調           │
│  ▸ SFT (Supervised Fine-Tuning)      │
│  ▸ DPO / PPO / GRPO 偏好優化         │
│  ▸ 評測：MT-Bench, AlpacaEval,       │
│     特定領域 Benchmark               │
│  ▸ 工具：Unsloth, Axolotl, TRL,      │
│     LLaMA-Factory                    │
└─────────────────────────────────────┘
         │
         ▼
┌─────────────────────────────────────┐
│  Phase 3: RAG 與 Agent 工程 (4-8 週) │
├─────────────────────────────────────┤
│  ▸ 密集檢索：Embedding Model 選型、  │
│     Chunking 策略、Hybrid Search     │
│  ▸ 重排序：Cross-Encoder Reranker    │
│  ▸ 生成：Citation、Groundedness、    │
│     長上下文處理                     │
│  ▸ Agent：ReAct、Tool Use、Planning、│
│     Multi-Agent、State Management    │
│  ▸ 框架：LangGraph, LlamaIndex,      │
│     AutoGen, CrewAI, PydanticAI      │
└─────────────────────────────────────┘
         │
         ▼
┌─────────────────────────────────────┐
│  Phase 4: 生產級工程與評測 (持續)    │
├─────────────────────────────────────┤
│  ▸ 推理優化：vLLM, TGI, TensorRT-LLM,│
│     量化 (AWQ, GPTQ, GGUF)           │
│  ▸ 觀測：LangSmith, Phoenix, Weave   │
│  ▸ 評測體系：自動/人工/紅隊、        │
│     領域特定指標、線上 A/B           │
│  ▸ 安全：Red-teaming, Guardrails,    │
│     Constitutional AI                │
└─────────────────────────────────────┘

推薦資源清單（2026 年版）

類別	推薦資源	備註
Transformer 深度	The Annotated Transformer (Harvard NLP)	逐行註解 PyTorch 實作
	nanoGPT (Karpathy)	最乾淨的從零訓練 GPT 代碼
	Transformers from Scratch (Peter Bloem)	數學直覺導向
微調/對齊	Hugging Face PEFT/trl 文檔 + LLaMA-Factory	產業標準工具鏈
	Alignment Handbook (HF)	SFT/DPO/PPO 完整食譜
	Direct Preference Optimization 原論文	理解 DPO 數學
RAG/檢索	Retrieval-Augmented Generation 綜述 (Lewis et al.)	理論基礎
	LlamaIndex / LangChain 官方教學	工程落地
	RAGAS / TruLens / Ragas 評測框架	系統級評測
Agent	ReAct 原論文 (Yao et al.)	思考+行動循環
	LangGraph 官方教學	狀態機式 Agent 圖
	AutoGen / CrewAI 多 Agent 框架	協作模式
推理工程	vLLM 文檔 + PagedAttention 論文	高吞吐推理核心
	llama.cpp / GGUF 量化實戰	邊緣/消費級部署
評測/安全	HELM / Open LLM Leaderboard / LMSYS Chatbot Arena	基準認知
	Red Teaming 實戰指南 (Anthropic, Google)	安全工程
系統/MLOps	MLOps Zoomcamp (DataTalksClub)	端到端工程
	MLflow / Weights & Biases / ClearML	實驗追蹤

---

五、給不同目標的具體建議

目標	建議路徑	預估時間
轉職 AI 工程師	CS50 AI → Phase 1→2→3 核心 → 刷 3-5 個端到端專案作品集 → 投遞	6-12 個月
做 LLM 應用產品	CS50 AI → Phase 3 RAG/Agent 重點 → 熟一套框架 → 做 Demo → 找 PM/客戶	3-6 個月
攻讀 ML PhD / 進研究組	CS50 AI → 重補數學 (PRML Ch1-4, DLB Ch2-4, Convex Opt) → 讀近三年 TopConf 論文 → 復現 1-2 篇	12-24 個月
獨立開發者/副業	CS50 AI → Phase 1→3 輕量版 → 直接上手 API (OpenAI/Anthropic/本地模型) → 快速迭代產品	1-3 個月
純興趣/通識	CS50 AI 完成即可，選讀 Phase 1 理解原理	2-3 個月

---

六、回顧與致謝

這十篇系列文（Overview + 7 Weeks + 2 Synthesis + Wrap-up）梳理了 CS50 AI 的完整知識骨架。感謝：

• Brian Yu & David Malan 設計這門課，並在 OCW 完全開放
• CS50 團隊 維護 check50/submit50/Gradebook 基礎設施至今
• 每一位在 GitHub、Ed Discussion、Reddit 分享 Debug 經驗的學習者 — 你們讓自學不再孤單

「AI 不等於深度學習；深度學習不等於 Transformer；Transformer 不等於 LLM；LLM 不等於 Agent。但這一切的基石，都在這七週裡。」

---

系列完整連結（收藏備查）

Order	文章	連結
0	Overview 總覽	Harvard CS50 AI 導讀
1	Week 0 Search	搜尋：DFS/BFS/A*/Minimax
2	Week 1 Knowledge	知識：邏輯/模型檢查/Resolution
3	Week 2 Uncertainty	不確定性：貝氏網路/馬可夫/PageRank
4	Week 3 Optimization	優化：CSP/AC-3/退火/Crossword
5	Week 4 Learning	學習：k-NN/SVM/Q-learning/Shopping/Nim
6	Week 5 Neural Networks	神經網路：反向傳播/CNN/Traffic
7	Week 6 Language	語言：N-gram/TF-IDF/Attention/Parser/Questions
8	Synthesis 1	知識弧線：從搜尋到語言
9	Synthesis 2	專案組合：12 Projects 比較
10	Wrap-up (本文)	永恆/變遷/下一步

---

參考資料

• CS50 AI OpenCourseWare — 所有材料官方入口
• CS50 AI YouTube 播放列表
• CS50 Certificate 說明 — 免費證書條件
• check50 文件
• Deep Learning (Goodfellow, Bengio, Courville) — 理論聖經
• Pattern Recognition and Machine Learning (Bishop) — 機率圖模型權威
• Attention Is All You Need (Vaswani et al., 2017) — Transformer 起源
• The Annotated Transformer (Harvard NLP) — 逐行教學
• nanoGPT (Karpathy) — 最小可訓練 GPT
• Hugging Face Alignment Handbook — 微調/對齊工程手冊
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020) — RAG 起源
• ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al., 2022) — Agent 範式
• 站內：世界名校 AI／CS 課程地圖 — A3 分級定義
• 站內：Harvard AI/ML 課程地圖 — CSCI S-80 版本對照