Skip to content
系列
29 篇文章

CMU 11-785 Introduction to Deep Learning 導讀

逐講讀 CMU 11-785 Spring 2026 的 28 講深度學習教材，並清楚區分公開講授鏈與受限的正式作業鏈。

aiguideCMU 11-785 Introduction to Deep Learning 導讀

從神經網路基礎到序列模型的學習路線｜CMU 11-785 課程總覽

CMU 11-785 Spring 2026 的 28 講內容都有官方 slides 與 YouTube，另有大量公開 bootcamp／recitation；但 HW1–4 的核心規格、starter 與評測依賴 Autolab、Piazza 和 Kaggle。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

導論：從感知器到深度網路｜CMU 11-785 第 1 堂

Spring 2026 Lecture 1 聚焦神經元、感知器、連結主義與深度學習問題設定；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

神經網路作為通用近似器｜CMU 11-785 第 2 堂

Spring 2026 Lecture 2 聚焦布林函數、網路深度與寬度對表示能力的影響（含多輸入 XOR 的例子），並在結尾銜接到下一講的訓練問題；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練一：學習與經驗風險最小化｜CMU 11-785 第 3 堂

Spring 2026 Lecture 3 聚焦學習問題的設定（輸入與輸出如何表示成數字）、perceptron 學習規則及其不適用於多層網路、可微分的 divergence，以及經驗風險最小化（loss）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練二：梯度下降｜CMU 11-785 第 4 堂

Spring 2026 Lecture 4 聚焦導數與梯度的定義、極值與二階導數、沿負梯度反覆更新的梯度下降，以及訓練前要先定義的網路、輸入輸出表示與 divergence；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練三：反向傳播｜CMU 11-785 第 5 堂

Spring 2026 Lecture 5 聚焦分層網路的符號、前向傳遞、chain rule 與 Jacobian（含向量激活函數），以及反向傳遞如何逐層算出權重與偏置的導數；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練四：收斂、損失曲面與動量｜CMU 11-785 第 6 堂

Spring 2026 Lecture 6 聚焦梯度下降的收斂（凸函數與二次函數上的步長選擇、各維度差異）、局部極小與鞍點、遞減或自適應的 learning rate、R-prop，以及 momentum 與 Nesterov 加速梯度；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練五：SGD、batch size 與二階方法｜CMU 11-785 第 7 堂

Spring 2026 Lecture 7 聚焦SGD 與 mini-batch 的增量更新，以及 RMSprop、momentum 等趨勢式更新（二階方法只在投影片，錄影未講）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練六：最佳化器與正則化｜CMU 11-785 第 8 堂

Spring 2026 Lecture 8 聚焦divergence（loss）的選擇、BatchNorm、dropout 與其他正則化手法，以及 early stopping 等訓練技巧（AdaGrad、Adam 不在這支錄影中）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

卷積神經網路一｜CMU 11-785 第 9 堂

Spring 2026 Lecture 9 聚焦為什麼要掃描輸入、把掃描分散到多層、以 max pooling 處理形變，以及 CNN／time delay neural network 的結構；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

卷積神經網路二｜CMU 11-785 第 10 堂

Spring 2026 Lecture 10 聚焦CNN 的來源（Hubel 與 Wiesel、Fukushima 的 Neocognitron）、卷積層與池化層的運算，以及 filter 大小／stride／通道數等設計選擇；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

卷積神經網路三｜CMU 11-785 第 11 堂

Spring 2026 Lecture 11 聚焦CNN 的回顧，以及卷積層與池化層的反向傳播；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

卷積神經網路四｜CMU 11-785 第 12 堂

Spring 2026 Lecture 12 聚焦補充的反向傳播規則（stride、上採樣與下採樣）、對平移以外變換的不變性，以及 CNN 簡史與主要架構的快速介紹；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

循環神經網路一｜CMU 11-785 第 13 堂

Spring 2026 Lecture 13 聚焦序列建模的動機、狀態與記憶、Jordan／Elman 類循環網路、沿時間的反向傳播，以及雙向網路；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

循環神經網路二｜CMU 11-785 第 14 堂

Spring 2026 Lecture 14 聚焦時間反向傳播、梯度穩定性與 LSTM 類 gated memory；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

Seq2Seq 與 CTC｜CMU 11-785 第 15 堂

Spring 2026 Lecture 15 聚焦序列模型訓練時的對齊問題（以明確對齊、重新估計對齊來訓練的做法與其容易落入局部最佳的風險）；CTC 只在結尾被引出，細節留到下一講；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

CTC blank 與 beam search｜CMU 11-785 第 16 堂

Spring 2026 Lecture 16 聚焦blank 符號與相鄰重複符號的合併規則、CTC 的 forward（alpha）機率計算，以及剪枝式的近似解碼（beam 僅在結尾簡短說明）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

語言模型與翻譯｜CMU 11-785 第 17 堂

Spring 2026 Lecture 17 聚焦逐字預測下一個詞的語言模型、條件式翻譯模型，以及 beam search 解碼；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

Attention 與 Transformer｜CMU 11-785 第 18 堂

Spring 2026 Lecture 18 聚焦seq2seq 的 attention 機制（query、key、value 與 softmax 加權平均）、multi-head 的提及，以及對 Transformer 的簡述；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

Transformer 與後續架構｜CMU 11-785 第 19 堂

Spring 2026 Lecture 19 聚焦encoder／decoder 結構、mask、residual path 與架構變體；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

大型語言模型｜CMU 11-785 第 20 堂

Spring 2026 Lecture 20 聚焦規模化自回歸模型、預訓練與 scaling law，以及後訓練（包含讓模型取樣自己的答案並依回饋改進）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

表示學習與 autoencoder｜CMU 11-785 第 21 堂

Spring 2026 Lecture 21 聚焦神經網路到底表示什麼、重建目標（自編碼器），以及它與 PCA（降維）的關係；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

變分自編碼器｜CMU 11-785 第 22 堂

Spring 2026 Lecture 22 聚焦latent variable、ELBO、KL 項與 reparameterization trick；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

擴散模型｜CMU 11-785 第 23 堂

Spring 2026 Lecture 23 聚焦forward noising、reverse denoising、score／noise prediction 與採樣；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

生成對抗網路｜CMU 11-785 第 24 堂

Spring 2026 Lecture 24 聚焦generator、discriminator、minimax objective 與訓練不穩定；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

圖神經網路｜CMU 11-785 第 25 堂

Spring 2026 Lecture 25 聚焦message passing、aggregation、node representation 與 permutation symmetry；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

強化學習｜CMU 11-785 第 26 堂

Spring 2026 Lecture 26 聚焦state、action、reward、return、value 與 policy learning；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

Hopfield 網路｜CMU 11-785 第 27 堂

Spring 2026 Lecture 27 聚焦聯想記憶、能量函數、固定點與 pattern retrieval；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

Boltzmann machine｜CMU 11-785 第 28 堂

Spring 2026 Lecture 28 聚焦能量式機率模型（Gibbs 分布與歸一化常數 Z）、隨機（機率式）神經元，以及如何訓練這類機率網路；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide