Skip to content
所有分類

ai

1274 篇文章
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練三：反向傳播｜CMU 11-785 第 5 堂

Spring 2026 Lecture 5 聚焦分層網路的符號、前向傳遞、chain rule 與 Jacobian（含向量激活函數），以及反向傳遞如何逐層算出權重與偏置的導數；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練四：收斂、損失曲面與動量｜CMU 11-785 第 6 堂

Spring 2026 Lecture 6 聚焦梯度下降的收斂（凸函數與二次函數上的步長選擇、各維度差異）、局部極小與鞍點、遞減或自適應的 learning rate、R-prop，以及 momentum 與 Nesterov 加速梯度；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練五：SGD、batch size 與二階方法｜CMU 11-785 第 7 堂

Spring 2026 Lecture 7 聚焦SGD 與 mini-batch 的增量更新，以及 RMSprop、momentum 等趨勢式更新（二階方法只在投影片，錄影未講）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

訓練六：最佳化器與正則化｜CMU 11-785 第 8 堂

Spring 2026 Lecture 8 聚焦divergence（loss）的選擇、BatchNorm、dropout 與其他正則化手法，以及 early stopping 等訓練技巧（AdaGrad、Adam 不在這支錄影中）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

卷積神經網路一｜CMU 11-785 第 9 堂

Spring 2026 Lecture 9 聚焦為什麼要掃描輸入、把掃描分散到多層、以 max pooling 處理形變，以及 CNN／time delay neural network 的結構；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

卷積神經網路二｜CMU 11-785 第 10 堂

Spring 2026 Lecture 10 聚焦CNN 的來源（Hubel 與 Wiesel、Fukushima 的 Neocognitron）、卷積層與池化層的運算，以及 filter 大小／stride／通道數等設計選擇；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

卷積神經網路三｜CMU 11-785 第 11 堂

Spring 2026 Lecture 11 聚焦CNN 的回顧，以及卷積層與池化層的反向傳播；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

卷積神經網路四｜CMU 11-785 第 12 堂

Spring 2026 Lecture 12 聚焦補充的反向傳播規則（stride、上採樣與下採樣）、對平移以外變換的不變性，以及 CNN 簡史與主要架構的快速介紹；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

循環神經網路一｜CMU 11-785 第 13 堂

Spring 2026 Lecture 13 聚焦序列建模的動機、狀態與記憶、Jordan／Elman 類循環網路、沿時間的反向傳播，以及雙向網路；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

循環神經網路二｜CMU 11-785 第 14 堂

Spring 2026 Lecture 14 聚焦時間反向傳播、梯度穩定性與 LSTM 類 gated memory；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

Seq2Seq 與 CTC｜CMU 11-785 第 15 堂

Spring 2026 Lecture 15 聚焦序列模型訓練時的對齊問題（以明確對齊、重新估計對齊來訓練的做法與其容易落入局部最佳的風險）；CTC 只在結尾被引出，細節留到下一講；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

CTC blank 與 beam search｜CMU 11-785 第 16 堂

Spring 2026 Lecture 16 聚焦blank 符號與相鄰重複符號的合併規則、CTC 的 forward（alpha）機率計算，以及剪枝式的近似解碼（beam 僅在結尾簡短說明）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

語言模型與翻譯｜CMU 11-785 第 17 堂

Spring 2026 Lecture 17 聚焦逐字預測下一個詞的語言模型、條件式翻譯模型，以及 beam search 解碼；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

Attention 與 Transformer｜CMU 11-785 第 18 堂

Spring 2026 Lecture 18 聚焦seq2seq 的 attention 機制（query、key、value 與 softmax 加權平均）、multi-head 的提及，以及對 Transformer 的簡述；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

Transformer 與後續架構｜CMU 11-785 第 19 堂

Spring 2026 Lecture 19 聚焦encoder／decoder 結構、mask、residual path 與架構變體；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

大型語言模型｜CMU 11-785 第 20 堂

Spring 2026 Lecture 20 聚焦規模化自回歸模型、預訓練與 scaling law，以及後訓練（包含讓模型取樣自己的答案並依回饋改進）；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

表示學習與 autoencoder｜CMU 11-785 第 21 堂

Spring 2026 Lecture 21 聚焦神經網路到底表示什麼、重建目標（自編碼器），以及它與 PCA（降維）的關係；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

變分自編碼器｜CMU 11-785 第 22 堂

Spring 2026 Lecture 22 聚焦latent variable、ELBO、KL 項與 reparameterization trick；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

擴散模型｜CMU 11-785 第 23 堂

Spring 2026 Lecture 23 聚焦forward noising、reverse denoising、score／noise prediction 與採樣；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide
aiguideCMU 11-785 Introduction to Deep Learning 導讀

生成對抗網路｜CMU 11-785 第 24 堂

Spring 2026 Lecture 24 聚焦generator、discriminator、minimax objective 與訓練不穩定；本文依官方 slides 與錄影重建主線，並提供不依賴課內 grader 的小型自我檢查。

#cmu#deep-learning#neural-networks#course-guide