依官方 17 份講義、77 支錄影、助教課與 HW1 規格，讀台大陳縕儂深度學習之應用（ADL）Fall 2025：從神經網路、RNN、Transformer、BERT，到預訓練、RLHF、LoRA、RAG、生成解碼、安全對齊、Language Agents 與 Reasoning。
台大資工陳縕儂的《深度學習之應用》（ADL）Fall 2025 是一門以 NLP 為主軸的深度學習課：從神經網路基礎一路講到 Transformer、BERT、預訓練與 prompt、後訓練、LoRA、RAG、生成評估、對齊議題與 Language Agents。L0–L11 有講義 PDF 與分段影片，播放清單另外多出 L12–L14 三講影片；作業端只有 HW1 規格公開，HW2、HW3 與期末專題只有說明影片，所以存取分級是 A2。
ADL Fall 2025 的第一份自學講義把機器學習講成「從資料裡找一個函數」，把深度學習講成「一條由很多簡單函數串起來、每一站都由機器自己學的生產線」。它用語音與影像說明 deep 和 shallow 的差別，用大數據與 GPU 解釋 2010 年後的突破，再用 universality theorem 追問為什麼要深而不是胖。最後一段最實用：學習任務由輸出領域決定，網路架構要配合輸入領域的性質。
ADL Fall 2025 的 NN Basics 與 Backpropagation 兩份講義，把「訓練一個模型」拆成三個問題：模型是什麼（一層層的神經元，每層是 z = Wa + b 再過非線性）、什麼叫好的函數（loss 越小越好）、怎麼挑出最好的（gradient descent，實務上用 mini-batch SGD）。上百萬個參數的梯度靠 backpropagation 有效率地算：forward pass 存下每層輸出，backward pass 從輸出層往回傳誤差訊號 δ，兩者相乘就是每個權重的梯度。
ADL Fall 2025 第一堂正課的主線只有一條：語言模型就是預測下一個詞。從 one-hot 與共現矩陣出發，走過 n-gram 的零機率問題、neural LM 自動做到的平滑，再到把所有前文壓進 hidden state 的 RNN LM。BPTT 與梯度消失／爆炸是訓練上的代價，LSTM、GRU 用 gating 補救；最後用「輸入是序列」與「輸出是序列」兩類應用，把 tagging 與 encoder-decoder 分開。
RNN 做翻譯時，要把整句壓進一個向量，句子一長就記不住。Attention 讓解碼器每產生一個字，都回頭對輸入的每個位置打分數、取加權和；把打分數的一方叫 query、被比對的叫 key、被加權的叫 value，就是 dot-product attention。Transformer 再往前一步：讓輸入自己對自己做 attention，完全拿掉 recurrence，換來平行化與固定的路徑長度，代價是要另外補上位置資訊。
用整個詞當單位，沒看過的詞只能變成 UNK；用單一字元當單位，意思又很難組回來。ADL 這一講用 22 頁投影片說明主流的折衷：subword，以及最常用的切法 BPE。重點是一個 4 個詞、16 次出現的小語料，從字元開始，每次把最常相鄰的一對合併，9 次合併後得到 newest</w>、low</w> 這些單位，再拿來切沒看過的 lowest 與 powest。最後用 GPT-3 tokenizer 示範：同一句話的中文版比英文版多一倍 token。
靜態詞向量給 apple 只有一個向量，不管它是水果還是公司。ADL Fall 2025 的 BERT 講從這個多義詞問題出發：TagLM 先用語言模型補上下文，ELMo 用深層雙向 LSTM 產生 contextual embedding，BERT 把 LSTM 換成 Transformer，並用 Masked LM 與 Next Sentence Prediction 兩個目標預訓練，下游只要在最上層加分類器或標註器微調。彈性補充的 BERT Variants 講義再往外走一圈：Transformer-XL 拉長 context、XLNet 用 permutation LM 兼顧 AR 與 AE、RoBERTa 靠更多資料與更好的訓練設定、SpanBERT 改成遮整段 span、mBERT 與 XLM 處理多語。這篇是下一篇 HW1 用 bert-base-chinese 做抽取式 QA 的直接前置。
ADL Fall 2025 的 HW1 給一個問題和四段中文文字，要模型先挑出相關的那一段（paragraph selection，當成四選一的 multiple choice），再在那段裡標出答案的起點和終點（span selection），用 Exact Match 評分。規格投影片直接指定改 HuggingFace 的 run_swag_no_trainer.py 與 run_qa_no_trainer.py，simple baseline 用 bert-base-chinese、長度 512、有效 batch size 2、learning rate 3e-5，在 8GB 的 RTX 3070 上兩段加起來不到三小時。Kaggle 排行榜 9/29 截止、程式與報告 10/1 交到 NTU COOL。校外讀者拿不到 Kaggle 資料與評分，但任務設計、baseline 設定和報告五題都能照著練。
ADL Fall 2025 第 6 講把預訓練模型分成三類：encoder（BERT 家族，雙向上下文）、decoder（GPT 系列，擅長生成）、encoder-decoder（BART、T5，用去噪目標預訓練）。接著點出預訓練模型時代的兩個實際難關：下游標註資料少，以及模型越來越大、每個任務各存一份放不下。講義的解法是 prompt learning：先用 GPT-3 的 in-context learning 說明「不更新參數也能做任務」，再從人寫的 hard prompt（prompt template＋verbalizer、LM-BFF）走到直接優化向量的 soft prompt（P-Tuning、Prefix-Tuning、Prompt Tuning），最後用 Liu 等人的 prompting 分類法收尾。
預訓練讓模型會接話，不代表它會照指令做事。ADL Fall 2025 的 Post-Training 講義分兩步補上：先用 instruction tuning（FLAN、T0）教模型讀懂任務描述，再用 RLHF 讓它朝人類偏好靠攏。講義用 instruction tuning 的三個限制把兩步接起來，用 reward model 與成對比較解決 RL 的兩個實務問題，最後以 InstructGPT 的 SFT → reward model → PPO 三步驟當總結，並說明 ChatGPT 把同一套流程搬到多輪對話。
LLM 大到整個微調不划算時，ADL Fall 2025 的 LLM Adaptation 講義給出三種只改一小部分的做法：在 Transformer 裡插入小型 Adapter、用低秩矩陣表示權重更新的 LoRA，以及只學前綴或軟提示的 prompt tuning。講義的結論是沒有一種方法適合所有任務。HW2 的公開資訊只有一句題目「LLM Tuning and Prompt Tuning for Classical Chinese Translation」，資料、baseline 與評分都沒有文字版。
LLM 記不住長尾知識、知識會過時，也碰不到私有文件。ADL Fall 2025 的 RAG 講義先用「問 LLM 陳縕儂是誰」的幻覺例子開場，再把 RAG 拆成索引、檢索、生成三段：sparse（TF-IDF、BM25）與 dense（DPR、Contriever）檢索、dense retriever 怎麼訓練、pre-／post-retrieval 的進階技巧與 pointwise／pairwise 重排序，最後用「檢索什麼、怎麼用、何時檢索」三個問題整理 RAG、RETRO、FLARE、Search-R1 等演進。HW3 的公開資訊只有題目「Retriever & Reranker Training for RAG」。
ADL Fall 2025 第 9 講回答兩個問題：模型每一步給出一個機率分布，要怎麼從裡面挑字？挑出來的句子又要怎麼評？講義先用 teacher forcing 與 exposure bias 說明訓練和生成的落差，再依序比較 greedy、beam search、sampling、top-k 與 nucleus sampling，把 temperature 與各種 penalty 歸類為「控制」而不是解碼演算法；評估一半講 BLEU、ROUGE、perplexity 與 LLM-Eval，另一半講為什麼要用 RL 直接優化整句的品質。
ADL Fall 2025 第 10 講把預訓練模型的問題分成四組，每組配一個目標：bias 對 fairness、toxicity 對 safety、hallucination 對 factuality，最後是 alignment。講義的主張是偏見可能從 ML 管線任何一個環節進來，安全防護要在資料、輸入、訓練、輸出四層都做，幻覺可以拆成原子事實逐條查，而 reward model 被過度優化時，會出現囉嗦、過度道歉、過度拒答這些熟悉的症狀。同一週公布的期末專題叫 Jailbreaking Olympics，但公開的只有兩支說明影片的標題與一行說明。
ADL Fall 2025 第 11 講以 EMNLP 2024 的 Language Agents tutorial 為底，把 agent 定義成「感知環境並採取行動的實體」，再指出 language agent 的新東西：推理本身也是一種內部行動。講義用推理、記憶、規劃三個概念組織整講，推理這段講 CoT 與 ReAct，記憶這段講 Generative Agents 的 recency／importance／relevance 檢索，規劃這段從貪婪的反應式規劃講到 tree search 與 world model，最後用初始化、協作、團隊優化三步驟講多代理系統。
ADL Fall 2025 的 Reasoning 一講沒有公開投影片，只有播放清單上的五支影片：12.1 什麼是推理、12.2 Short CoT、12.3 Test-Time Scaling、12.4 Learning to Reason（模仿別人推理）、12.5 RL for Reasoning（探索自行演化出推理行為）。這篇只依影片標題排出這條路線，再搭配前一講 Language Agents 講義裡 CoT、ReAct 與「reasoning 擴大 action space」那幾頁；技術細節交給站內 CS224N、CME295 的 reasoning 篇。
對話系統分成閒聊與任務型兩支。任務型系統傳統上拆成四個模組：語言理解（LU）把句子變成 domain／intent／slot，對話狀態追蹤（DST）累積使用者目標，對話策略決定下一步系統動作，NLG 把動作寫回句子。LLM 能自己把四步演完，卻沒辦法真的去訂位，所以要接外部工具：LaMDA 學會呼叫搜尋、計算機與翻譯器，BlenderBot 2.0 加上網路搜尋與長期記憶，WebGPT 用人類示範、reward model 與 PPO 學會操作瀏覽器，Toolformer 則讓模型自己產生並篩選工具使用的訓練資料。最後是對話怎麼評：自動指標、四種人工評估，以及 LLM-Eval。ADL Fall 2025 只有影片，投影片用 Fall 2024 版補位。
資料很多不代表標註很多。ADL 最後一講問：沒有標註時，怎麼學到好的表示？答案是找出背後控制資料的潛在因子。Auto-encoder 把輸入壓成一段短碼再還原；denoising 版本先加雜訊或遮掉 15% 的 token，BERT 的 masked LM 就是這個想法。VAE 規定短碼要服從一個分布，於是能從分布抽樣來生成。Dual learning 讓翻譯與反向翻譯、理解與生成這類對稱任務互相當對方的回饋。自監督學習分兩派：自我預測（遮一部分猜回來）與對比學習（相似的拉近、不相似的推遠）。CLIP 用 4 億組圖文對做對比學習，讓影像分類可以 zero-shot；DALL·E 2 再把 CLIP 的表示拿來生成圖。Fall 2025 只有影片，投影片用 Fall 2024 版補位。
ADL Fall 2025 課程頁排了 7 堂助教課：Dev Infra（PyTorch、Debugging）→ NLP 專案的一生 → NLP 專案的底層邏輯 → LLM LoRA Training → LLM Basics／Architecture／MoE → LLM Inference & Evaluation → LLM Deployment。10 支影片全部是林彥廷在 2023 與 2024 年錄的舊片，Fall 2025 沿用；課程頁上的 5 份講義連結都 404，同名檔在 Fall 2024 路徑可以打開，Deployment 只有影片。前三堂把 Hugging Face 的「資料→模型→Demo」流程走一遍，正好是 HW1 需要的工具；後四堂補 LLM 的訓練、推論與上線。