CMU 10-423 第 2、3 講把 RNN 換成 attention。第 2 講先說明 RNN 為什麼不夠用：會遺忘、只能一步步算、梯度仍可能爆炸；再一步步拼出 Transformer 語言模型：scaled dot-product attention、multi-head、layer norm、殘差連接、位置嵌入、causal mask。第 3 講回答怎麼訓練：沒有 n-gram 那種數次數的封閉解，就用 autodiff 加 mini-batch SGD 做最大概似估計；再講 padding、KV cache、三種 tokenizer，最後用 greedy decoding 和 ancestral sampling 說明怎麼一個 token 一個 token 生成。
清大高宏宇 NLP（Fall 2025）解碼與評估單元導讀。前半講模型每一步吐出機率分布之後怎麼選字：greedy 一步錯就回不去，beam search 同時保留幾條候選但偏好短句，top-k／top-p 用抽樣換多樣性（投影片沒寫，教授在課堂口頭補）。後半講怎麼替生成的文字打分：BLEU 的 modified precision 與 brevity penalty、ROUGE-N 與 ROUGE-L、perplexity，以及 GLUE、SQuAD 2.0、MTEB、MMLU 這些 benchmark 各自在量什麼。
ADL Fall 2025 第 9 講回答兩個問題：模型每一步給出一個機率分布，要怎麼從裡面挑字？挑出來的句子又要怎麼評？講義先用 teacher forcing 與 exposure bias 說明訓練和生成的落差，再依序比較 greedy、beam search、sampling、top-k 與 nucleus sampling，把 temperature 與各種 penalty 歸類為「控制」而不是解碼演算法；評估一半講 BLEU、ROUGE、perplexity 與 LLM-Eval，另一半講為什麼要用 RL 直接優化整句的品質。