RNN 語言模型：序列機率與梯度怎麼接起來｜CMU 10-423 第 1 堂
一句「我喜歡貓」不是三個互不相干的字。
#language-model
15 篇文章Transformer、訓練與解碼：三個不同問題｜CMU 10-423 主題單元
同樣一份歷史文字，模型怎麼讀、怎麼學、怎麼抽下一個token，是三個問題。注意力決定資訊如何混合；訓練目標用正確答案改參數；解碼策略在固定模型下選輸出。原本把第2–3堂合在一起，容易讓讀者以為換解碼策略就是換模型。這篇保留主題關係，完整機制與練習分開讀。
離散擴散，用 CTMC 生成語言｜MIT 6.S184 第 5 堂
文字是一串離散 token，沒有方向可以走，ODE 和 SDE 都不存在。第 5 講把前四講的配方原封不動搬過來，只換掉底層的隨機過程：向量場換成 rate matrix，ODE 換成連續時間馬可夫鏈（CTMC），continuity equation 換成 Kolmogorov forward equation。用 factorized mixture path 當機率路徑時，要學的邊際 rate matrix 只剩一個未知數：給定加噪句子，每個位置原本是哪個 token 的機率。於是訓練離散擴散模型變成對每個位置做分類，loss 就是 cross-entropy；把雜訊設成全部 [mask]，就得到 masked diffusion language model。
清大高宏宇 NLP 第二週：詞向量與語言模型，從數 n-gram 到 RNN｜清大高宏宇 自然語言處理 第 2 週
清大高宏宇 NLP 課第二週的投影片共 62 頁，主題是「預測下一個字」。前半用 bigram 計數表、add-one smoothing 和 perplexity 講統計語言模型，再用 PPMI 的 cherry／digital 例子講稀疏向量；中段回到 Word2Vec 的負採樣，並用「蘋果」一詞說明為什麼需要 contextualized embedding；後半從 FFN 的三個缺點引出 RNN，示範它怎麼做 NER、句子分類，以及 stacked 與雙向版本。
詞向量、語言模型與 RNN：怎麼表示一個詞、怎麼預測下一個詞｜台大陳縕儂 深度學習之應用 第 3 堂
這一堂有一條主線：語言模型要估計一串詞出現的機率，做法是一次預測下一個詞。先講詞怎麼表示，從字典、one-hot、共現矩陣走到低維的 word embedding。再講語言模型的三代：n-gram 用數的，沒看過的組合機率是零；neural LM 用網路預測，相近的詞自動分到機率；RNN LM 把所有前文累積在 hidden state，每個時間點共用同一組權重。RNN 用 BPTT 訓練，同一個矩陣乘很多次會讓梯度消失或爆炸，爆炸用 clipping，消失靠 LSTM、GRU 的 gating。最後依輸入與輸出的形狀，把應用分成整句分類、tagging 與 encoder-decoder。
Diffusion LLM 的三種雜訊、一條訓練目標與平行解碼的代價｜Stanford CME295 2026 版 第 8 堂
CME295 2026 版第 8 講（11 月 20 日）把 diffusion LLM 拉成整講，課表列了 continuous、discrete、masked diffusion、訓練與推論五個子題。課前預寫版依 DDPM、D3PM、SEDD、MDLM、LLaDA 等原始論文整理：連續雜訊在文字上要付約 64 倍算力，[MASK] 吸收態勝出；訓練目標是乘上 1/t 的 masked cross-entropy；推論的速度來自每步多填幾格，但 LLaDA 主要結果其實每步只解一個 token，Fast-dLLM 靠信心門檻與近似 KV cache 才拿到最多 27.6 倍加速。
Language——N-gram、Parser、Attention 與 Transformer｜Harvard CS50 AI 第 6 週
第 6 週講電腦怎麼處理自然語言：先用 context-free grammar 手寫規則剖析句子，再改用統計，從 n-gram、Markov chain 生成文字到用 Naive Bayes 判斷評論的正負；接著用 word2vec 把詞變成向量，用 RNN 的 encoder–decoder 處理整個序列，最後是 attention 與 Transformer。附逐段時間連結，以及 Parser、Attention 兩個專案的解題思路、容易出錯的地方與檢查方式。
從 Tokenization 到 N-gram Language Model｜CMU 07-280 第 17 堂
第 17 講先決定文字如何切成 token，再用 N-gram 把序列機率改寫成可從 corpus 計數的條件機率；tokenization 不是前處理小事，而是模型能看見什麼的第一個設計決定。
N-gram 如何訓練、取樣與失敗｜CMU 07-280 第 18 堂
第 18 講把 chain rule 截成 N-gram Markov assumption，以 corpus counts 做 MLE，再比較 greedy、categorical sampling 與 temperature；真正的瓶頸是未見 context 的零機率與固定視窗。
Word Embedding 如何把下一詞預測變成幾何｜CMU 07-280 第 19 堂
第 19 講以兩個 embedding matrices、dot-product similarity、softmax 與 cross-entropy 建立最小 next-token model，讓相似 context 透過共享向量參數取代 N-gram 的獨立計數格。
Words, Tokens, Edit Distance, and N-grams：LLM 之前先決定模型看見什麼｜Stanford CS124 第 2 週
第 2 週教三件事：用 BPE 把文字切成 token、用動態規劃算兩個字串的編輯距離、用 n-gram 估下一個詞的機率並用 perplexity 評估。每一項都可以用紙筆算，本文各走一個例子。
預訓練、subword 與 in-context learning｜Stanford CS224N 第 7 堂
第 7 講把預訓練拆成可擴張資料、subword tokenization、三種模型目標與 in-context learning；核心取捨是用通用的自監督目標換取可重用表示，再用下游訊號指定用途。
語言模型、RNN 與消失梯度｜Stanford CS224N 第 4 堂
第 4 講把語言模型定義成下一詞機率分布，再用 RNN 壓縮任意長前文；它同時揭露 recurrence 的核心代價：資訊與梯度都必須沿時間步逐步傳遞。
資料受限時，語言模型還能怎麼擴展｜Stanford CS224V 第 14 堂
最後一講不是完整 LLM 訓練教學，而是資料效率研究：在 compute 充足、資料固定時重看 epochs、batch、ensemble 與 self-training，再研究 synthetic continued pretraining 的可擴展條件。
從 n-gram、詞表示到文字分類｜Berkeley CS288 主題單元
前四組教材先建立可計數、可表示、可分類的文字模型；A1 再要求從 n-gram、perceptron 做到 NBOW MLP。