RNN 語言模型：序列機率與梯度怎麼接起來｜CMU 10-423 第 1 堂
一句「我喜歡貓」不是三個互不相干的字。
#n-gram
5 篇文章清大高宏宇 NLP 第二週：詞向量與語言模型，從數 n-gram 到 RNN｜清大高宏宇 自然語言處理 第 2 週
清大高宏宇 NLP 課第二週的投影片共 62 頁，主題是「預測下一個字」。前半用 bigram 計數表、add-one smoothing 和 perplexity 講統計語言模型，再用 PPMI 的 cherry／digital 例子講稀疏向量；中段回到 Word2Vec 的負採樣，並用「蘋果」一詞說明為什麼需要 contextualized embedding；後半從 FFN 的三個缺點引出 RNN，示範它怎麼做 NER、句子分類，以及 stacked 與雙向版本。
Language——N-gram、Parser、Attention 與 Transformer｜Harvard CS50 AI 第 6 週
第 6 週講電腦怎麼處理自然語言：先用 context-free grammar 手寫規則剖析句子，再改用統計，從 n-gram、Markov chain 生成文字到用 Naive Bayes 判斷評論的正負；接著用 word2vec 把詞變成向量，用 RNN 的 encoder–decoder 處理整個序列，最後是 attention 與 Transformer。附逐段時間連結，以及 Parser、Attention 兩個專案的解題思路、容易出錯的地方與檢查方式。
從 Tokenization 到 N-gram Language Model｜CMU 07-280 第 17 堂
第 17 講先決定文字如何切成 token，再用 N-gram 把序列機率改寫成可從 corpus 計數的條件機率；tokenization 不是前處理小事，而是模型能看見什麼的第一個設計決定。
N-gram 如何訓練、取樣與失敗｜CMU 07-280 第 18 堂
第 18 講把 chain rule 截成 N-gram Markov assumption，以 corpus counts 做 MLE，再比較 greedy、categorical sampling 與 temperature；真正的瓶頸是未見 context 的零機率與固定視窗。