從 Tokenization 到 N-gram Language Model｜CMU 07-280 第 17 堂
第 17 講先決定文字如何切成 token，再用 N-gram 把序列機率改寫成可從 corpus 計數的條件機率；tokenization 不是前處理小事，而是模型能看見什麼的第一個設計決定。
#natural-language-processing
3 篇文章N-gram 如何訓練、取樣與失敗｜CMU 07-280 第 18 堂
第 18 講把 chain rule 截成 N-gram Markov assumption，以 corpus counts 做 MLE，再比較 greedy、categorical sampling 與 temperature；真正的瓶頸是未見 context 的零機率與固定視窗。
Word Embedding 如何把下一詞預測變成幾何｜CMU 07-280 第 19 堂
第 19 講以兩個 embedding matrices、dot-product similarity、softmax 與 cross-entropy 建立最小 next-token model，讓相似 context 透過共享向量參數取代 N-gram 的獨立計數格。