Harvard CS50 AI Week 6：Language——N-gram 語言模型、TF-IDF 問答系統、Parser 與 Attention
Week 6 處理自然語言：N-gram 語言模型平滑、CFG 句法解析、TF-IDF 文檢索、注意力機制、Transformer 概念，專案 Parser 生成句子、Questions 實作問答系統。
#n-gram
3 篇文章CMU 07-280 Lecture 17：從 Tokenization 到 N-gram Language Model
第 17 講先決定文字如何切成 token，再用 N-gram 把序列機率改寫成可從 corpus 計數的條件機率；tokenization 不是前處理小事，而是模型能看見什麼的第一個設計決定。
CMU 07-280 Lecture 18：N-gram 如何訓練、取樣與失敗
第 18 講把 chain rule 截成 N-gram Markov assumption，以 corpus counts 做 MLE，再比較 greedy、categorical sampling 與 temperature；真正的瓶頸是未見 context 的零機率與固定視窗。