Token、Context Window、推論 vs 訓練：用 AI 模型前要知道的三件事
模型不讀字，讀 token——一個中文字通常是 1-2 個 token，一個英文字通常是 1-3 個。Context window 是模型一次能看的 token 上限。推論是用模型，訓練是教模型；你每天在做的是推論。
#tokenization
7 篇文章認識 AI 模型：從 token 到自架，18 篇讀懂模型的通用知識
不需要變成研究員也能系統理解 AI 模型。這個系列從你看得見的東西（token、context window）開始，一路走到自架開源模型，18 篇覆蓋選模型、讀 benchmark、算成本需要的所有基礎。
Tokenization：BPE 演算法，以及為什麼中文比英文貴
模型不是按字數收費，是按 token 收費。BPE 演算法從字元開始，反覆合併最常出現的相鄰配對來建詞表。英文 'understanding' 可能是 1-2 個 token，但中文「理解」可能要 2-3 個——同樣的意思，中文就是比較貴。
CS124 Week 2 Words, Tokens, Edit Distance, and N-grams：LLM 之前先決定模型看見什麼
Week 2 把文字處理拆成三層：以 BPE 建立 token 詞彙、以動態規劃求最小編輯距離，再以 n-gram 近似序列機率；PA1 把正規表示式與 BPE 變成可執行作業。
CS224N 第 7 講：預訓練、subword 與 in-context learning
第 7 講把預訓練拆成可擴張資料、subword tokenization、三種模型目標與 in-context learning；核心取捨是用通用的自監督目標換取可重用表示，再用下游訊號指定用途。
CS224N 第 14 講：Tokenization 如何製造多語言成本差
第 14 講從 word、character/byte 與 subword 切分一路走到 BPE failure cases 和跨語言公平：tokenizer 決定序列長度、運算成本與模型看到的語言單位，因此不是中立前處理。
CS336 Lecture 1：從位元組到 tokenizer，先決定什麼值得隨規模成長
CS336 第一講不把「從零打造語言模型」理解成重做所有舊技術，而是先區分 mechanics、mindset 與 intuitions，再用 BPE 示範如何把原始位元組轉成可訓練的 token。