清大高宏宇 NLP（Fall 2025）Sub-word Tokenization 單元導讀。用空白切詞只適用於西方語言，也處理不了沒看過的詞和德文那種複合字。BPE 從字元出發，反覆把最常一起出現的一對合併進詞彙表，合併幾次就多幾個詞；缺點是貪婪切法不一定最好。Unigram LM 改用機率挑切法，還能抽樣出不同切法。投影片給的詞彙量是 BERT 30522、GPT-2/GPT-3 50257、T5 32,128。
這一堂有兩半。前半講 tokenization：用整個詞當單位，沒看過的詞只能變成 UNK；用字元當單位，意思又組不回來。折衷是 subword，常用的切法是 BPE：從字元開始，反覆把最常相鄰的一對合併。後半講 BERT：靜態詞向量給 apple 只有一個向量，分不出水果和公司。ELMo 用語言模型產生看上下文的表示，BERT 把 LSTM 換成 Transformer，用遮住 15% token 再填回來的 masked LM 與 next sentence prediction 預訓練，再把整個模型微調到下游任務。
模型不是按字數收費，是按 token 收費。BPE 演算法從字元開始，反覆合併最常出現的相鄰配對來建詞表。英文 'understanding' 可能是 1-2 個 token，但中文「理解」可能要 2-3 個——同樣的意思，中文就是比較貴。
第 14 講從 word、character/byte 與 subword 切分一路走到 BPE failure cases 和跨語言公平：tokenizer 決定序列長度、運算成本與模型看到的語言單位，因此不是中立前處理。
CS336 第一講不把「從零打造語言模型」理解成重做所有舊技術，而是先區分 mechanics、mindset 與 intuitions，再用 BPE 示範如何把原始位元組轉成可訓練的 token。