高宏宇 Fall 2025 的 W8 投影片從 GPT-1 一路講到 GPT-3，順帶解釋 GPT-3 用的 Sparse Transformer 怎麼省掉注意力的計算，再用 InstructGPT 說明「會接話」和「聽得懂指令」之間差了什麼：最大概似目標分不出編造事實和挑錯同義詞哪個嚴重，所以要多三步——SFT 學人類怎麼寫、reward model 學人類怎麼評分、PPO 依評分調整並用 KL penalty 綁住不要跑太遠。最後以 Llama-2 收尾：分開訓練 safety 和 helpfulness 兩個 reward model、context distillation，以及推論加速用的 GQA。
清大高宏宇 NLP 課第一週的 W1_NLP_brief 共 91 頁：先用「Watch for kids」、望遠鏡句的五種讀法、大舅到十一舅的繞口令說明語言為什麼難，再從資訊檢索的角度，把倒排索引、tokenization、stemming、TF-IDF、BM25 講成一條管線。後半段處理這條管線的死穴（同義詞、一詞多義、詞彙對不上），走到 LSA 的 SVD 降維，最後用 Skip-gram、GloVe、FastText 預告稠密詞向量。
清大資工高宏宇老師的《自然語言處理》是 TAICA 聯盟的研究所級主導課程，Syllabus 寫明開放 1200 人、中文授課，從 TF-IDF、詞向量一路講到 RLHF、PEFT 與 RAG。Fall 2025 的投影片、32 支課堂錄影、4 份作業題目與 starter notebook 都放在 GitHub，評為 A3；拿不到的是解答、評分與期末專題規格。Fall 2026 正在進行，只放到 W3，評為 A2；評分改成作業 75%＋實體期中考 25%，並新增 Reasoning／Agent 單元。
高宏宇 Fall 2025 的 PEFT 投影片先算一筆帳：Llama 2-7B 用 16-bit 全參數微調約要 56GB 顯示卡記憶體，只訓練 0.2M 個參數就降到約 17GB，因為梯度和優化器狀態幾乎歸零。接著用 intrinsic dimensionality 解釋為什麼只調一小撮參數就夠：預訓練越久、模型越大，微調需要的有效維度越低。方法分成加參數（Adapters、Prompt Tuning）、挑參數（BitFit）、重參數化（LoRA）與混合（MAM Adapters、S4）四類；後半段從 GPT-2 的任務描述、verbalizer 一路講到 prefix tuning 和 soft prompt tuning 的取捨。
LLM 會一本正經地回答「歐本海默生於 1967 年」（那其實是他過世的年份），RAG 的做法是先檢索、再生成。高宏宇 Fall 2025 的 RAG 投影片前 60 頁都在講「怎麼找對資料」：稀疏向量（詞袋、TF-IDF、BM25）便宜可靠，稠密向量抓得到同義改寫；BERT 的 [CLS] 不適合直接當句向量，所以有 Sentence-BERT 的 pooling 和 bi-encoder；cross-encoder 準但一萬句要跑近五千萬次，bi-encoder 只要兩萬次；SimCSE 拿 dropout 當資料增強，DPR 只用一千筆訓練資料就贏過 BM25，GTR 則證明把 dual encoder 放大能改善跨領域檢索。
Fall 2025 第 14 週，高宏宇用兩份投影片收尾：Course_summary 把整學期分成 NLP Fundamentals、NLP Models、NLP Advances 三欄，外加助教課兩欄與五個延伸方向；另一份是他整理的 Denny Zhou（Google DeepMind）2025 年 4 月 Stanford 演講筆記，主張「預訓練模型本來就能推理，關鍵在解碼」，並用 CoT decoding、self-consistency、retrieval + reasoning 串成四條不等式。Fall 2026 的 W16「Reasoning / Agent」單元尚未公開。
Fall 2025 的評分是作業 70%＋期末專題 30%，專題 3–4 人一組，分成 Proposal 6%、Progress 6%、Poster 6%、Report 12%，不提供 GPU；repo 沒有專題規格文件，只有 Syllabus 的結構、期末提醒與 W15–W16 的錄影。Fall 2026 改成作業 75%（4 份）＋W14 實體期中考 25%，課表拿掉報告週，新增 Reasoning／Agent 單元，並加入 AI-TA 協助批改與 TAICA 算力補助。改版原因，官方材料沒有寫。
清大高宏宇 NLP 課第二週的投影片共 62 頁，主題是「預測下一個字」。前半用 bigram 計數表、add-one smoothing 和 perplexity 講統計語言模型，再用 PPMI 的 cherry／digital 例子講稀疏向量；中段回到 Word2Vec 的負採樣，並用「蘋果」一詞說明為什麼需要 contextualized embedding；後半從 FFN 的三個缺點引出 RNN，示範它怎麼做 NER、句子分類，以及 stacked 與雙向版本。
台大以外的台灣 AI 公開課，大多出自教育部成立的 TAICA 聯盟。每學期的課程清單會寫明每門主導課從哪裡直播，填 YouTube 的課，錄影通常校外也看得到。校外能完整自學的有兩門：清大高宏宇《自然語言處理》Fall 2025 與政大蔡炎龍《生成式 AI》Spring 2025，都是 A3。成大朱威達《人工智慧導論》、北科韓秉軒《智慧人機互動》、清大胡敏君《機器導航與探索》錄影齊全，作業留在 NTU COOL，列 A2。陽明交大的 TAICA 課都是英文授課，深度學習的錄影沒有公開列出，Physical AI 剛開學，都沒有進主表。