CMU 10-423 第 5 講是影像單元的開場，講三種「理解」用的模型：CNN 把卷積核當成要學的參數；encoder-only Transformer 拿掉因果遮罩，讓每個 token 看左右兩邊，用 masked LM 預訓練，所以不是生成式語言模型；ViT 幾乎就是把 BERT 的輸入換成 16×16 之類的影像區塊。投影片用 ViT 論文的圖回答「Transformer 為什麼晚了四年才進電腦視覺」：資料集小時 ViT 輸給大型 CNN，資料夠大才反超。
清大高宏宇 NLP（Fall 2025）BERT and its Family 單元導讀。起點是「I record the record」：Word2Vec 和 GloVe 給兩個 record 同一個向量。ELMo 用雙向 LSTM 語言模型解決這件事。換成 Transformer 之後，預訓練分成三條路：encoder（BERT：MLM＋NSP，擅長理解、不擅長生成）、encoder-decoder（T5 的 span corruption、BART 的五種雜訊）、decoder（GPT：純粹預測下一個字）。最後一段是 GPT-3 的 in-context learning 和 scaling laws，也說明 decoder 為什麼成了現在最主流的骨幹。
清大高宏宇 NLP（Fall 2025）Hugging Face BERT 助教課與 HW3 導讀。助教課用 IMDb 影評二元分類走一遍 AutoTokenizer、input_ids／token_type_ids／attention_mask、AutoModelForSequenceClassification 與 Trainer。HW3 把工具拿去做 SemEval 2014 Task 1：同一個 bert-base-uncased 接兩個頭，一個回歸 1–5 分的 relatedness，一個做三類 entailment 分類，兩個 loss 加總後自己寫訓練迴圈，不准用 Trainer。
靜態詞向量給 apple 只有一個向量，不管它是水果還是公司。ADL Fall 2025 的 BERT 講從這個多義詞問題出發：TagLM 先用語言模型補上下文，ELMo 用深層雙向 LSTM 產生 contextual embedding，BERT 把 LSTM 換成 Transformer，並用 Masked LM 與 Next Sentence Prediction 兩個目標預訓練，下游只要在最上層加分類器或標註器微調。彈性補充的 BERT Variants 講義再往外走一圈：Transformer-XL 拉長 context、XLNet 用 permutation LM 兼顧 AR 與 AE、RoBERTa 靠更多資料與更好的訓練設定、SpanBERT 改成遮整段 span、mBERT 與 XLM 處理多語。這篇是下一篇 HW1 用 bert-base-chinese 做抽取式 QA 的直接前置。
ADL Fall 2025 的 HW1 給一個問題和四段中文文字，要模型先挑出相關的那一段（paragraph selection，當成四選一的 multiple choice），再在那段裡標出答案的起點和終點（span selection），用 Exact Match 評分。規格投影片直接指定改 HuggingFace 的 run_swag_no_trainer.py 與 run_qa_no_trainer.py，simple baseline 用 bert-base-chinese、長度 512、有效 batch size 2、learning rate 3e-5，在 8GB 的 RTX 3070 上兩段加起來不到三小時。Kaggle 排行榜 9/29 截止、程式與報告 10/1 交到 NTU COOL。校外讀者拿不到 Kaggle 資料與評分，但任務設計、baseline 設定和報告五題都能照著練。
CME295 第 2 講把原始 Transformer 拆開改裝：位置資訊從「加在 embedding 上」一路改到 RoPE「在 attention 裡旋轉 Q 和 K」；attention 用 sliding window 和 MQA/GQA 省成本；再把模型分成 encoder-only、encoder-decoder、decoder-only 三家，花後半堂拆解 BERT 的 MLM（15% token）與 NSP 預訓練。2026 版把這些併進「Large Language Models」一講，BERT 不再是課表項目。