清大 NLP 導讀 8：ELMo、BERT、T5、BART、GPT——預訓練的三條路｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）BERT and its Family 單元導讀。起點是「I record the record」：Word2Vec 和 GloVe 給兩個 record 同一個向量。ELMo 用雙向 LSTM 語言模型解決這件事。換成 Transformer 之後，預訓練分成三條路：encoder（BERT：MLM＋NSP，擅長理解、不擅長生成）、encoder-decoder（T5 的 span corruption、BART 的五種雜訊）、decoder（GPT：純粹預測下一個字）。最後一段是 GPT-3 的 in-context learning 和 scaling laws，也說明 decoder 為什麼成了現在最主流的骨幹。