Skip to content
所有標籤

#gpt-2

3 篇文章
aiguide清大高宏宇 自然語言處理 導讀

清大 NLP 導讀 11：GPT-2 和 T5 拿來做中文摘要，實作上差在哪——left padding、−100 與 ROUGE｜清大高宏宇 自然語言處理 主題單元

清大高宏宇 NLP（Fall 2025）GPT-2／T5 助教課導讀。同一個任務（LCSTS 中文摘要）用兩種架構各做一次：decoder-only 的 GPT-2 用原生 PyTorch，要自己把文章和摘要接成一條序列、改用 left padding、把 padding 的標籤設成 −100；encoder-decoder 的 mT5 用 Seq2SeqTrainer，不需要 left padding，DataCollatorForSeq2Seq 會自動處理 −100。兩邊都用 jieba 斷詞後算詞級 ROUGE。

#nthu-nlp#ai-course#course-guide#taiwan#gpt-2#hugging-face#fine-tuning#chinese-nlp#pytorch#nlp
aideep-diveCMU 07-280 AI & ML I 導讀

從 Position Encoding 推到 Causal Self-Attention｜CMU 07-280 第 20 堂

第 20 講先把單 token embedding 擴成 sequence，以 positional encoding 補順序，再推導 Q/K/V scaled dot-product attention、causal mask 與 multi-head blocks，最後接到 GPT-2。

#cmu#ai-course#transformer#attention#gpt-2
aideep-diveCMU 07-280 AI & ML I 導讀

用 AlexNet 與 GPT-2 把模型真正組起來｜CMU 07-280 主題單元

第二階段不把 CNN 與 Transformer 當兩份架構圖背誦，而是透過 HW8 與 HW11 檢查表示、計算圖、訓練、遷移與生成是否真的接得起來。

#cmu#ai-course#alexnet#gpt-2#deep-learning