Skip to content
所有標籤

#chinese-nlp

3 篇文章
aiguide清大高宏宇 自然語言處理 導讀

清大 NLP 導讀 11：GPT-2 和 T5 拿來做中文摘要，實作上差在哪——left padding、−100 與 ROUGE｜清大高宏宇 自然語言處理 主題單元

清大高宏宇 NLP（Fall 2025）GPT-2／T5 助教課導讀。同一個任務（LCSTS 中文摘要）用兩種架構各做一次：decoder-only 的 GPT-2 用原生 PyTorch，要自己把文章和摘要接成一條序列、改用 left padding、把 padding 的標籤設成 −100；encoder-decoder 的 mT5 用 Seq2SeqTrainer，不需要 left padding，DataCollatorForSeq2Seq 會自動處理 −100。兩邊都用 jieba 斷詞後算詞級 ROUGE。

#nthu-nlp#ai-course#course-guide#taiwan#gpt-2#hugging-face#fine-tuning#chinese-nlp#pytorch#nlp
aideep-dive從零訓練一個 LLM

中文社群怎麼從零訓練 LLM：語料、tokenizer 與三個開源專案的取捨

拆解三個中文圈從零訓練 LLM 的開源專案——baby-llama2-chinese（218M、634 億 tokens）、ChatLM-mini-Chinese（0.2B T5、1,023 萬條對話）、Steel-LLM（1.12B、1 兆 tokens、8 個月）——比較語料策略、tokenizer 決策與社群生態；誠實呈現評測：baby-llama2 在 MiniMind 的橫評中 21 分墊底，ChatLM 知識紮實（62 分）但程式能力弱。

#llm#training#open-source#pre-training#sft#tokenizer#chinese-nlp
aideep-dive認識 AI 模型

Tokenization：BPE 演算法，以及為什麼中文比英文貴

模型不是按字數收費，是按 token 收費。BPE 演算法從字元開始，反覆合併最常出現的相鄰配對來建詞表。英文 'understanding' 可能是 1-2 個 token，但中文「理解」可能要 2-3 個——同樣的意思，中文就是比較貴。

#tokenization#bpe#llm#token#nlp#chinese-nlp#api-pricing