minGPT 實作驗收：用形狀、遮罩與位置找錯｜CMU 10-423 作業 1
作業 1 把 RNN、Transformer 與現代 attention 的觀念拉到程式層。
#pytorch
31 篇文章DDPM 實作驗收：時間係數怎麼對上 batch｜CMU 10-423 作業 2
會抄加噪公式，還不代表 diffusion 實作正確。
RNN 語言模型：序列機率與梯度怎麼接起來｜CMU 10-423 第 1 堂
一句「我喜歡貓」不是三個互不相干的字。
分散式訓練與資料平行，梯度同步的代價從哪裡來｜CMU 11-868 第 14–15 堂
11-868 第 14、15 講從 parameter server 講到 PyTorch DDP：先用 NCCL 的五個 collective（Broadcast、Reduce、AllReduce、ReduceScatter、AllGather）當積木，推出 ring 為什麼能讓廣播時間幾乎不隨 GPU 數增加，再把 AllReduce 拆成 ReduceScatter 加 AllGather。第二講拆 DDP 的兩個關鍵設計：把梯度分桶（預設 25 MB）、在反向傳播還沒結束時就開始同步。官方課表未列公開錄影連結，本文依投影片頁碼與 VLDB 2020 論文整理。
深度學習框架怎麼從計算圖自動算出梯度｜CMU 11-868 第 5 堂
L05 用一個四層的情感分類網路當主線，先把計算表示成計算圖、用拓撲排序算出前向值，再用連鎖律與向量–Jacobian 乘積反向傳回梯度，最後拆解 TensorFlow v1 的 placeholder、variable、operation 與 session。投影片有一頁直接標著「important for HW2」。
在兩張 GPU 上自己寫資料平行與管線平行｜CMU 11-868 作業 5
CMU 11-868 第五份作業改用 PyTorch 與 Hugging Face 的 GPT-2，要你只用 torch.distributed 和 torch.multiprocessing 寫出資料平行（切資料、建 process group、平均梯度，50 分），再寫出 GPipe 式的管線平行（切模型、產生時脈排程、用 worker thread 跑 micro-batch，50 分）。兩部分都要在至少兩張 GPU 上做 benchmark 並交圖：資料平行要在 2 張卡上達到至少 1.5 倍加速，管線平行要比單純模型平行快。2026 春季版 3/25 截止。
BatchNorm、Dropout、CNN、PyTorch 與 RNN Captioning｜Stanford CS231N 作業 2
CS231N Spring 2026 的 A2 佔總成績 18%，五個 notebook 從手寫 BatchNorm／LayerNorm、Dropout、卷積與池化的 forward／backward，一路走到 PyTorch 的三層抽象，最後用 PyTorch 在 COCO 上做 RNN 影像描述。轉折點在 Q4：前三題的梯度要自己推，Q5 起交給 autograd，再用數值梯度檢查驗證。官方投影片提醒這是三份作業裡最長的一份。
模型「大」要怎麼量？參數、activation、MAC 與 latency 各在量什麼｜MIT 6.5940 第 1–2 堂／實驗 0
6.5940 的前兩講先證明問題存在，再給量尺。L1 用一張圖說明模型參數量的成長遠快於 GPU 記憶體，並指出雲端 GPU 有 80GB 記憶體、微控制器只有 320kB。L2 把效率指標分成記憶體與運算兩類：#Parameters、model size、peak activations，以及 MAC、FLOP、OP。以 AlexNet 為例，它有 61M 參數、724M MACs；在微控制器上真正先爆掉的常常是 activation，不是參數。Lab 0 用 CIFAR-10 上的 VGG 變體（9.2M 參數、606M MACs）當之後幾個 lab 的起點。
課程總結與量子機器學習：把剪枝、NAS、裝置端訓練搬到量子電路上｜MIT 6.5940 第 22–23 堂
MIT 6.5940 Fall 2024 的最後兩講分成兩塊。L22 開頭是 13 頁的 Course-Summary.pdf（錄影裡只佔開頭一小段）：用推論、訓練、特定應用三塊加上 System／Algorithm 兩軸重畫整門課，再交代期末專題的 7 項評分。L22 其餘大部分是 Quantum ML Part I，只有錄影、沒有投影片。L23（Hanrui Wang 主講，99 頁）講參數化量子電路（PQC）：資料編碼、parameter-shift 梯度、雜訊下的機率式梯度剪枝（QOC）、TorchQuantum 函式庫，以及用 SuperCircuit 搜尋加閘剪枝的 QuantumNAS。讀起來像把前面學的 supernet 和 magnitude pruning 在量子電路上重演一次。Fall 2026 已把這兩講換成 Guest Lecture。
怎麼做：Fine-grained 與 Channel Pruning 的九道題｜MIT 6.5940 實驗 1
MIT 6.5940 Fall 2024 的 Lab 1 是一本 Colab notebook，9 題共 100 分：前 5 題在 CIFAR-10 的 VGG 上做 magnitude-based 細粒度剪枝與 sensitivity scan，要求剪到原大小 25% 且 fine-tune 後準確率高於 92.5%；第 6–8 題做 channel pruning、用 Frobenius norm 排序 channel、量測實際加速；第 9 題比較兩者。Fall 2026 沒有 pruning lab。
親手實作 K-means 與線性量化，做出整數推論的 VGG｜MIT 6.5940 實驗 2
Lab 2 是一份 Colab notebook，10 題共 100 分，對象是 CIFAR-10 上預訓練好的 VGG。前 3 題做 K-means 量化：寫量化函數、推算 n bit 有幾個 cluster、寫 centroid 更新，再看 8／4／2 bit 微調前後的準確率。後 7 題做線性量化：寫 q = round(r/S) + Z、推 scale 與 zero point 公式、做 per-channel 權重量化與 bias 量化、寫整數版的全連接層與卷積層，最後把整個模型轉成 INT8 跑推論。本文整理題目、配分、環境需求與校外限制，不附解答。
親手寫 flow matching 與 score matching｜MIT 6.S184 實驗 2
Lab 2 把講義 §3–4 寫成 PyTorch：先實作高斯條件路徑、條件向量場、條件分數，再用兩個幾乎一樣的 trainer 分別做 flow matching 和 score matching，接著用 Proposition 1 從學到的向量場換算出分數，最後換成線性路徑，讓一個圓環分佈流成棋盤格。全部在 2D 玩具資料上跑。README 記載 1/11/26 修過一個 diffusion coefficient 的 bug；2026-09-30 查看時，這個修正只出現在解答 notebook，學生版還沒改，做之前要自己補上。
清大 NLP 導讀 11：GPT-2 和 T5 拿來做中文摘要，實作上差在哪——left padding、−100 與 ROUGE｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）GPT-2／T5 助教課導讀。同一個任務（LCSTS 中文摘要）用兩種架構各做一次：decoder-only 的 GPT-2 用原生 PyTorch，要自己把文章和摘要接成一條序列、改用 left padding、把 padding 的標籤設成 −100；encoder-decoder 的 mT5 用 Seq2SeqTrainer，不需要 left padding，DataCollatorForSeq2Seq 會自動處理 −100。兩邊都用 jieba 斷詞後算詞級 ROUGE。
清大 NLP 導讀 9：一個 BERT 同時打分數又判蘊含——Hugging Face 助教課與 HW3 多輸出學習｜清大高宏宇 自然語言處理 主題單元
清大高宏宇 NLP（Fall 2025）Hugging Face BERT 助教課與 HW3 導讀。助教課用 IMDb 影評二元分類走一遍 AutoTokenizer、input_ids／token_type_ids／attention_mask、AutoModelForSequenceClassification 與 Trainer。HW3 把工具拿去做 SemEval 2014 Task 1：同一個 bert-base-uncased 接兩個頭，一個回歸 1–5 分的 relatedness，一個做三類 entailment 分類，兩個 loss 加總後自己寫訓練迴圈，不准用 Trainer。
把算式當成一種語言——PyTorch 助教課、兩層 LSTM 與 teacher forcing｜清大高宏宇 自然語言處理 作業 2
HW2 把「14*(43+20)=882」這種算式當成字元序列，要你用兩層 LSTM 看到「=」之後逐字生成答案。訓練集 2,369,250 筆、驗證集 263,250 筆，數字都在 0–49 之間；六個 TODO 從建字典、只在「=」之後算 loss 的 batching、生成函式，一路到 teacher forcing 訓練與 exact match 評估。W4 的 PyTorch 助教課就是這份作業的工具箱。
從 PyTorch、Hugging Face 到 LoRA、量化與 vLLM 部署｜台大陳縕儂 深度學習之應用 助教課
ADL Fall 2025 課程頁排了 7 堂助教課、10 支影片：Colab 與 PyTorch、ipdb 除錯 → NLP 專案的一生 → 四種 NLP 任務的資料格式 → LoRA 與 QLoRA → scaling law、LLaMA 架構與 MoE → 量化與評估 → 用 vLLM 部署。影片是助教在 2023 與 2024 年錄的，Fall 2025 沿用，影片裡說的作業一、作業三是當年的作業。課程頁上的 5 份講義連結都 404，同名檔在 Fall 2024 路徑可以打開，Deployment 只有影片。本文依影片口述逐堂整理助教實際示範的步驟與提醒，附可以手算的例子。
用 decoder-only Transformer 接龍畫寶可夢｜台大李宏毅 機器學習 作業 4
HW4 把「文字接龍」原封不動搬到圖片上：792 張 20×20 的寶可夢小圖，每個像素是 167 色裡的一個 token，一張圖就是 400 個 token 的序列。訓練時做 next-token prediction，測試時給你前 60%，讓模型畫完剩下的 40%。評分同時看 FID 與寶可夢偵測率（PDR），三級 baseline 的提示從「直接跑範例」「調超參數」一路到「換成 Llama、Mistral 架構」。題目、Colab、Kaggle 與資料集都公開，但 JudgeBoi 在 2026-09-30 回傳 502，校外拿不到 FID、PDR 的官方分數。
ResNet/Transformer 論文題與 CNN、ResNet、Transformer、DNABERT、ConvNeXt 實作｜Berkeley CS189 作業 4
HW4 分三份：書面題帶你用「問題 → 現有做法 → 提案 → 方法 → 貢獻」的順序讀 ResNet 與《Attention Is All You Need》；4.1 notebook 用 PyTorch 寫 CNN、ResNet-18，再從 softmax 一路拼出 encoder-decoder transformer，在 TinyStories 上訓練並生成故事；4.2 notebook 把 DNA 切成 6-mer 餵給預訓練 DNABERT 分物種，把聲音轉成頻譜圖交給 ConvNeXt，比較從零訓練、凍結 backbone、全解凍三種微調。兩個 Kaggle 競賽，5/1 截止。校外讀者拿得到題目，拿不到課程資料包與測試。
從零訓練的框架：LitGPT 的無抽象重寫、pretrain 流程與 TinyLlama 實績
LitGPT（Lightning AI，約 13,600 stars，Apache 2.0）把 Llama 3、Qwen2.5、Phi 4 等 20+ 個 LLM 逐一從零重寫成無抽象層的單檔實作，附 pretrain / finetune / evaluate / serve 完整命令列；1.1B 參數、3T tokens 的 TinyLlama 就是用它的程式碼訓出來的。這篇拆解它與 MiniMind 的差異、實際用法與限制。
MiniMind：用 3 塊錢從零訓練一個 LLM
MiniMind 是一個從零開始訓練 LLM 的開源專案：64M 的 Dense 模型與 198M-A64M 的 MoE 模型，單張 3090 約 2 小時、約 3 元人民幣就能跑完 Pretrain → SFT → LoRA → DPO → PPO/GRPO/CISPO → Agentic RL 的完整流程。所有核心演算法用 PyTorch 原生實作，不依賴高階封裝。
在 RunPod 上跑一遍 MiniMind：從零到能對話
系列實作篇：在 RunPod 租一張 RTX 3090（Secure Cloud $0.5/hr、Community Cloud $0.22/hr），照 README 步驟跑完 MiniMind 的 pretrain（約 1.21h）+ SFT（約 1.10h），總成本約 $0.55–1.50 美元，就能在終端機跟自己從零訓出來的 64M 模型對話。
從零訓練一個 LLM：從 $0.4 到 65B 的專案光譜
開源社群把「從零訓練 LLM」的門檻壓到了驚人的低：MiniMind 用約 $0.4、單張 3090 兩小時就能跑完從 PreTrain 到 RL 的完整流程，另一端 OLMo 3 與 LLM360 K2 把 65B 模型的訓練資料、程式碼、每個階段的 checkpoint 全部公開。這個系列用 11 篇逛完從 $0.4 到 65B 的專案光譜，並標註這份地圖覆蓋不到的地方。
CNN 架構全解析——從卷積核到平移等變性的感知機制｜MIT 6.7960 第 4 堂
Lec 4 核心重點：為什麼 CNN 是處理網格資料的最佳選擇——卷積、平移等變性、池化與經典架構一次掌握
課程導論 —— Deep Learning 的地圖、為什麼深，以及第一個訓練 loop｜MIT 6.7960 第 1 堂
本講是 6.7960 的導論：deep learning 之所以爆發是『資料 + 算力 + 演算法』三股力量同時到位；本課從架構（CNN/GNN/Transformer）到訓練、表示、生成、遷移、規模、LLM 一路串起來；最後用一個 ~30 行的 PyTorch training loop 確認你的環境能跑。
現代 CNN 架構 —— ResNet、EfficientNet、ConvNeXt｜MIT 6.7960 主題單元
ResNet 用殘差連接解決退化問題，讓網路能堆到 100+ 層；EfficientNet 複合縮放平衡深度/寬度/解析度；ConvNeXt 吸收 Transformer 設計重奪 CV 王座。
優化總覽——SGD、Adam、學習率排程與縮放規則｜MIT 6.7960 主題單元
從 SGD 到 Adam，用縮放規則一次搞懂深度學習優化器怎麼選、學習率怎麼調
PS1 實作走查：從 NumPy 手寫 MLP 到 PyTorch Autograd 反向傳播｜MIT 6.7960 作業 1
手寫 NumPy MLP + 反向傳播 → PyTorch Autograd 驗證，完整複現 OCW HW1 核心考點
正則化實戰——Weight Decay、Dropout、Batch Norm 與標籤平滑｜MIT 6.7960 主題單元
正則化不只是防過擬合——Weight Decay、Dropout、BN、Label Smoothing 的機制與組合策略一次看懂
從 collective operations 組出資料、張量與管線平行｜Stanford CS336 第 7 堂
第七講不從 FSDP API 開始，而是用 broadcast、all-reduce、all-gather、reduce-scatter 與 all-to-all 建立通訊語言，再親手組出 data、tensor 與 pipeline parallelism。
先算 FLOPs 與記憶體，再談模型跑不跑得動｜Stanford CS336 第 2 堂
第二講把模型訓練還原成 tensor、FLOPs、bytes 與時間：用 einops 管維度，以 arithmetic intensity 和 roofline 判斷瓶頸，再用 gradient accumulation 與 activation checkpointing 交換運算和記憶體。
九講與三個 labs 全公開，但完整跑完仍要三個外部服務｜MIT 6.S191 課程總覽
MIT 6.S191 的 2026 版已公開九講影片、投影片、三個 software labs 與解答，足以列為 A3 自學課；但官方執行路線需要 Google／Colab、Comet，以及 Lab 3 的 OpenRouter，校外讀者也拿不到 MIT 的學分、專案回饋與 API credit。