從零打造語言模型：五份作業與要自己算的 GPU 預算｜Stanford CS336 課程總覽
CS336 是 Stanford 從零打造語言模型的課：五份作業依序做 tokenizer 與 Transformer、訓練系統最佳化、scaling law、資料處理、對齊與推理 RL，沒有程式骨架，只有測試。講義、錄影、五份作業的 repo 與排行榜都公開；從第二份作業起算力要自己準備，課程贊助的算力與評分拿不到。
ai
1239 篇文章vLLM：自架推論服務的預設選擇，以及它什麼時候是過度工程
vLLM 是自架 LLM 推論的事實標準（GitHub 89,470 stars，2026-08-21 實查），核心是把 KV cache 當作業系統的分頁來管。但選型的關鍵不在它多快，在你的 GPU 使用率：以 Red Hat 實測的每秒 793 個輸出 token 換算，一張打滿的 A100 約 $0.70 / 百萬輸出 token，使用率掉到一成就變 $7——比多數雲端 API 貴。
Agent 搜尋品質怎麼驗收：Web Retrieval Benchmark 實作
Web retrieval 要測的是完整 task，不是 HTTP 200：固定 30 題、五種失敗層、三條 live channel，同時量答案、引用、freshness、延遲、成本與不必要升級。本文交付可執行 harness 與 gate，但因目前沒有三條 live channel 設定，不提供虛構排名。
AI Agent 上網查資料的完整路由：Search、Fetch、Crawler、Browser 怎麼切換
Agent 上網不該一律開瀏覽器：先依任務分流 Search 或 Fetch，再按狀態碼、內容品質、JS shell、登入與 challenge 訊號逐級升級；每一步都受 retry、budget、快取、去重與來源紀錄約束。
Behavioral & Ethics 面試攻略：AI 倫理、團隊合作與影響力敘事
行為面試不是靠臨場發揮，而是靠事前準備好的故事庫。AI Engineer 的行為面試有獨特的考點：AI 倫理（bias、fairness、privacy）、技術決策的影響力敘事（為什麼選這個模型/架構）、跨團隊推動 ML 專案的經驗。準備策略：建立 8-10 個 STAR 故事，每個故事練到能在 2 分鐘內講完。
Coding 面試攻略：ML-flavored 程式題的準備策略
AI Engineer 的 coding 面試和 SWE 不完全一樣——除了 LeetCode medium，還會出 ML-flavored 的題（實作 tokenizer、寫 batch inference pipeline、處理稀疏矩陣）。準備策略：LeetCode medium 練到 70% 通過率就夠，剩下的時間花在 numpy/pandas 操作、資料處理 pipeline、以及 ML 相關的程式題。
Deep Learning 面試攻略：從 CNN 到 Transformer 的核心直覺
深度學習面試重點不是推導反向傳播，而是能不能解釋架構背後的設計直覺。高頻考點：CNN 的 locality 與 translation invariance、RNN 到 Transformer 的演進為什麼必要、self-attention 的計算邏輯與複雜度、BatchNorm vs LayerNorm 的適用場景、常見的 training tricks（learning rate schedule、gradient clipping、mixed precision）。
LLM Application Design 面試攻略：從 RAG 到 Agent 架構
LLM Application Design 是 2025-2026 面試最熱的新題型。核心考點：RAG pipeline 的 chunking/retrieval/reranking 設計、agent 架構的 tool-use 與 planning loop、context window 管理策略、guardrails 與 safety 設計、以及 LLM 應用的評估方法。面試官特別看重你有沒有踩過坑。
ML Fundamentals 面試攻略：從 bias-variance 到 evaluation metrics
ML 基礎面試不考你背公式，考你能不能用直覺解釋概念、在追問下不崩潰。高頻考點：bias-variance tradeoff 的實際意義、L1/L2 regularization 的選擇邏輯、cross-entropy 為什麼比 MSE 適合分類、SGD 與 Adam 的取捨、precision/recall 在不同場景的重要性差異。
ML System Design 面試攻略：從需求拆解到生產架構
ML System Design 面試的核心不是選模型，而是怎麼把一個商業目標變成一個可上線、可監控、可迭代的 ML 系統。面試官想看你能不能：把業務目標翻成 ML 目標、設計 data pipeline 和 feature store、選擇合理的 serving 策略、規劃 monitoring 和 A/B testing。
MLOps & Deployment 面試攻略：從 CI/CD 到模型監控
MLOps 面試考的是你有沒有把模型推上生產的經驗。高頻考點：ML pipeline 的 CI/CD（跟軟體 CI/CD 有什麼不同）、model registry 與版本管理、A/B testing 的設計與陷阱、inference 的 scaling 策略（水平擴展、模型壓縮、caching），以及生產環境的 monitoring 與 alerting 設計。
NLP & LLM 面試攻略：從 tokenization 到 RLHF
LLM 面試的分水嶺是你有沒有實際用過這些東西。高頻考點：BPE tokenization 的邏輯與多語言問題、預訓練目標（CLM vs MLM）、fine-tuning 的三種層次（full/LoRA/prompt tuning）、RLHF 的流程與 failure mode、prompting 的工程實踐、LLM 評估的困難與現有方法。
AI Engineer 面試全景圖：從公司類型到準備策略
AI Engineer 面試不只考 ML——大廠看系統設計與 coding，新創看端到端交付，AI-native 公司看 LLM 工程深度。準備策略：先釐清目標公司類型，再按六大維度（ML 基礎、系統設計、LLM 應用、Coding、Paper Reading、行為面試）分配時間。
Paper Reading 面試攻略：怎麼讀、怎麼討論、必讀清單
Paper Reading 面試不是考你有沒有讀過那篇 paper，而是考你能不能快速理解一個新方法並找出它的限制。AI-native 公司（Anthropic、OpenAI）特別愛考。準備策略：練習 30 分鐘讀完一篇 paper 並能口述 contribution + limitation，建立自己的必讀論文清單，每篇練習用三句話總結。
自我改進 Agent：課程主軸與閱讀路線｜Stanford CS329A 課程總覽
產生正確候選與辨認正確候選是兩種能力。系列依 Autumn 2025 課表，以一篇總覽與十七篇逐堂導讀串起十七個內容場次，其中五場客座沒有公開材料，改用講者類似題目的公開材料；影片 Part 7–9 對應原課第 8、17、20 堂。
AI Agent 自動產生簡報：讓模型看見自己排的版
2026 年 agent 做簡報的共識：outline-first + 內容/構建分離 + render 成圖讓 fresh-eyes subagent 做視覺 QA。Anthropic 與 OpenAI 的官方 slides skill 都收斂到 PptxGenJS + 視覺驗證迴圈，學術線（PPTAgent→PreGenie→DeepPresenter）也指向同一方向。但下半年出現兩個修正：PresentBench 指出常被引用的 PPTEval 給分過於樂觀，SeaSlides 則主張不該讓模型直接寫自由格式的 HTML／SVG。
AI 治理框架對照：EU AI Act、NIST AI RMF、ISO/IEC 42001，以及沒有一張證照點名它們
治理在證照裡的比重比多數工程師以為的高——CCAR-P 的 Governance 14% 加 Stakeholder 14% 共 28%、CCAO-F 治理 15%、AB-100 的部署治理塊 40–45%、AIF-C01 的負責任 AI 14% 加安全治理 14%。但系列前十五篇對應的官方 exam guide 裡，沒有任何一張點名 EU AI Act、NIST AI RMF 或 ISO/IEC 42001；全系列唯一被官方點名的法規只有 CCAR-P 的 GDPR、HIPAA、FedRAMP。所以這篇的用法不是「背框架去考試」，而是用三份框架當骨架，把六張證照散落的治理條目歸位。三份框架的分工是：EU AI Act 是法律（2026-08-02 全面適用，高風險義務被 AI Omnibus 延到 2027-12-02）、NIST AI RMF 是自願框架（GOVERN／MAP／MEASURE／MANAGE 四個功能，且 1.0 正在改版）、ISO/IEC 42001 是可驗證的管理系統標準（條文要付費購買，本文只寫 ISO 公開頁上的資訊）。
成本、延遲與可用性的考點交集：六張證照從三個不同高度考同一件事
Google PMLE、AWS AIF-C01 與 AIP-C01、微軟 AI-103 與 AI-500、NVIDIA NCP-GENL 都考「怎麼讓 GenAI 應用又快又便宜又不掛」，但排起來是一道三階梯子：AIF-C01 問你知不知道成本隨 token 走，AIP-C01 與微軟兩張問你控不控得住，NCP-GENL 問你改不改得動模型與硬體。切入的高度差三層：NVIDIA 在 kernel 與量化層（Model Optimization 17% + GPU Acceleration 14% = 31%，全系列最重的單一成本延遲區塊），AWS 與微軟在應用層（快取三層、token 上限、chargeback），Google 在 MLOps 層（CPU/GPU/TPU 評估、資料平行 vs 模型平行、依吞吐量擴展服務後端）。交集是八根槓桿，但同一根在三個高度上是三種題目。本文刻意不帶任何價格與硬體規格數字——那是這個主題腐敗最快的部分。
多 agent 架構的考點交集：五張證照重複考什麼，又各自獨有什麼
微軟 AI-500、AB-620、AB-100、NVIDIA NCP-AAI、Claude CCAR-F 這五張證照都考多 agent 架構，交集是七件事：編排拓樸、A2A 與 MCP、每個 agent 的身分邊界、三層記憶、可觀測性與 agent replay、人在迴圈、四個介入點的 guardrail。但同一件事四家用四個名字，而且各自有無法互相轉移的獨有考點——微軟命名了四種 context window 失效模式、NVIDIA 有 7% 綁死自家 NeMo 與 NIM、Claude 考 stop_reason 這種 SDK 層細節。另外修一個常見誤解：Google PMLE 滿篇「Agent Platform」是 Vertex AI 改名，不是多 agent 考點。
2026 上半年多模態模型盤點：原生融合 vs. 外接視覺，以及排行榜為什麼會互相打臉
純圖片理解已經打平：MMMU-Pro 上四家前沿模型全部過 80%，差距在 3 分內。真正分勝負的是影片、長文件 OCR、即時語音這幾條軸線，各有不同的領先者。但整理這些排名時最該學的一課，是兩份都算可信的來源對同一個 Video-MME 給出的榜首可以差超過 10 分，而且不是同一家。七月與八月又各換過一輪。