Skip to content
所有分類

ai

1274 篇文章

Multimodality 的官方閱讀地圖|Stanford CS224N 第 17 堂

第 17 講由 Luke Zettlemoyer 客座談 multimodality,但官網沒有公開投影片或 agenda;官方閱讀清單可確認三條主線:視覺推理介面、early-fusion token 模型、文字自回歸加影像 diffusion。

小模型如何跨過 Scaling Law 的門檻|Stanford CS224N 第 19 堂

最後一講把 Open Questions in NLP 2026 收斂成 smart scaling:以 prolonged RL、Prismatic synthetic data、RL as pretraining 與開放協作,讓小模型不只靠增加參數追求推理能力。

從 instruction tuning、RLHF 到 DPO|Stanford CS224N 第 8 堂

第 8 講解釋預訓練模型如何經 instruction tuning、偏好資料與 RLHF 變成助理,再以 DPO 直接從勝負配對學習;每一步都把人的判斷轉成訓練訊號,也把偏差帶進模型。

預訓練、subword 與 in-context learning|Stanford CS224N 第 7 堂

第 7 講把預訓練拆成可擴張資料、subword tokenization、三種模型目標與 in-context learning;核心取捨是用通用的自監督目標換取可重用表示,再用下游訊號指定用途。

RAG 與 Language Agents 的六個元件|Stanford CS224N 第 10 堂

第 10 講從問答與 RAG 進入 language agents,再拆成推理規劃、記憶、工具、資料與評估;agent 不是單一模型,而是模型與外部狀態之間可被逐步檢查的迴圈。

Decoding、DeepSeek-R1 與推理訓練|Stanford CS224N 第 12 堂

第 12 講先證明輸出策略不是小細節:greedy、beam 與 sampling 會產生不同文字;再由 R1-Zero/R1 走進 PPO、GRPO、DAPO,最後追問長推理何時真的有用。

Speculative Decoding 與 Test-Time Scaling|Stanford CS224N 第 13 堂

第 13 講從推論效率走到推論能力:speculative decoding 用小模型草擬、大模型驗證;on-policy distillation 處理資料漂移;長上下文與 test-time scaling 則用更多推論資源換取表現。

語言模型、RNN 與消失梯度|Stanford CS224N 第 4 堂

第 4 講把語言模型定義成下一詞機率分布,再用 RNN 壓縮任意長前文;它同時揭露 recurrence 的核心代價:資訊與梯度都必須沿時間步逐步傳遞。

Hallucination、創造力、工作與價值對齊|Stanford CS224N 第 16 堂

第 16 講把 NLP 的社會影響拆成四題:模型為何 hallucinate、AI 輔助創作的同質化悖論、工作如何重組,以及價值對齊為何不能化約成單一 reward。

LoRA 低秩更新:Tinker 客座課前預習|Stanford CS224N 第 18 堂

手算低秩更新、分清更新與完整權重的秩,並計算可訓練參數。這是依 LoRA 論文的課前預習,不重建尚未取得公開材料的 Tinker 客座內容。

Tokenization 如何製造多語言成本差|Stanford CS224N 第 14 堂

第 14 講從 word、character/byte 與 subword 切分一路走到 BPE failure cases 和跨語言公平:tokenizer 決定序列長度、運算成本與模型看到的語言單位,因此不是中立前處理。

從 recurrence 到 Transformer|Stanford CS224N 第 5 堂

第 5 講從 RNN 的長距離與循序瓶頸走到 self-attention,再組成 Transformer;它縮短位置間的資訊路徑並容許平行計算,但付出二次方 attention 成本與位置資訊必須另行注入的代價。

word2vec 如何把語意變成向量|Stanford CS224N 第 2 堂

第 2 講從 word2vec 的預測任務、目標函數與梯度一路走到 count-based vectors 和評估,核心是:詞義不是查表得到的標籤,而是從上下文分布學出的高維座標。

SPINACH Agent 如何逐步探索 Wikidata 並寫 SPARQL|Stanford CS224V 第 10 堂

SPINACH 不一次猜完整 SPARQL,而是搜尋 entity/property、查看 Wikidata entry 與 property examples、執行小查詢,再逐步組合完整查詢;action set 與停止規則是可靠性的核心。

CHURRO 如何讓多語歷史文件變成可搜尋文字|Stanford CS224V 第 12 堂

CHURRO 以 HDML 表示整頁文字、版面與 metadata,整合跨世紀多語資料訓練 page-level VLM,再把輸出接到 HistoryGenie,讓檔案館材料能被檢索與對話。

資料受限時,語言模型還能怎麼擴展|Stanford CS224V 第 14 堂

最後一講不是完整 LLM 訓練教學,而是資料效率研究:在 compute 充足、資料固定時重看 epochs、batch、ensemble 與 self-training,再研究 synthetic continued pretraining 的可擴展條件。

WikiChat 的七階段 RAG 如何逐條攔下幻覺|Stanford CS224V 第 5 堂

WikiChat 不把檢索結果直接交給一次生成,而是形成查詢、檢索、過濾、生成、拆主張、再檢索查核與移除無根據內容,並把檢索與事實性分開評估。

用計算思維把會幻覺的 LLM 變成可靠助理|Stanford CS224V 第 1 堂

Fall 2025 第一講把 CS224V 的主線定成計算思維:不要期待一次提示解決可靠性,而要把檢索、形式表示、查核與生成拆成可測試的演算法。

STORM 與 Co-STORM 怎麼把搜尋變成知識策展|Stanford CS224V 第 2 堂

STORM 用觀點引導的提問、模擬訪談與大綱建立改善研究廣度;Co-STORM 再把人放進迴圈,讓探索未知問題與共同編修成為系統的一部分。

SLIDERS 如何用自動 schema 分析一整組長文件|Stanford CS224V 第 8 堂

SLIDERS 不讓模型直接吞完所有長文件,而是從問題誘導 schema、做語意切塊與情境化擷取、協調重複列,再用 SUQL 查詢產生答案。