Skip to content
所有分類

tech

518 篇文章

記憶與序列建模 —— RNN、LSTM 與梯度消失/爆炸|MIT 6.7960 第 10 堂

RNN 沿時間傳遞隱狀態,梯度連乘可能衰減或放大;LSTM 以門控制 cell state 的保留與更新,改善長程訊號傳遞但不保證穩定。Self-attention 縮短位置間的資訊路徑,單層 dense attention 的總計算仍隨序列長度平方成長。

表示學習(重建式)—— 自編碼器、VQ 與自監督|MIT 6.7960 第 11 堂

表示學習的目標是把原始資料壓成「好用」的向量:自編碼器用重建逼出有意義的潛空間,VQ 把連續表示離散化成碼本,自監督則用『遮住一部分再重建』來免費產生監督訊號。

表示學習(相似性式)—— 度量學習、對比學習與 InfoNCE|MIT 6.7960 第 12 堂

相似性式表示學習不重建輸入,而是直接塑造潛空間的幾何:讓同類表示靠近、異類推遠。InfoNCE 把這件事寫成『在一堆負樣本裡認出正樣本』的分類問題,而 alignment / uniformity 給了它可解釋的評價指標。

表示學習的理論視角 —— 歸納偏置、高斯過程與 NN–GP 對應|MIT 6.7960 第 13 堂

把網路變寬到極限,它的隨機初始化輸出會變成一個高斯過程(NN–GP),而訓練動態則由神經切線核(NTK)固定下來。這套理論不只能用來分析,還反過來指導我們設計『對的歸納偏置』。

生成模型基礎 —— 密度/能量模型、GAN、自回歸與擴散|MIT 6.7960 第 14 堂

生成模型本質是在學資料的分佈 p(x)。密度模型直接建模機率,能量模型用一個未歸一化勢能 + 採樣器,GAN 讓判別器逼出逼真樣本,自回歸一步步預測下一個 token,擴散則用『逐步加噪再學去噪』繞開棘手的最大似然。

變分自編碼器(VAE)—— ELBO、再參數化技巧與潛變數表示|MIT 6.7960 第 15 堂

VAE 的核心是 ELBO + 再參數化:把 log p(x) 替成 E_q[log p(x|z)] − KL(q(z|x)‖p(z)),encoder 輸出 μ/σ 用 z = μ + σ⊙ε(ε ~ N(0,1))讓採樣可反向傳播。訓練 = 重構 + KL 兩項拉扯,由此衍生 β-VAE、posterior collapse、VQ-VAE 等修正。

條件生成模型(Conditional Generative Models)—— cGAN、cVAE 與 Classifier-Free Guidance|MIT 6.7960 第 16 堂

條件生成的關鍵是「把 y 餵進模型」:cGAN 在 G/D 拼接 y,cVAE 把 y 當額外輸入進 encoder/decoder;擴散模型時代,Classifier Guidance 用外部分類器梯度把生成推向指定類別,Classifier-Free Guidance 則同訓練 conditional + unconditional 並在推論時線性組合兩者——後者是 Stable Diffusion / Imagen 的標準武器。

out-of-distribution 泛化 —— 領域偏移、虛假相關、與三條實務對策|MIT 6.7960 第 17 堂

OOD 失敗不是 bug,是 i.i.d. 假設破掉:covariate shift(影像風格變了)、label shift(類別比例變了)、concept shift(同一個詞意思變了)各有對應的應對方式;最常見的原因是模型抓了『虛假相關』(用草原當牛的存在訊號),IRM 與 domain randomization 想從訓練資料結構本身把這件事修掉,test-time adaptation 在推論時即時修正。

遷移學習(Transfer Learning)—— 預訓練、特徵抽取、與微調策略|MIT 6.7960 第 18 堂

遷移學習的核心是『在大資料上學到的特徵是好的通用表示』:下游任務資料少時,把 backbone 凍住只訓練線性 head;資料夠就全模型微調;想省算力就上 LoRA / adapter。SimCLR、MAE 這類自督導預訓練讓『上游不需要標籤』,下游表現又上一層樓。

現代 CNN 架構 —— ResNet、EfficientNet、ConvNeXt|MIT 6.7960 主題單元

ResNet 用殘差連接解決退化問題,讓網路能堆到 100+ 層;EfficientNet 複合縮放平衡深度/寬度/解析度;ConvNeXt 吸收 Transformer 設計重奪 CV 王座。

開學前先做這 4 題,卡哪題就先補哪裡|Harvard CS181 作業 0

HW0 用四題檢查 CS181 的先修:矩陣 y=Xw 的可解條件、目標函數的微分與優化、機率推理,以及用 Python 實作 OLS。做不順的地方就是開學後要優先補的缺口。

冰芯溫度迴歸 — kNN、核迴歸、基底函數與正則化四題導讀|Harvard CS181 作業 1

HW1 用 80 萬年冰芯溫度資料串起四題:kNN 與核迴歸、最小平方法的幾何證明、基底函數迴歸、以及從機率觀點推出 ridge/LASSO 正則化,最後用 coordinate descent 實作 LASSO。

2026 七份作業怎麼跟?四年版本一次看懂|Harvard CS181 課程總覽

CS181 2026 以 hw0–6 七份作業為週節拍、官方課表未列對應講次的公開錄影但 A3 可自學;2025 多 practical、2024 雙期中、2023 單授 Weiwei Pan。看懂四年沿革後,從 HW0 體檢先修再逐週跟最穩。

Search——從 DFS、BFS、A* 到 Minimax 與 Alpha-Beta 剪枝|Harvard CS50 AI 第 0 週

第 0 週講搜尋:DFS 與 BFS 只差在 frontier 用 stack 還是 queue;A* 把已走步數加上啟發式估計,啟發式不高估時能保證最短路;Minimax 讓雙方輪流取最大與最小值,Alpha-Beta 剪掉不會影響結果的分支。附逐段時間連結,以及 Degrees、Tic-Tac-Toe 兩個專案的解題思路、易錯處與檢查方式;參考實作摺疊在各專案最後。

Claude Code 設定了卻沒生效怎麼診斷:/context、/doctor、/mcp 與錯誤對照

CLAUDE.md 寫了沒被遵守、hook 不觸發、MCP server 沒出現,多半是檔案沒載入、載錯位置或被另一層設定覆蓋。本文整理 /context、/memory、/skills、/doctor、/mcp 等診斷入口各看什麼、safe mode 二分法,以及六條高頻錯誤訊息的對照表。

Claude Code 裝不起來、登不進去怎麼排:PATH、安裝來源、proxy、OAuth callback

安裝與登入問題照五步排:驗 PATH(macOS/Linux 用 echo $PATH,Windows 用 PATH 查詢)、確認只剩一份安裝、測 downloads.claude.ai 是否回 200、OAuth callback 失敗就貼 login code 或改用 claude auth login,最後用 claude doctor 收尾。

Claude Code 執行期問題怎麼解:CPU 記憶體、session hang、auto-compact thrashing、表格與搜尋失效

執行期問題五類解法:記憶體偏高用 /compact 加 /heapdump 診斷;hang 了按 Ctrl+C 再 claude --resume 復原;大型表格改寫檔案不要硬看終端輸出;autocompact thrashing 用分段讀檔或 /compact 指定焦點脫離迴圈;搜尋失效裝系統 ripgrep 並設 USE_BUILTIN_RIPGREP=0。

techguide

Mac 遠端桌面怎麼選:Tailscale、Jump Desktop、RustDesk 與內建螢幕共享

不想付錢就用 Tailscale + 內建螢幕共享,完全免費且最穩;要更順才考慮付費的 Jump Desktop,本文對比 4 種方案並給 5 分鐘設定與闔蓋休眠三大坑解法。

自架推論服務導讀:什麼時候值得自己跑模型

自架推論的關鍵不在引擎多快,而在你的 GPU 使用率:一張打滿的 A100 約 $0.70 / 百萬輸出 token,使用率掉到一成就變 $7,比多數雲端 API 貴。這篇是系列導讀,把七套工具分成三層,幫你判斷該選哪一層。

techguide

AI 模型評測來源指南——怎麼判斷一個模型好不好用

模型廠商的自測數字不能直接信。這篇整理 2026 年最重要的獨立評測平台、領域 benchmark、市場熱度指標和官方來源,說明各自測什麼、怎麼解讀、偏差在哪,附上不同情境的選型該看哪些數字。