#hyperparameters

CS336 Lecture 3：Transformer 架構很多，真正穩定的預設值其實很少

第三講比較大量現代 LLM 後得到的不是一張最佳架構配方，而是一組保守共識：pre-norm、RMSNorm、無 bias、SwiGLU、RoPE，以及少數值得偏離預設的推論與穩定性設計。