#data-efficiency

Stanford CS224V 第 14 講：資料受限時，語言模型還能怎麼擴展

最後一講不是完整 LLM 訓練教學，而是資料效率研究：在 compute 充足、資料固定時重看 epochs、batch、ensemble 與 self-training，再研究 synthetic continued pretraining 的可擴展條件。