#deduplication

CS336 Lecture 14：Filtering、Dedup 與資料混合才把 raw web 變成訓練語料

第十四講把 raw documents 經語言辨識、品質與安全 filtering、exact/near dedup、source mixing 送進訓練；每一步都會改變模型分布，而 synthetic instruction 與 agent trajectories 又把資料管線延伸到可執行環境。