Skip to content
所有標籤

#word-embedding

1 篇文章

CMU 07-280 Lecture 19:Word Embedding 如何把下一詞預測變成幾何

第 19 講以兩個 embedding matrices、dot-product similarity、softmax 與 cross-entropy 建立最小 next-token model,讓相似 context 透過共享向量參數取代 N-gram 的獨立計數格。