Skip to content
所有標籤

#information-retrieval

3 篇文章

清大高宏宇 NLP 第一週:語言為什麼難,以及 LLM 以前怎麼把文字變成數字|清大高宏宇 自然語言處理 第 1 週

清大高宏宇 NLP 課第一週的 W1_NLP_brief 共 91 頁:先用「Watch for kids」、望遠鏡句的五種讀法、大舅到十一舅的繞口令說明語言為什麼難,再從資訊檢索的角度,把倒排索引、tokenization、stemming、TF-IDF、BM25 講成一條管線。後半段處理這條管線的死穴(同義詞、一詞多義、詞彙對不上),走到 LSA 的 SVD 降維,最後用 Skip-gram、GloVe、FastText 預告稠密詞向量。

Information Retrieval:從倒排索引、tf-idf 到 RAG 的檢索底座|Stanford CS124 第 4 週

第 4 週教搜尋:把查詢和文件都變成向量,用 tf-idf 加權、cosine 相似度排名,用倒排索引加速,用 precision、recall 與 MAP 評估,最後接到向量檢索與 RAG。本文把投影片的四篇迷你文件例子完整算一遍。

私有語料搜尋的邊界與架構:先決定資料能去哪裡

私有語料管線的第一個決定不是選向量資料庫,而是列出資料分級、信任區、權限決策點與 freshness SLA;索引、模型和觀測系統都只能收到被允許的最小資料。