Skip to content
系列
4 篇文章

私有語料管線

私有資料如何安全且持續地進入索引、通過查詢權限被找到,並在來源更新或刪除後維持一致;重點是資料生命週期,不重複介紹 RAG 檢索技法。

ai deep-dive 私有語料管線

私有語料搜尋的邊界與架構:先決定資料能去哪裡

私有語料管線的第一個決定不是選向量資料庫,而是列出資料分級、信任區、權限決策點與 freshness SLA;索引、模型和觀測系統都只能收到被允許的最小資料。

ai deep-dive 私有語料管線

從來源到索引:私有語料的同步與增量更新管線

私有語料同步的核心不是定時重抓,而是用 canonical ID 固定文件身分、用來源版本與 checksum 判斷變更、用冪等 upsert 寫入,並讓 tombstone 走完所有索引的刪除傳播。

ai deep-dive 私有語料管線

私有語料查詢安全:ACL、刪除傳播與 freshness

私有搜尋的授權必須在候選生成前生效,並把 ACL、刪除事件與來源版本傳到每一份衍生索引;freshness 也要用可量測的事件時間與 SLA 管理。

ai guide 私有語料管線

私有語料 Retrieval Eval 實測:先把繁中題庫變成可重跑的 benchmark

Repo 已有 20 題繁中/英文 golden dataset,但缺少文件層級 qrels、retrieval run、延遲原始值與執行 script;目前不能誠實報 Recall@k、MRR 或 nDCG 實測分數。本文把缺口整理成可重跑的評估契約。