Skip to content
所有標籤

#visual-rag

3 篇文章

pplx-embed-v2-late:免 OCR 搜 PDF 頁面的開源 late-interaction 模型

Perplexity 10 月 7 日以 MIT 授權開源 0.6B 與 9B 兩個 ColBERT 式多模態嵌入模型,每個 token 一個 128 維向量、用 MaxSim 評分,可直接檢索 PDF 頁面圖片。9B 在 MADQA 拿到 92.4%(自家測試,搭配 Gemini 3.5 Flash agent),代價是索引大小隨文件長度線性成長。

ColPali:跳過 OCR,直接用圖片做文件檢索

ColPali 把 PDF 每頁渲染成圖片,用 vision-language model 產生 patch-level multi-vector embedding,用 MaxSim 做 late interaction 檢索。表格密集的金融 PDF 上 recall 從 62% 跳到 84%,完全跳過 OCR 和 chunking。代價是儲存量 ~100 倍、需要 GPU、BM25 不可用。

aiguideRAG 技法大全

ColBERT:向量搜尋的第三條路

Bi-Encoder 太粗糙,Cross-Encoder 太慢,ColBERT 的 Late Interaction 在兩者之間找到平衡:token 級別的相互比較,但可以預先計算文件向量。