解析與清洗:PDF、表格、掃描檔轉成文字時,哪些東西會悄悄壞掉
文件轉成文字時,壞掉的地方通常不會報錯:多欄的段落接錯順序、表格的合併儲存格被攤平、頁首頁尾混進內文、掃描檔的錯字、圖片和刪除線消失。OCR 的準確率高也不代表 RAG 答得好:一項研究裡,帶刪除線和顏色標記的文件 OCR 分數 82.9%,問答卻只答對 52.8%。比起換工具,怎麼切塊影響更大:同一份轉換結果,改成依標題階層切塊並附上標題路徑,表格題從 66.6% 升到 99.8%。所以解析完一定要抽檢,對照原檔看這幾種壞法。
文件轉成文字時,壞掉的地方通常不會報錯:多欄的段落接錯順序、表格的合併儲存格被攤平、頁首頁尾混進內文、掃描檔的錯字、圖片和刪除線消失。OCR 的準確率高也不代表 RAG 答得好:一項研究裡,帶刪除線和顏色標記的文件 OCR 分數 82.9%,問答卻只答對 52.8%。比起換工具,怎麼切塊影響更大:同一份轉換結果,改成依標題階層切塊並附上標題路徑,表格題從 66.6% 升到 99.8%。所以解析完一定要抽檢,對照原檔看這幾種壞法。