模型輸出如何變成 XSS、命令與資料外傳？
先確認誰解讀模型輸出，再按 HTML、URL 與操作參數各自處理；JSON 合法、文字轉義與資源授權不能互相取代。
全部文章
第 6 頁，共 128 頁
AI 資安怎麼學：攻擊、防護與調查的實作路線
從同一套客服助理出發，學 AI 如何協助找漏洞、AI 系統如何守住資料與工具權限，以及如何用 AI 調查、修補。每條路線都交出可重現的證據。
AI 寫好 Patch，還要驗證什麼？
修補要同時擋住越權、保留正常功能，並在實際目標重跑。告警消失和本機副本通過，各自只能證明其中一部分。
AI 如何攻擊另一個 AI：間接注入與工具誤用
拆解惡意附件如何變成錯誤工具請求，對照真實 LLM 訓練平台與固定動作重播，分開驗證模型偏移與資料外洩。
RAG 答對了，也可能洩漏別人的資料
每次檢索都帶可信使用者權限，在資料進入模型前過濾；快取命中與撤權後也要重新驗證資料依賴。
讓資安助手接上工具：從唯讀調查到處置
調查權限不應自動包含處置權。讓可信執行端核對角色、事件、精確提案與當前狀態，再執行並留下可回查結果。
Agent 的沙盒、憑證與網路邊界
用作業系統限制實測合成檔案與網路，再獨立檢查短效、限資源的授權；程式內允許清單不是 OS 沙盒，通訊方式也不會限制程序能力。
如何知道防線有效：紅隊、回歸與運作監控
用獨立權限矩陣重播修補前後的真 HTTP，核對回應與稽核，再將模型評估、執行邊界與正式監控分開報告。
工具能呼叫，不代表這次動作有權執行
用一次工單匯出綁定使用者、資源、動作、目的地與批准，並測試參數替換、撤權、過期與重播。
AI 說有漏洞，你要拿出什麼證據？
把 AI 的建議當成待驗假說。保留實際輸入與回覆，核對目標資料和授權政策，再用正常與修補對照排除假陽性。
讓 AI 找漏洞：從線索到測試假設
用同租戶與跨租戶讀取案例，把 AI 的可疑判斷改寫成能確認、推翻與保留未決的漏洞假設。
怎麼證明 AI 真的幫上資安工作？
固定獨立真值，先算誤報、漏報及未判定，再量人工時間與操作風險。快速結案不會自動證明結案正確，規則重播也不能當成模型成效。
切塊與索引：要切多大、用什麼搜，以及怎麼知道選對了
建索引要做三個決定：切塊的單位、用關鍵字還是向量還是兩者都用、用哪個 embedding 模型。這三個都是半永久的選擇，改了就要整批重建。研究的建議偏保守：語意切塊沒有一致比較好，按句子或按文件結構切通常就夠；overlap 的效果很小、依設定而定。繁體中文的一項研究裡，正確段落排在第一名的比例，只用向量搜尋 57%，關鍵字搜尋 76%，兩者混合 81%。不要憑感覺選：用 order 11 的測試題比較兩種設定，一次只改一件事。
評估與上線：怎麼知道 AI 知識庫好用，上線後怎麼持續變好
評估要分兩層：檢索有沒有找到出處段落，回答有沒有依據段落、答得對不對。只看回答會被騙：一項研究發現，給的資料不足以回答時，模型仍有三到六成答對，靠的是它自己的知識，換成只有你們公司答得出的問題就會壞。用 order 11 的測試題兩層都評，越權題和答不了的題也要評；LLM 當評審要跟人工抽樣校準。上線後，把轉人工、被抱怨的對話整理成失敗案例，交回文件負責人修，再加進測試題。
結構與 metadata：除了內文，每份文件還要記哪些欄位
metadata 有三種用途：回傳給人引用、參與搜尋、檢索前過濾；型號、年份、地區這種精確條件要放在欄位裡，一項研究把公司和年份寫在每段前面，前五名找到正確段落的比例從 33% 升到 55%。過濾用的欄位從來源系統取值、用固定選項、日期存成數字，不要讓 LLM 自由產生。
解析與清洗：PDF、表格、掃描檔轉成文字時，哪些東西會悄悄壞掉
文件轉成文字時，壞掉的地方通常不會報錯：多欄的段落接錯順序、表格的合併儲存格被攤平、頁首頁尾混進內文、掃描檔的錯字、圖片和刪除線消失。OCR 的準確率高也不代表 RAG 答得好：一項研究裡，帶刪除線和顏色標記的文件 OCR 分數 82.9%，問答卻只答對 52.8%。比起換工具，怎麼切塊影響更大：同一份轉換結果，改成依標題階層切塊並附上標題路徑，表格題從 66.6% 升到 99.8%。所以解析完一定要抽檢，對照原檔看這幾種壞法。
權限：怎麼確保 AI 不會把 A 部門的文件答給 B 部門
權限要在檢索時就過濾：每段文字帶著能看它的群組，查詢帶著使用者的群組，不符合的根本不進候選，而不是讓模型讀了再叫它別說。AI 不會新增權限，但會讓本來分享得太寬的文件變得一問就找得到，所以上線前要先整理過度分享。權限改了，索引不一定跟著改：有的連接器只在完整爬取時更新權限，最多延遲一天。過濾也有代價：條件很嚴時，某些向量資料庫會回傳不足的結果。上線前寫一題越權測試放進測試題。
安全：收進知識庫的文件，會不會洩漏個資或反過來指揮 AI
收進知識庫的文件可能夾著個資，也可能藏著寫給 AI 的指令；後者已在 Slack AI 和 Microsoft 365 Copilot 上被示範過。只在系統提示叫模型忽略效果很小，比較穩的是入庫時加個資與指令兩道關卡，再限制模型能做的動作。偵測工具都不保證找全，每一層都只是降低風險。
盤點來源：哪些文件該進 AI 知識庫，信哪個版本
共用硬碟整包匯進去，是 AI 知識庫最常見的開頭，也是最常見的錯。舊版和現行版一起被撈到時，模型會混在一起答：一項研究裡，現行資料明明有被撈到，旁邊只多一段過時資料，總分就降了兩成多。先做一張來源盤點表，記下每個來源的負責人、更新頻率、存取限制和處理方式；第一批只收一個工作流程、治理良好的來源；同一份文件只收現行版，舊版要收就標版本與失效日期。匯入之後核對檔案數，因為有的連接器權限不足時一個檔案都不匯，也不報錯。
更新與刪除：文件改了、刪了，AI 知識庫怎麼跟上
文件改了或刪了，索引不會自己跟上。比較穩的增量同步是：用內容雜湊判斷哪些文件變了，只重做變了的；刪除要清到每一個存放處，包括全文索引和向量庫。很多工具預設不處理刪除，刪除和更新也可能要過一段時間才生效。為什麼要刪乾淨：一篇預印本把一份過時文件放進上下文，兩個小模型原本答對的醫學題有三到四成被翻錯；要求模型「照文件回答」時，比例升到三分之二到四分之三。