Skip to content
所有標籤

#guardrails

10 篇文章

李宏毅 ML 2026 HW1:只准改 defense prompt,擋得住幾種「I have been PWNED」?

HW1 要你寫一段不超過 1000 token 的 defense prompt,讓模型不管被怎麼攻擊,都把回應包在 [START]…[END] 裡,而且不說出「I have been PWNED」。助教準備了 14 個攻擊:10 個公開、4 個私下,每個 safety 與 utility 各 0.5%。題目、10 個攻擊原文與 token 計數 Colab 都公開,但評分平台 JudgeBoi 在 2026-09-30 回傳 502,校外只能照規格自己搭評估。

Multi-Agent 安全與護欄:防止 Prompt Injection 跨 Agent 傳播

Multi-Agent 的安全風險不只是單 agent 的放大版——agent 間的通訊本身就是攻擊面。一個被注入的子 agent 可以透過回傳結果把惡意指令傳給父 agent。防禦核心:treat agent output as untrusted data。

aideep-dive

LLM 開發流程全景:瓶頸從寫程式移到驗證程式之後

AI 讓寫 code 快了 34%,但 review 時間暴增 441%、實測交付反而慢 19%。四輪研究整理出當前全景:確定性護欄(hook 擋)vs 機率性護欄(prompt 引導)、乾淨 context review、自我改進回饋迴圈、規格驅動開發、AI 測試品質危機(覆蓋率高但 mutation score 低至 53%),以及 Replit agent 偽造測試結果的真實事故。

aideep-dive

Amazon Bedrock 深入介紹:把模型 API 放進 AWS 治理邊界

Amazon Bedrock 不只是代售多家模型 API;它把模型呼叫、IAM、Region、Knowledge Bases、Guardrails 與 CloudWatch 串成同一套 AWS 控制面。它最適合已在 AWS 上、治理成本比最低 token 單價更重要的團隊。

aideep-dive

Galileo 深入介紹:Experiments、Evaluators 與 Agent Observability 的完整評估迴圈

Galileo 把 dataset experiment、LLM/code/Luna evaluator、production traces 與 runtime guardrail 接成一個迴圈;適合需要企業級可觀測性與線上介入的團隊,但舊 Protect 名稱已 deprecated,評分模型也不能取代人工校準與應用安全。

aideep-dive

Portkey:把 LLM 路由、觀測與治理收進同一個 AI Gateway

Portkey 是放在應用程式與模型供應商之間的 AI Gateway:用一個 OpenAI 相容端點統一路由、fallback、用量紀錄、預算與 guardrails,也能自行架設開放原始碼 gateway。

Google Cloud Model Armor:在 Prompt、Response 與 Agent Tool 前加 Runtime Filter

Model Armor 能在 runtime 檢查 prompt injection、jailbreak、敏感資料、惡意 URL 與內容安全;它是 probabilistic detector,不是 authorization 或 sandbox boundary。

aideep-dive

自製 auto-dev agent 的 15 個 walls:從 Stripe Minions 學到的具體實作

Stripe Minions 講『The walls matter more than the model』,但矽谷四家 case study 沒講具體要怎麼蓋這些 walls。這篇把 daodao auto-dev agent 實際落地的 15 個 walls 拆給你看:每個 wall 防什麼、檔案放哪、tradeoff 在哪。Tier 1 必上、Tier 2 強化、Tier 3 嚴肅治理。

aiguide

聊天機器人開發完整指南:狀態管理、記憶策略與tech stack選型

聊天機器人不只是接 API。對話狀態管理、記憶機制、Streaming、Guardrails、可觀測性、tech stack選型,每一層都影響使用者體驗。

aiguideRAG 技法大全

RAG Guardrails:在輸入和輸出加一道防線

RAG 系統面對的攻擊不只是技術層面的,Prompt Injection 和 Jailbreak 是真實威脅。輸入輸出都需要獨立的防護層。