Skip to content
所有標籤

#promptfoo

3 篇文章
ai deep-dive

Promptfoo 深入介紹：把 LLM Eval 與 Red Team 寫進本機測試迴圈

Promptfoo 用 YAML 把 prompts、providers、test cases 與 assertions 組成可在本機與 CI 重跑的 LLM 評估矩陣，並共用同一套 target 做 red team；它降低測試門檻，但隨機輸出、LLM judge 偏差與 hosted data flow 仍要另外治理。

#promptfoo#llm-evaluation#red-teaming#ai-security#ci-cd#llm
tech deep-dive AI 時代的技術選擇

Promptfoo Red Team：把 Prompt Injection、Tool Misuse 與資料外洩變成 Regression Tests

Promptfoo 以 plugins 產風險 probes、strategies 變形攻擊、targets 執行系統、graders 判斷結果；有價值的 red team 必須測整個 agent application，而不只是 foundation model。

#promptfoo#red-team#ai-security#prompt-injection#evaluation
ai guide RAG 技法大全

RAG 評估框架與工具選型：Promptfoo、RAGAS、DeepEval、TruLens

RAG 評估沒有指定工具的業界標準；先把 retrieval、generation、operation 分開量，再依技術棧選 Promptfoo、RAGAS、DeepEval 或 TruLens。

#rag#evaluation#promptfoo#ragas#deepeval#trulens#metrics#quality