Skip to content
所有標籤

#llm-observability

3 篇文章
ai deep-dive

Arize Phoenix：從 Trace 長出 Dataset、Experiment 與 Evaluator

Phoenix 是 MIT 授權的開源 LLM observability/eval 平台：先用 OpenTelemetry + OpenInference 收 trace，再把 production failure 收進 versioned dataset，以 experiment 比 prompt、model 或 RAG 改動，最後用 code、human 與 LLM evaluator 回寫分數。它不是 Arize AX；自架預設無認證且永久保留資料，正式環境必須先補安全政策。

#arize-phoenix#llm-observability#evaluation#opentelemetry#openinference#ai-agent
ai deep-dive

Helicone 深入介紹：把 LLM Gateway、請求追蹤與成本分析放在一起

Helicone 是開放原始碼的 LLM Gateway 與觀測平台：請求經過相容端點後，自動留下模型、延遲、token、成本與自訂欄位；它也能用 managed credits 或 BYOK 路由與 fallback。

#helicone#llm-observability#ai-gateway#tracing#llmops#open-source
ai deep-dive

LangSmith 深入介紹：從 Agent Trace 到離線與線上評估

LangSmith 把 LLM 應用拆成 project、trace、run 與 thread，再用 dataset、evaluator 與 experiment 把 production 問題送回離線回歸測試；它可觀測任何 LLM 應用，不要求使用 LangChain。

#langsmith#llm-observability#tracing#evaluation#llmops#ai-agent