Appearance
监控与可观测性
在知识图谱中的位置：模块四 · 04_工程实践 · 第 5 节 难度：⭐⭐ | 前置知识：Agent 工程化
1. 概述
Agent 的不可观测性比传统应用更严重——你不知道 LLM 内部在想什么。可观测性是 Agent 生产化的关键。
2. 监控维度
| 维度 | 指标 | 工具 |
|---|---|---|
| 延迟 | Token/s, 端到端延迟 | LangSmith, Prometheus |
| 成本 | 每轮成本, 总成本 | LiteLLM, 自研 |
| 质量 | 任务完成率, 工具准确率 | 自建评测 |
| 稳定性 | 失败率, 超时率 | Grafana |
| Token 使用 | 输入/输出/缓存 Token | API 日志 |
3. 实现
3.1 LangSmith 追踪
python
from langsmith import Client
client = Client()
# 追踪 Agent 执行
with client.run_trace(
name="weather_agent",
inputs={"query": "北京天气"},
outputs={"result": "25°C 晴"},
tags=["production", "weather"],
) as trace:
result = agent.run("北京天气")3.2 成本追踪
python
from litellm import completion_cost
cost = completion_cost(
model="gpt-4o",
response=response,
)
print(f"本轮成本: ${cost:.4f}")