使用仪表盘监控项目

仪表板为您提供追踪数据的高层洞察，帮助您发现趋势并监控应用程序的健康状况。LangSmith 提供两种类型的仪表板：

• 预构建的仪表板：为每个追踪项目自动生成。
• 自定义仪表板：完全可配置的图表集合，专为满足您的需求而设计。

预构建的仪表板

预构建的仪表板会为每个项目自动生成，涵盖关键指标，例如追踪次数、错误率、Token 使用量等。

笔记

您无法修改预构建的仪表板。未来，我们计划允许您克隆默认仪表板，以便获得一个可自定义的起点。

仪表板部分

预构建的仪表板分为以下部分：

章节	它所展示的内容
Traces	Trace count, latency and error rates. A trace is a collection of runs related to a single operation. For example, if a user request triggers an agent, all runs for that agent invocation would be part of the same trace.
LLM Calls	LLM call count and latency. Includes all runs where run type is "llm".
Cost & Tokens	Total and per-trace token counts and costs, broken down by token type. Costs are measured using LangSmith's cost tracking.
Tools	Run counts, error rates, and latency stats for tool runs broken down by tool name. Includes runs where run type is "tool". Limits to top 5 most frequently occurring tools.
Run Types	Run counts, error rates, and latency stats for runs that are immediate children of the root run. This helps in understanding the the high-level execution path of agents. Limits to top 5 most frequently occuring tool names. 1
Feedback Scores	Aggregate stats for the top 5 most frequently occurring types of feedback. Charts show average score for numerical feedback and category counts for categorical feedback.

¹ 例如，对于以下追踪记录，以下运行的深度为 1：

按分组

按 运行标签或元数据 分组可用于根据对您的应用至关重要的属性来划分数据。全局分组设置显示在仪表板右上方。请注意，“工具”和“运行类型”图表已应用了分组，因此全局分组设置不会生效；全局分组将应用于所有其他图表。

提示

在为运行（runs）添加元数据时，我们建议在跟踪（trace）以及特定的运行（例如大语言模型调用）上均设置相同的元数据。元数据和标签不会从父级运行向子级运行传播，反之亦然。因此，如果您希望例如在某个元数据键下同时对跟踪图表和大语言模型调用图表进行分组，则您的跟踪（根运行）和大语言模型运行均需附带该元数据。

自定义仪表板

创建量身定制的图表集合，用于跟踪对您的应用程序最为关键的指标。

创建新仪表板

1. 在左侧边栏中，导航到 监控 选项卡。
2. 点击 + 新建仪表板 按钮。
3. 为您的仪表板命名并添加描述。
4. 点击 创建。

向您的仪表板添加图表

1. 在仪表板中，点击新建图表按钮以打开图表创建面板。
2. 为您的图表命名并添加描述。
3. 配置图表。

图表配置

选择追踪项目并筛选运行

• 选择一个或多个追踪项目以跟踪相关指标。
• 使用图表筛选器部分来细化匹配的运行。此筛选器适用于图表中的所有数据序列。有关筛选轨迹的更多信息，请参阅我们的应用程序中筛选轨迹指南。

选择一个指标

• 从下拉菜单中选择一个指标，以设置图表的 y 轴。在选定项目和指标后，您将看到图表预览以及匹配的运行记录。
• 对于某些指标（例如延迟、Token 使用量、成本），我们支持对具有相同单位的多个指标进行对比。例如，您可能希望在一个图表中同时查看提示词 Token 数和补全词 Token 数。每个指标将以单独的折线呈现。

拆分数据

在图表中创建多个序列（即在图表中创建多条线）有两种方法：

1. 分组依据：按运行标签或元数据、运行名称或运行类型对运行记录进行分组。选择分组依据后，系统会自动根据所选字段将数据拆分为多个数据系列。请注意，分组依据仅限于按出现频率排序的前5个元素。

2. 数据序列：手动定义多个具有独立筛选条件的序列。这适用于在单个指标内比较细粒度的数据。

选择一个图表类型

• 在折线图和柱状图之间选择一种用于可视化

保存和管理图表

• 点击 Save 将图表保存到仪表板。
• 通过点击图表右上角的三个圆点按钮，可编辑或删除该图表。
• 通过点击图表右上角的三条横线按钮，然后选择 + 克隆，即可克隆一个图表。这将打开一个新的图表创建面板，其配置与原始图表相同。

从追踪项目链接到仪表板

您可以直接从追踪项目链接到仪表板。默认情况下，将选择您追踪项目的预构建仪表板。如果您希望链接到自定义仪表板，请执行以下操作：

1. 在您的追踪项目中，点击仪表板选择器旁边的铅笔图标。
2. 选择一个仪表板设为新的默认仪表板。

示例：用户旅程监控

使用监控图表来映射智能体在特定节点上所做出的决策。

考虑一个电子邮件助手智能体。在某个特定节点，它会对一封电子邮件做出如下决策：

• 回复一封电子邮件
• 通知用户
• 无需响应

我们可以创建一个图表来跟踪并可视化这些决策的分解情况。

创建图表

1. 指标选择：选择指标 Run count。

2. 图表筛选器：添加一个树形筛选器，以包含所有名称为 triage_input 的轨迹。这意味着我们仅包含命中 triage_input 节点的轨迹。同时，为 Is Root 等于 true 添加一个图表筛选器，从而避免因轨迹中节点数量过多而导致计数虚高。

3. 数据序列：为在 triage_input 节点处做出的每个决策创建一个数据序列。该决策的输出存储在输出对象的 triage.response 字段中，而决策值为 no、email 或 notify 中的一个。每个此类决策均会在图表中生成一个独立的数据序列。

现在我们可以随时间可视化在 triage_input 节点上做出的决策。