设置自动化规则
虽然您可以手动筛选和处理我们大语言模型（LLM）应用的生产日志，但当您的应用用户规模不断扩大时，这一过程往往会变得十分困难。 LangSmith 提供了一项强大的功能——自动化（Automations），允许您基于追踪数据（trace data）触发特定操作。 从宏观层面来看，自动化由一个筛选条件、采样率和操作三部分定义。
自动化规则可以触发以下操作：在线评估、将追踪记录的输入/输出添加到数据集、加入标注队列，以及触发网络钩子（webhook）。
您可以设置的自动化示例之一是：“针对我所有被踩的追踪记录，触发一次在线评估，以模糊性为标准进行评分。”
创建一条规则
我们将在下方概述在 LangSmith 中创建自动化规则的步骤。
步骤 1：导航至规则创建
要创建规则，请在任意项目详情页面的右上角点击规则，然后滚动到页面底部并点击+ 添加规则。
或者，您可以通过访问此链接进入设置以查看规则，然后点击+ 添加规则，再选择项目规则。
目前您可以创建两种类型的规则：项目规则和数据集规则。
- 项目规则：此规则将应用于指定项目中的追踪记录。允许的操作包括添加到数据集、添加到标注队列、运行在线评估以及触发网络钩子（webhook）。
- 数据集规则：此规则将应用于指定数据集内实验中的追踪记录。允许的操作仅为在实验结果上运行评估器。如需查看实际效果，您可以参考本指南。
为您的规则命名，例如“my_rule”：
步骤 2：定义筛选器
您可以像平常一样创建筛选器，以在项目中筛选追踪记录。有关筛选器的更多信息，请参阅本指南。
（可选）步骤 3：将规则应用于历史运行记录
创建新规则时，您也可以将该规则应用于过去的运行记录。为此，请勾选应用于过往运行复选框，并在回填起始日期中输入应用规则的起始日期。
此操作将从回填起始日期开始，并应用运行规则，直至追上最新的运行任务。
请注意，如果您想查看回填任务的进度，则需要扩大日志的时间范围。详情请参阅查看自动化任务的日志。
步骤 4：定义采样率
您可以为自动化操作指定一个采样率（取值范围为 0 到 1），该采样率用于控制发送至自动化操作的已过滤运行记录所占的百分比。例如，若您将采样率设为 0.5，则通过过滤器的追踪记录中将有 50% 被发送至该操作。
步骤 5：定义操作
使用自动化规则时，您可以执行以下四种操作：
- 添加到数据集：将追踪记录的输入和输出添加到数据集中。
- 添加到标注队列：将追踪记录添加到标注队列中。
- 运行在线评估：在追踪记录上运行在线评估。有关在线评估的更多信息，请参阅 本指南。
- 触发网络钩子（Webhook）：使用追踪数据触发网络钩子。有关网络钩子的更多信息，请参阅本指南。
- 延长数据保留期限：延长使用基础保留策略的匹配追踪记录的数据保留期限 （详见数据保留文档）。 请注意，所有其他规则也会通过上述数据保留文档中所述的自动升级机制，延长匹配追踪记录的数据保留期限， 但此规则不会执行任何额外操作。
查看您自动化任务的日志
您可以通过进入 Settings → Rules，然后单击任意行中的 Logs 按钮来查看自动化任务的日志。
您还可以通过点击任意项目详情页面右上角的 Rules，然后点击任意规则旁的 See Logs 来查看日志。
日志可帮助您确认规则是否按预期正常运行。您现在可以查看日志，其中列出了过去 24 小时内由指定规则处理的所有运行记录。对于应用在线评估分数的规则，您可以轻松查看输出分数，并直接跳转至对应的运行记录；对于将运行记录作为示例添加到数据集中的规则，您则可查看所生成的示例。 如果某次特定的规则执行触发了错误，您只需将鼠标悬停在错误图标上，即可查看相应的错误信息。
默认情况下，规则日志仅显示过去一天内运行的结果。若要查看更早运行的结果，您可以选择 最近1天 并输入所需的时间范围。 对历史运行应用规则时，处理将从起始日期开始并向前进行，因此在回填过程中需要此设置才能查看日志。
如果您更喜欢视频教程，请观看《LangSmith 入门课程》中的自动化视频。