使用注释队列

标注队列是 LangSmith 的一项强大功能，可为人工标注员提供一种简洁、定向的视图，以便针对特定运行（runs）添加反馈。 虽然您始终可以在行内标注运行，但标注队列提供了另一种选择：将多个运行归为一组，再由标注员统一审阅并提供反馈。

创建一个标注队列

要创建标注队列，请通过首页或左侧导航栏进入标注队列部分。 然后点击右上角的+ 新建标注队列。

基本信息

请在表单中填写队列的名称和描述。 您还可以为队列指定一个默认数据集，这将简化将某些运行的输入和输出发送至您 LangSmith 工作区中数据集的流程。

标注评分标准

首先为您的标注人员起草一些高层次的指导说明，这些说明将在每次运行时显示在侧边栏中。

接下来，点击“+ 期望的反馈”以将反馈键添加到您的标注队列中。标注人员将在每次运行时看到这些反馈键。 请为每个反馈键添加描述；如果该反馈属于分类类型，请同时为每个类别添加简短描述。

审核者将看到此内容：

协作者设置

与多名标注员相关的设置有几项：

• 每次运行的评审员数量：此设置决定需要多少名评审员将某次运行标记为“已完成”，该运行才会从队列中移除。如果您勾选了“所有工作区成员均需评审每次运行”，则该运行将一直保留在队列中，直至所有工作区成员均将其标记为“已完成”。
• 启用运行任务的预约功能：我们建议启用此功能。 这可以防止多名标注员同时审阅同一项运行任务。

1. 预订是如何运作的？

当审阅者查看某次运行时，该次运行将在指定的“保留时长”内为该审阅者保留。如果如上所述，每次运行对应多名审阅者，则同一次运行可同时被多名审阅者（最多至每次运行所配置的审阅者数量）保留。

2. 如果时间耗尽会发生什么？

如果审阅者查看了某次运行，但在未将其标记为“已完成”的情况下退出该运行，则保留期将在指定的“保留时长”后到期。 随后，该运行将被释放回队列中，并可由其他审阅者进行保留。

笔记

点击“移至队列末尾”仅会将当前运行任务移动到当前用户队列的末尾；不会影响任何其他用户的队列顺序。同时，该操作还会释放当前用户对该运行任务所持有的预留。

由于这些设置，单个用户在标注队列中可见的运行次数，可能（且很可能）与队列中的总运行次数以及其他任何用户的队列大小不同。

您可随时通过点击标注队列部分中的铅笔图标来更新这些设置。

将运行任务分配给标注队列

要将运行任务分配给标注队列，可执行以下任一操作：

1. 点击任意追踪视图右上角的添加到标注队列。您可以将该追踪中的任意中间运行（Span）添加到标注队列中，而不仅限于根 Span。

2. 在运行表格中选择多个运行，然后点击页面底部的添加到标注队列。

3. 设置自动化规则，以便自动将满足特定筛选条件和采样条件的运行任务分配至标注队列。

4. 从数据集页面中选择一个或多个实验，然后点击 标注。在弹出的窗口中，您可以创建一个新队列，或将这些运行添加到现有队列中：

提示

通常，将应用中具有特定用户反馈评分（例如“点赞”或“点踩”）的运行任务分配至标注队列，是一种非常有效的做法。这样，您便能及时识别并解决导致用户不满的问题。 如需了解如何从您的大语言模型（LLM）应用中收集用户反馈，请参阅本指南。

在标注队列中审核运行

要审核标注队列中的运行记录，请通过首页或左侧导航栏进入标注队列部分。 然后点击您想要审核的队列。这将带您进入一个聚焦且循环的视图，展示该队列中需要审核的运行记录。

您可以添加评论、为特定反馈标准打分、将运行结果关联到数据集，以及/或者将该次运行标记为已审核。 您还可以通过点击“查看运行”旁边的删除图标，将该次运行从所有用户的队列中移除（无论当前队列的任何保留设置或配置如何）。

显示的键盘快捷键可帮助简化审核流程。