在轨迹和运行中内联注释
LangSmith 允许您在应用程序内手动为追踪记录添加反馈注释。这有助于为追踪记录补充上下文信息,例如用户的评论或关于特定问题的备注。 您可以通过内联方式为追踪记录添加注释,也可以将追踪记录发送至注释队列,从而逐条细致检查并记录各次运行的反馈。 反馈标签与您的 工作区 相关联。
笔记
您可以将用户反馈附加到跟踪(trace)中的任意中间运行(span),而不仅限于根 span。 这对于评估 LLM 应用程序的特定环节非常有用,例如 RAG 流程中的检索步骤或生成步骤。
要内联标注追踪记录,请点击追踪视图右上角的 Annotate(该追踪视图对应追踪记录中的某次具体运行)。

这将打开一个面板,允许您从与工作区关联的反馈标签中进行选择,并为特定标签添加评分。您还可以添加独立的评论。请参阅此指南,了解如何为您的工作区设置反馈标签。 您也可以直接在该面板内设置新的反馈标准。

您可以使用带标签的键盘快捷键来简化标注流程。