记录用户反馈

推荐阅读

在深入阅读本内容之前，可能需要先阅读以下内容：

• 关于追踪与反馈的概念指南
• 关于反馈数据格式的参考指南

在许多应用中，尤其是大语言模型（LLM）应用中，收集用户反馈至关重要，有助于了解您的应用在真实场景中的实际表现。 将用户反馈与追踪数据（trace data）结合进行观测，能够帮助您深入分析最具价值的数据点，进而将这些数据点发送至进一步的人工审核、自动评估，甚至用于构建数据集。 如需了解如何基于各类属性（包括用户反馈）筛选追踪数据，请参阅本指南。

LangSmith 使您能够轻松地将用户反馈关联到追踪记录中。 为应用程序的响应提供一种简单机制（例如“点赞”或“点踩”按钮）来收集用户反馈，通常非常有用。随后，您可以使用 LangSmith SDK 或 API 为追踪记录发送反馈。如需获取已记录运行的 run_id，请参阅 本指南。

笔记

您可以将用户反馈附加到跟踪（trace）中的任意中间运行（span），而不仅限于根 span。 这对于评估 LLM 应用程序的特定环节非常有用，例如 RAG 流程中的检索步骤或生成步骤。

Python

from langsmith import Client

client = Client()

# ... Run your application and get the run_id...
# This information can be the result of a user-facing feedback form

client.create_feedback(
  run_id,
  key="feedback-key",
  score=1.0,
  comment="comment",
)

TypeScript

import { Client } from "langsmith";
const client = new Client();

// ... Run your application and get the run_id...
// This information can be the result of a user-facing feedback form

await client.createFeedback(
  runId,
  "feedback-key",
  {
      score: 1.0,
      comment: "comment",
  }
);