如何在数据集的拆分/过滤视图上进行评估

推荐阅读

在深入学习本内容之前，阅读以下内容可能会有所帮助：

• 获取示例的指南。
• 创建/管理数据集划分的指南

在数据集的筛选视图上进行评估

您可以使用 list_examples / listExamples 方法从数据集中提取部分样例进行评估。您可以参考上方指南，了解提取样例的各种方法。

一种常见工作流程是获取具有特定元数据键值对的示例。

Python

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, metadata={"desired_key": "desired_value"}),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    metadata: {"desired_key": "desired_value"},
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

如需更高级的筛选功能，请参阅此 操操作指南。

在数据集划分上进行评估

您可以使用 list_examples / listExamples 方法对数据集的一个或多个划分进行评估。splits 参数接受您希望评估的划分列表。

Python

from langsmith import evaluate

results = evaluate(
    lambda inputs: label_text(inputs["text"]),
    data=client.list_examples(dataset_name=dataset_name, splits=["test", "training"]),
    evaluators=[correct_label],
    experiment_prefix="Toxic Queries",
)

TypeScript

import { evaluate } from "langsmith/evaluation";

await evaluate((inputs) => labelText(inputs["input"]), {
  data: langsmith.listExamples({
    datasetName: datasetName,
    splits: ["test", "training"],
  }),
  evaluators: [correctLabel],
  experimentPrefix: "Toxic Queries",
});

相关

• 进一步了解如何获取数据集的视图，请点击此处