如何评估现有实验(仅限Python)
现有实验的评估目前仅支持 Python SDK。
如果您已运行过实验,并希望添加额外的评估指标,可以像之前一样,使用 evaluate() / aevaluate() 方法将任意评估器应用于该实验。
只需传入实验名称/ID,而非目标函数即可:
from langsmith import evaluate
def always_half(inputs: dict, outputs: dict) -> float:
return 0.5
experiment_name = "my-experiment:abc" # Replace with an actual experiment name or ID
evaluate(experiment_name, evaluators=[always_half])