PromptLayer OpenAI

PromptLayer 是首个允许您跟踪、管理和分享 GPT 提示工程的平台。PromptLayer 在您的代码和 OpenAI’s Python 库之间充当中间件。

PromptLayer 记录您所有的 OpenAI API 请求，让您可以在 PromptLayer 仪表板中搜索和探索请求历史。

此示例展示了如何连接到 PromptLayer 以开始记录您的 OpenAI 请求。

另一个例子是 这里。

安装PromptLayer

需要使用 promptlayer 包来将 PromptLayer 与 OpenAI 配合使用。使用 pip 安装 promptlayer。

%pip install --upgrade --quiet  promptlayer

导入

import os

import promptlayer
from langchain_community.llms import PromptLayerOpenAI

API 参考：PromptLayerOpenAI

设置环境API密钥

您可以通过点击导航栏中的设置齿轮，在www.promptlayer.com上创建一个PromptLayer API密钥。

将其设置为名为 PROMPTLAYER_API_KEY 的环境变量。

您还需要一个OpenAI密钥，称为OPENAI_API_KEY。

from getpass import getpass

PROMPTLAYER_API_KEY = getpass()

 ········

os.environ["PROMPTLAYER_API_KEY"] = PROMPTLAYER_API_KEY

from getpass import getpass

OPENAI_API_KEY = getpass()

 ········

os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

像平常一样使用PromptLayerOpenAI LLM

您可以选择传入 pl_tags 以使用 PromptLayer 的标签功能跟踪您的请求。

llm = PromptLayerOpenAI(pl_tags=["langchain"])
llm("I am a cat and I want")

上述请求现在应该会出现在你的PromptLayer 仪表板上。

使用 PromptLayer 跟踪

如果你想使用PromptLayer跟踪功能中的任何功能，则在实例化PromptLayer LLM时需要传递参数return_pl_id以获取请求ID。

llm = PromptLayerOpenAI(return_pl_id=True)
llm_results = llm.generate(["Tell me a joke"])

for res in llm_results.generations:
    pl_request_id = res[0].generation_info["pl_request_id"]
    promptlayer.track.score(request_id=pl_request_id, score=100)

使用此功能，您可以在 PromptLayer 仪表板中跟踪模型的性能。如果使用提示模板，您还可以将模板附加到请求中。 总体而言，这使您有机会在 PromptLayer 仪表板中跟踪不同模板和模型的性能。

相关

• 大语言模型 概念指南
• 大语言模型 操操作指南