Skip to main content

在提示中包含多模态内容

一些应用程序围绕多模态内容构建,例如能够回答有关 PDF 或图像问题的聊天机器人。 在这些情况下,您需要在提示词中包含多模态内容,并测试模型针对该内容回答问题的能力。

LangSmith Playground 支持两种在提示词中整合多模态内容的方法:

  1. 内联内容:将静态文件(图像、PDF、音频)直接嵌入您的提示词中。当您希望在所有使用该提示词的场景中始终包含相同的多模态内容时,这种方式最为适用。例如,您可以嵌入一张参考图像,以帮助模型更好地理解并锚定其响应。
  2. 模板变量:创建用于附件的动态占位符,每次均可填入不同的内容。此方法提供了更高的灵活性,使您能够:
    • 测试模型如何处理不同的输入
    • 创建可重复使用的提示词,以适配不同内容
笔记

并非所有模型都支持多模态内容。在 Playground 中使用多模态功能之前,请确保您选择的模型支持您想要使用的文件类型。

内联内容

单击您希望添加多模态内容的消息中的文件图标。 在 Upload content 标签页下,您可以上传文件并将其内联包含在提示词中。

模板变量

单击您希望添加多模态内容的消息中的文件图标。 在 Template variables 选项卡下,您可以为特定附件类型创建模板变量。 目前仅支持图像、PDF 和音频文件(.wav、.mp3)。

填充模板变量

添加模板变量后,您可以通过屏幕右侧的面板为其提供内容。只需点击 + 按钮,即可上传或选择用于填充该模板变量的内容。

运行评估

在手动测试完您的提示词后,您可以运行评估,以查看该提示词在一组标准示例数据集上的表现。


这个页面对你有帮助吗?


您可以留下详细的反馈 在 GitHub 上.