Skip to main content
Open In ColabOpen on GitHub

ChatOCIGenAI

本笔记本提供了快速入门OCIGenAI聊天模型的概述。有关ChatOCIGenAI所有功能和配置的详细文档，请访问API参考。

Oracle Cloud Infrastructure (OCI) 生成式 AI 是一项全托管服务，提供了一组先进的、可定制的大型语言模型 (LLM)，涵盖了广泛的使用场景，并通过单一 API 提供访问。 使用 OCI 生成式 AI 服务，您可以访问即用型预训练模型，或者基于您自己的数据在专用 AI 集群上创建和托管您自己的微调自定义模型。该服务和 API 的详细文档可在此处这里和这里查阅。

概览​

集成详情​

类包本地可序列化的JS 支持
ChatOCIGenAIlangchain-community❌❌❌

模型特性​

工具调用结构化输出JSON模式图像输入音频输入视频输入令牌级流式传输原生异步令牌使用量对数概率
✅✅✅✅❌❌✅❌❌❌

设置​

要访问OCIGenAI模型，您需要安装oci和langchain-community包。

凭据​

此集成支持的凭据和身份验证方法与其他OCI服务所使用的相同，并遵循标准SDK身份验证方法，特别是API密钥、会话令牌、实例主体和资源主体。

API 密钥是上述示例中使用的默认身份验证方法。以下示例演示了如何使用其他身份验证方法（会话令牌）。

安装​

LangChain OCIGenAI 集成位于 langchain-community 包中，您还需要安装 oci 包：

%pip install -qU langchain-community oci

实例化​

现在我们可以实例化我们的模型对象并生成聊天补全：

from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

chat = ChatOCIGenAI(
    model_id="cohere.command-r-16k",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0.7, "max_tokens": 500},
)

调用​

messages = [
    SystemMessage(content="your are an AI assistant."),
    AIMessage(content="Hi there human!"),
    HumanMessage(content="tell me a joke."),
]
response = chat.invoke(messages)
print(response.content)

链式调用​

我们可以像这样将我们的模型与提示模板链接：

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_template("Tell me a joke about {topic}")
chain = prompt | chat

response = chain.invoke({"topic": "dogs"})
print(response.content)
API 参考：ChatPromptTemplate

API 参考​

有关ChatOCIGenAI所有功能和配置的详细文档，请访问API参考： https://python.langchain.com/api_reference/community/chat_models/langchain_community.chat_models.oci_generative_ai.ChatOCIGenAI.html