Skip to main content
Open In ColabOpen on GitHub

Oracle云基础设施生成式AI

Oracle Cloud Infrastructure (OCI) 生成式人工智能是一项完全托管的服务，提供一系列最先进的、可定制的大语言模型（LLMs），涵盖广泛的使用场景，并且可以通过单一的 API 获取。 通过 OCI 生成式人工智能服务，您可以访问现成的预训练模型，也可以基于自己的数据在专用 AI 集群上创建和托管自己的微调自定义模型。该服务和 API 的详细文档可在 此处 和 此处 找到。

本笔记本解释了如何使用 OCI 的生成式 AI 模型与 LangChain。

前置条件​

我们需要安装 OCI SDK。

!pip install -U oci

OCI 生成式 AI API 端点​

https://inference.generativeai.us-chicago-1.oci.oraclecloud.com

认证​

此LangChain集成支持的身份验证方法有：

  1. API密钥
  2. 会话令牌
  3. 实例主身份
  4. 资源主体

这些遵循标准SDK认证方法，详情请见 此处。

使用​

from langchain_community.embeddings import OCIGenAIEmbeddings

# use default authN method API-key
embeddings = OCIGenAIEmbeddings(
    model_id="MY_EMBEDDING_MODEL",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
)


query = "This is a query in English."
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)
API 参考：OCIGenAIEmbeddings
# Use Session Token to authN
embeddings = OCIGenAIEmbeddings(
    model_id="MY_EMBEDDING_MODEL",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
    auth_type="SECURITY_TOKEN",
    auth_profile="MY_PROFILE",  # replace with your profile name
    auth_file_location="MY_CONFIG_FILE_LOCATION",  # replace with file location where profile name configs present
)


query = "This is a sample query"
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)