ChatBedrock

本文档将帮助您开始使用AWS Bedrock聊天模型。Amazon Bedrock是一项完全托管的服务，通过单一API提供来自领先AI公司（如AI21 Labs、Anthropic、Cohere、Meta、Stability AI和Amazon）的高性能基础模型（FMs）选择，并具备构建生成式AI应用程序所需的一系列广泛功能，同时确保安全性、隐私性和负责任的AI使用。通过Amazon Bedrock，您可以轻松试验和评估适用于您用例的顶级FMs，利用微调和检索增强生成（RAG）等技术使用您的数据对它们进行私有定制，并构建能够使用您的企业系统和数据源执行任务的代理。由于Amazon Bedrock是无服务器的，您无需管理任何基础设施，并且可以使用您已熟悉的AWS服务安全地集成和部署生成式AI功能到您的应用程序中。

AWS Bedrock 维护了一个对话 API，它为 Bedrock 模型提供了统一的对话接口。该 API 尚不支持自定义模型。您可以在此处查看所有受支持的模型列表。

信息

我们建议不需要使用自定义模型的用户使用Converse API。可以使用 ChatBedrockConverse 进行访问。

有关Bedrock所有功能和配置的详细文档，请访问API参考。

概览

集成详情

类	包	本地	可序列化的	JS 支持	软件包下载	最新包裹
ChatBedrock	langchain-aws	❌	beta	✅
ChatBedrockConverse	langchain-aws	❌	beta	✅

模型特性

以下内容同时适用于 ChatBedrock 和 ChatBedrockConverse。

工具调用	结构化输出	JSON模式	图像输入	音频输入	视频输入	令牌级流式传输	原生异步	令牌使用量	对数概率
✅	✅	❌	✅	❌	❌	✅	❌	✅	❌

设置

要访问Bedrock模型，您需要创建一个AWS账户，设置Bedrock API服务，获取访问密钥ID和秘密密钥，并安装langchain-aws集成包。

凭据

前往 AWS 文档注册 AWS 并设置您的凭据。您还需要为您的账户开启模型访问权限，您可以按照这些说明进行操作。

要启用模型调用的自动跟踪，请设置您的 LangSmith API 密钥：

# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"

安装

LangChain Bedrock 集成位于 langchain-aws 包中：

%pip install -qU langchain-aws

实例化

现在我们可以实例化我们的模型对象并生成聊天补全：

from langchain_aws import ChatBedrockConverse

llm = ChatBedrockConverse(
    model_id="anthropic.claude-3-5-sonnet-20240620-v1:0",
    # temperature=...,
    # max_tokens=...,
    # other params...
)

API 参考：ChatBedrockConverse

调用

messages = [
    (
        "system",
        "You are a helpful assistant that translates English to French. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]
ai_msg = llm.invoke(messages)
ai_msg

AIMessage(content="J'adore la programmation.", additional_kwargs={}, response_metadata={'ResponseMetadata': {'RequestId': 'b07d1630-06f2-44b1-82bf-e82538dd2215', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Wed, 16 Apr 2025 19:35:34 GMT', 'content-type': 'application/json', 'content-length': '206', 'connection': 'keep-alive', 'x-amzn-requestid': 'b07d1630-06f2-44b1-82bf-e82538dd2215'}, 'RetryAttempts': 0}, 'stopReason': 'end_turn', 'metrics': {'latencyMs': [488]}, 'model_name': 'anthropic.claude-3-5-sonnet-20240620-v1:0'}, id='run-d09ed928-146a-4336-b1fd-b63c9e623494-0', usage_metadata={'input_tokens': 29, 'output_tokens': 11, 'total_tokens': 40, 'input_token_details': {'cache_creation': 0, 'cache_read': 0}})

print(ai_msg.content)

J'adore la programmation.

流式传输

请注意，ChatBedrockConverse 在流式传输时会发出内容块：

for chunk in llm.stream(messages):
    print(chunk)

content=[] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[{'type': 'text', 'text': 'J', 'index': 0}] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[{'type': 'text', 'text': "'adore la", 'index': 0}] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[{'type': 'text', 'text': ' programmation.', 'index': 0}] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[{'index': 0}] additional_kwargs={} response_metadata={} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[] additional_kwargs={} response_metadata={'stopReason': 'end_turn'} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd'
content=[] additional_kwargs={} response_metadata={'metrics': {'latencyMs': 600}, 'model_name': 'anthropic.claude-3-5-sonnet-20240620-v1:0'} id='run-d0e0836e-7146-4c3d-97c7-ad23dac6febd' usage_metadata={'input_tokens': 29, 'output_tokens': 11, 'total_tokens': 40, 'input_token_details': {'cache_creation': 0, 'cache_read': 0}}

您可以使用输出中的 .text() 方法过滤为文本：

for chunk in llm.stream(messages):
    print(chunk.text(), end="|")

|J|'adore la| programmation.||||

提示缓存

Bedrock 支持对提示的元素进行缓存，包括消息和工具。这允许您重复使用大型文档、指令、少量示例文档以及其他数据，以减少延迟和成本。

笔记

并非所有模型都支持提示缓存。查看支持的模型这里。

要对提示的某个元素启用缓存，请使用 cachePoint 键标记其关联的内容块。请参见以下示例：

import requests
from langchain_aws import ChatBedrockConverse

llm = ChatBedrockConverse(model="us.anthropic.claude-3-7-sonnet-20250219-v1:0")

# Pull LangChain readme
get_response = requests.get(
    "https://raw.githubusercontent.com/langchain-ai/langchain/master/README.md"
)
readme = get_response.text

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "What's LangChain, according to its README?",
            },
            {
                "type": "text",
                "text": f"{readme}",
            },
            {
                "cachePoint": {"type": "default"},
            },
        ],
    },
]

response_1 = llm.invoke(messages)
response_2 = llm.invoke(messages)

usage_1 = response_1.usage_metadata["input_token_details"]
usage_2 = response_2.usage_metadata["input_token_details"]

print(f"First invocation:\n{usage_1}")
print(f"\nSecond:\n{usage_2}")

API 参考：ChatBedrockConverse

First invocation:
{'cache_creation': 1528, 'cache_read': 0}

Second:
{'cache_creation': 0, 'cache_read': 1528}

链式调用

我们可以像这样将我们的模型与提示模板链接：

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant that translates {input_language} to {output_language}.",
        ),
        ("human", "{input}"),
    ]
)

chain = prompt | llm
chain.invoke(
    {
        "input_language": "English",
        "output_language": "German",
        "input": "I love programming.",
    }
)

API 参考：ChatPromptTemplate

AIMessage(content="Here's the German translation:\n\nIch liebe das Programmieren.", additional_kwargs={}, response_metadata={'ResponseMetadata': {'RequestId': '1de3d7c0-8062-4f7e-bb8a-8f725b97a8b0', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Wed, 16 Apr 2025 19:32:51 GMT', 'content-type': 'application/json', 'content-length': '243', 'connection': 'keep-alive', 'x-amzn-requestid': '1de3d7c0-8062-4f7e-bb8a-8f725b97a8b0'}, 'RetryAttempts': 0}, 'stopReason': 'end_turn', 'metrics': {'latencyMs': [719]}, 'model_name': 'anthropic.claude-3-5-sonnet-20240620-v1:0'}, id='run-7021fcd7-704e-496b-a92e-210139614402-0', usage_metadata={'input_tokens': 23, 'output_tokens': 19, 'total_tokens': 42, 'input_token_details': {'cache_creation': 0, 'cache_read': 0}})

API 参考

有关ChatBedrock所有功能和配置的详细文档，请访问API参考： https://python.langchain.com/api_reference/aws/chat_models/langchain_aws.chat_models.bedrock.ChatBedrock.html

有关ChatBedrockConverse所有功能和配置的详细文档，请访问API参考： https://python.langchain.com/api_reference/aws/chat_models/langchain_aws.chat_models.bedrock_converse.ChatBedrockConverse.html

聊天模型概念指南
聊天模型操操作指南

概览​

集成详情​

模型特性​

设置​

凭据​

安装​

实例化​

调用​

流式传输​

提示缓存​

链式调用​

API 参考​

相关​

概览