Skip to main content

云架构与可扩展性

云端管理解决方案

本节仅适用于在 https://smith.langchain.comhttps://eu.smith.langchain.com 提供的云端托管 LangSmith 服务。

有关自托管 LangSmith 解决方案的信息,请参阅 自托管文档

LangSmith 部署在 Google 云平台(GCP)上,专为高可扩展性而设计。许多客户在 LangSmith 上运行生产工作负载,既用于大语言模型(LLM)应用的可观测性,也用于评估。

架构

基于美国的 LangSmith 服务部署在 GCP 的 us-central1(爱荷华州)区域。

注意:基于欧盟的 LangSmith 服务现已上线(自2024年7月中旬起),部署于Google Cloud平台(GCP)的 europe-west4(荷兰)区域。 如果您对该区域的企业版套餐感兴趣,请通过 sales@langchain.dev 与我们联系。

区域存储

本表中的资源和服务存储在用户注册时所用URL对应的位置(美国或欧盟)。 云端托管的LangSmith使用Supabase进行身份验证/授权,并使用ClickHouse Cloud作为数据仓库。

USEU
URLhttps://smith.langchain.comhttps://eu.smith.langchain.com
API URLhttps://api.smith.langchain.comhttps://eu.api.smith.langchain.com
GCPus-central1 (Iowa)europe-west4 (Netherlands)
SupabaseAWS us-east-1 (N. Virginia)AWS eu-central-1 (Germany)
ClickHouse Cloudus-central1 (Iowa)europe-west4 (Netherlands)
LangGraph Cloudus-central1 (Iowa)europe-west4 (Netherlands)

请参阅地区常见问题解答了解更多信息。

与区域无关的存储

此处列出的数据仅存储在美国。

  • 使用 Stripe 和 Metronome 进行付款与账单信息管理

Google Cloud平台(GCP)服务

LangSmith 由以下服务组成,所有服务均部署在 Google Kubernetes Engine(GKE)上:

  • LangSmith 前端:为 LangSmith 用户界面提供服务。
  • LangSmith 后端:为 LangSmith API 提供服务。
  • LangSmith 平台后端:负责处理身份验证及其他高负载任务。(内部服务)
  • LangSmith Playground:负责将请求转发至各个大语言模型提供商,以支持 Playground 功能。
  • LangSmith 队列:处理异步任务。(内部服务)

LangSmith 使用以下 GCP 存储服务:

  • 用于运行输入和输出的 Google 云存储(GCS)
  • Google Cloud SQL PostgreSQL,适用于事务性工作负载。
  • Google Cloud Memorystore for Redis(用于队列和缓存)
  • 在 Google Cloud Platform (GCP) 上使用 ClickHouse Cloud 进行追踪数据摄取与分析。我们的服务通过私有端点连接至 ClickHouse Cloud,而该 ClickHouse Cloud 实例托管于同一 GCP 区域内。

我们使用的其他一些Google Cloud平台(GCP)服务包括:

  • 用于将流量路由到 LangSmith 服务的 Google Cloud 负载均衡器。
  • Google Cloud CDN 用于缓存静态资源。
  • 使用 Google Cloud Armor 提供安全防护和速率限制。有关我们实施的速率限制的更多信息,请参阅 本指南

IP地址白名单

所有离开 LangSmith 服务的流量都将通过 NAT 网关进行路由。所有流量看起来都将源自以下 IP 地址:

USEU
34.59.65.9734.13.192.67
34.67.51.22134.147.105.64
34.46.212.3734.90.22.166
34.132.150.8834.147.36.213
35.188.222.20134.32.137.113
34.58.194.12734.91.238.184
34.59.97.17335.204.101.241
104.198.162.5535.204.48.32

如果连接到您自己的 Azure OpenAI 服务,或 Playground 与在线评估可能需要的其他端点,建议将这些 IP 地址加入白名单。


这个页面对你有帮助吗?


您可以留下详细的反馈 在 GitHub 上.