在 Kubernetes 上自托管 LangSmith

需要企业许可证

自托管 LangSmith 是企业版计划的一项附加功能，专为规模最大、安全要求最高的客户设计。详情请参阅我们的定价页面；如需获取许可证密钥以在您的环境中试用 LangSmith，请联系 sales@langchain.dev。

本指南将引导您完成将 LangSmith 部署到 Kubernetes 集群的全过程。我们将使用 Helm 来安装 LangSmith 及其依赖项。

我们已在以下 Kubernetes 发行版上成功测试了 LangSmith：

谷歌 Kubernetes 引擎（GKE）
Amazon弹性 Kubernetes 服务（EKS）
Azure Kubernetes 服务 (AKS)
OpenShift
Minikube 和 Kind（用于开发目的）

先决条件

请确保您已准备好以下工具/物品。部分项目标为可选：

一个您可通过 kubectl 访问的正常运行的 Kubernetes 集群。您的集群应满足以下最低要求：
1. 推荐配置：至少16个虚拟CPU，64GB可用内存
  - 您可能需要根据组织规模和使用情况，为我们的各项不同服务调整资源请求/限制。
  - 我们建议使用集群自动扩缩器，根据资源使用情况自动增加或减少节点数量。
  - 我们建议设置指标服务器，以便启用自动扩缩容功能。
  - 您必须拥有一台至少配备 4 个 vCPU 和 16GB 可用内存的节点，因为 ClickHouse 默认会请求此数量的资源。
2. 集群上存在有效的动态 PV 供应器或 PV。您可以通过运行以下命令来验证：
  - 我们将使用 PostgreSQL 数据库、Redis 和 ClickHouse 来存储追踪数据。这些服务需要持久化存储。
  - 如果在集群中使用持久卷（PV），我们强烈建议在生产环境中设置备份。
  - 我们强烈建议使用由固态硬盘（SSD）支持的存储类，以获得更佳性能。我们推荐配置 7000 IOPS 和 1000 MiB/s 的吞吐量。
kubectl get storageclass
输出应至少显示一个支持动态配置的存储类，例如：
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE gp2 (default) kubernetes.io/aws-ebs Delete WaitForFirstConsumer true 161d
笔记
我们强烈建议使用支持卷扩容的存储类。这是因为追踪数据（traces）可能会占用大量磁盘空间，而您的存储卷可能需要随时间推移进行扩容。

有关存储类的更多信息，请参阅 Kubernetes 文档。
Helm
1. 要安装 Helm，请参考 Helm 文档
LangSmith 许可证密钥
1. 您可向 LangChain 官方代表获取此信息。如需了解更多信息，请联系 sales@langchain.dev。
API 密钥盐值
1. 这是一个您可以生成的密钥。它应为一串随机字符。
2. 您可以使用以下命令生成此内容：
openssl rand -base64 32
JWT 密钥（可选，但用于基础身份验证）
1. 这是一个您可以生成的密钥。它应为一串随机字符。
2. 您可以使用以下命令生成此内容：
openssl rand -base64 32
出口至 https://beacon.langchain.com（如果未处于离线模式）
1. LangSmith 需要向外连接至 https://beacon.langchain.com 以进行许可证验证和使用情况报告。这是 LangSmith 正常运行所必需的。您可以在外发连接（Egress）章节中找到有关外发连接要求的更多信息。
配置
1. 您可以在 langsmith_config.yaml 文件中设置若干配置选项。有关特定配置选项的更多信息，请参阅配置部分。
2. 如果您是 Kubernetes 或 Helm 的新手，我们建议您从 Helm Chart 仓库的 examples 目录中的某个示例配置开始： LangSmith Helm Chart 示例。
3. 您可以在 Helm Chart 仓库中的 values.yaml 文件中查看完整的配置选项列表： LangSmith Helm Chart

配置您的 Helm Chart：

创建一个名为 langsmith_config.yaml 的新文件，并使用上一步中的配置选项。

至少，您需要设置以下配置选项（使用基本身份验证）：

config:
  langsmithLicenseKey: "<your license key>"
  apiKeySalt: "<your api key salt>"
  authType: mixed
  basicAuth:
    enabled: true
    initialOrgAdminEmail: "admin@langchain.dev" # Change this to your admin email address
    initialOrgAdminPassword: "secure-password" # Must be at least 12 characters long and have at least one lowercase, uppercase, and symbol
    jwtSecret: <your jwt salt> # A random string of characters used to sign JWT tokens for basic auth.

部署到 Kubernetes：

请验证您能否连接到 Kubernetes 集群（注意：我们强烈建议安装到一个空的命名空间中）

运行 kubectl get pods

输出应类似于：

kubectl get pods                                                                                                                                                                     ⎈ langsmith-eks-2vauP7wf 21:07:46
No resources found in default namespace.

请确保已添加 Langchain Helm 仓库。（如果使用本地 chart，请跳过此步骤）

helm 仓库添加 langchain https://langchain-ai.github.io/helm/ “langchain” 已添加到您的仓库中

命名空间

如果您使用的是非默认命名空间，则需要在 helm 和 kubectl 命令中通过 -n <namespace 标志指定该命名空间。

运行 helm install langsmith langchain/langsmith --values langsmith_config.yaml --version <version> --debug
- 将 <your-namespace> 替换为您要部署 LangSmith 的命名空间。
- 将 <version> 替换为您要部署的 LangSmith 版本。您可以在 Helm Chart 仓库中查找可用版本。我们通常建议使用最新版本。输出应类似于：
NAME: langsmith LAST DEPLOYED: Fri Sep 17 21:08:47 2021 NAMESPACE: langsmith STATUS: deployed REVISION: 1 TEST SUITE: None

运行 kubectl get pods 输出现在应类似于：

langsmith-backend-6ff46c99c4-wz22d       1/1     Running   0          3h2m
langsmith-frontend-6bbb94c5df-8xrlr      1/1     Running   0          3h2m
langsmith-hub-backend-5cc68c888c-vppjj   1/1     Running   0          3h2m
langsmith-playground-6d95fd8dc6-x2d9b    1/1     Running   0          3h2m
langsmith-postgres-0                     1/1     Running   0          9h
langsmith-queue-5898b9d566-tv6q8         1/1     Running   0          3h2m
langsmith-redis-0                        1/1     Running   0          9h

验证您的部署：

运行 kubectl get services

输出应类似于：

NAME                    TYPE           CLUSTER-IP       EXTERNAL-IP                                                               PORT(S)        AGE
langsmith-backend       ClusterIP      172.20.140.77    <none>                                                                    1984/TCP       35h
langsmith-frontend      LoadBalancer   172.20.253.251   <external ip>                                                             80:31591/TCP   35h
langsmith-hub-backend   ClusterIP      172.20.112.234   <none>                                                                    1985/TCP       35h
langsmith-playground    ClusterIP      172.20.153.194   <none>                                                                    3001/TCP       9h
langsmith-postgres      ClusterIP      172.20.244.82    <none>                                                                    5432/TCP       35h
langsmith-redis         ClusterIP      172.20.81.217    <none>                                                                    6379/TCP       35h

使用 curl 命令获取 langsmith-frontend 服务的外部 IP 地址：

curl <external ip>/api/tenants
[{"id":"00000000-0000-0000-0000-000000000000","has_waitlist_access":true,"created_at":"2023-09-13T18:25:10.488407","display_name":"Personal","config":{"is_personal":true,"max_identities":1},"tenant_handle":"default"}]%

在浏览器中访问 langsmith-frontend 服务的外部 IP 地址

LangSmith 用户界面应可见/可正常运行

使用 LangSmith

现在 LangSmith 已启动运行，您可以开始使用它来追踪您的代码。有关如何使用自托管 LangSmith 的更多信息，请参阅自托管使用指南。

您的 LangSmith 实例当前正在运行，但可能尚未完全配置完成。

如果您使用了其中一种基础配置，那么您可能部署了一个无需身份验证的配置。在此状态下，系统不进行身份验证，也没有用户账户或 API 密钥的概念；只要向 LangChain 追踪器 / LangSmith SDK 传入主机名，即可直接提交追踪数据，而无需提供 API 密钥。

下一步，强烈建议您与基础设施管理员协作，以：

为您的 LangSmith 实例配置 DNS，以实现更便捷的访问
配置 SSL，以确保提交到 LangSmith 的追踪数据在传输过程中得到加密。
为 LangSmith 配置 OAuth 认证或基本认证，以保障您的 LangSmith 实例安全
将 LangSmith 连接到受保护的 PostgreSQL 和 Redis 实例

在 Kubernetes 上自托管 LangSmith

先决条件

配置您的 Helm Chart：

部署到 Kubernetes：

验证您的部署：

使用 LangSmith

这个页面对你有帮助吗？

您可以留下详细的反馈在 GitHub 上.

先决条件​

配置您的 Helm Chart：​

部署到 Kubernetes：​

验证您的部署：​

使用 LangSmith​

这个页面对你有帮助吗？

您可以留下详细的反馈 在 GitHub 上.

先决条件

配置您的 Helm Chart：

部署到 Kubernetes：

验证您的部署：

使用 LangSmith

您可以留下详细的反馈在 GitHub 上.