Skip to main content
Open In ColabOpen on GitHub

SambaNova

客户正在转向SambaNova,以快速部署最先进的AI功能,从而获得竞争优势。我们专为企业规模AI打造的平台是下一代AI计算的技术支柱。我们为解锁数据中蕴藏的宝贵商业洞察的基础模型提供动力。

专为人工智能设计的SambaNova RDU采用了一种革命性的数据流架构。这种设计使得RDU在这些工作负载上比GPU效率显著更高,因为它消除了对内存的冗余调用,而这是GPU功能上的一个固有限制。这种内置的高效性是RDU能够在一小部分占用空间内实现远高于GPU性能的特性之一。

在我们的架构之上,我们开发了一些平台,允许公司和开发者充分利用 RDU 处理器和开源模型。

SambaNovaCloud

SambaNova的SambaNova云是一个使用开源模型进行推理的平台

你可以在此处获取免费的SambaNovaCloud API密钥

SambaStudio

SambaNova的SambaStudio是一个基于丰富图形用户界面的平台,提供在SambaNova DataScale系统中训练、部署和管理模型的功能。

安装与设置

安装集成包:

pip install langchain-sambanova

将您的API密钥设置为环境变量:

如果你是SambaNovaCloud用户:

export SAMBANOVA_API_KEY="your-sambanova-cloud-api-key-here"

或者如果你是SambaStudio用户

export SAMBASTUDIO_API_KEY="your-sambastudio-api-key-here"

聊天模型

from langchain_sambanova import ChatSambaNovaCloud

llm = ChatSambaNovaCloud(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")

有关 ChatSambaNovaCloud 组件的更详细演练,请参阅 此笔记本

from langchain_sambanova import ChatSambaStudio

llm = ChatSambaStudio(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")

有关 ChatSambaStudio 组件的更详细演练,请参阅 此笔记本

嵌入模型

from langchain_sambanova import SambaNovaCloudEmbeddings

embeddings = SambaNovaCloudEmbeddings(model="E5-Mistral-7B-Instruct")
embeddings.embed_query("What is the meaning of life?")

有关 SambaStudioEmbeddings 组件的更详细演练,请参阅 此笔记本

from langchain_sambanova import SambaStudioEmbeddings

embeddings = SambaStudioEmbeddings(model="e5-mistral-7b-instruct")
embeddings.embed_query("What is the meaning of life?")

有关 SambaStudioEmbeddings 组件的更详细演练,请参阅 此笔记本

API参考 langchain-sambanova