SambaNova
客户正在转向SambaNova,以快速部署最先进的AI功能,从而获得竞争优势。我们专为企业规模AI打造的平台是下一代AI计算的技术支柱。我们为解锁数据中蕴藏的宝贵商业洞察的基础模型提供动力。
专为人工智能设计的SambaNova RDU采用了一种革命性的数据流架构。这种设计使得RDU在这些工作负载上比GPU效率显著更高,因为它消除了对内存的冗余调用,而这是GPU功能上的一个固有限制。这种内置的高效性是RDU能够在一小部分占用空间内实现远高于GPU性能的特性之一。
在我们的架构之上,我们开发了一些平台,允许公司和开发者充分利用 RDU 处理器和开源模型。
SambaNovaCloud
SambaNova的SambaNova云是一个使用开源模型进行推理的平台
你可以在此处获取免费的SambaNovaCloud API密钥
SambaStudio
SambaNova的SambaStudio是一个基于丰富图形用户界面的平台,提供在SambaNova DataScale系统中训练、部署和管理模型的功能。
安装与设置
安装集成包:
pip install langchain-sambanova
将您的API密钥设置为环境变量:
如果你是SambaNovaCloud用户:
export SAMBANOVA_API_KEY="your-sambanova-cloud-api-key-here"
或者如果你是SambaStudio用户
export SAMBASTUDIO_API_KEY="your-sambastudio-api-key-here"
聊天模型
from langchain_sambanova import ChatSambaNovaCloud
llm = ChatSambaNovaCloud(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")
有关 ChatSambaNovaCloud 组件的更详细演练,请参阅 此笔记本
from langchain_sambanova import ChatSambaStudio
llm = ChatSambaStudio(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")
有关 ChatSambaStudio 组件的更详细演练,请参阅 此笔记本
嵌入模型
from langchain_sambanova import SambaNovaCloudEmbeddings
embeddings = SambaNovaCloudEmbeddings(model="E5-Mistral-7B-Instruct")
embeddings.embed_query("What is the meaning of life?")
有关 SambaStudioEmbeddings 组件的更详细演练,请参阅 此笔记本
from langchain_sambanova import SambaStudioEmbeddings
embeddings = SambaStudioEmbeddings(model="e5-mistral-7b-instruct")
embeddings.embed_query("What is the meaning of life?")
有关 SambaStudioEmbeddings 组件的更详细演练,请参阅 此笔记本
API参考 langchain-sambanova