Ollama

Ollama allows you to run open-source large language models, such as Llama3.1, locally.

Ollama bundles model weights, configuration, and data into a single package, defined by a Modelfile. It optimizes setup and configuration details, including GPU usage. For a complete list of supported models and model variants, see the Ollama model library.

有关如何在 LangChain 中使用 Ollama 的更多详细信息，请参阅本指南。

安装与设置

Ollama 安装

请按照这些说明 设置并运行本地Ollama实例。

如果此功能被禁用，Ollama 将自动作为后台服务启动，运行以下命令：

# export OLLAMA_HOST=127.0.0.1 # environment variable to set ollama host
# export OLLAMA_PORT=11434 # environment variable to set the ollama port
ollama serve

启动ollama后，运行ollama pull <model_checkpoint>从Ollama模型库下载模型。

ollama pull llama3.1

我们现在已经准备好安装langchain-ollama合作包并运行一个模型。

Ollama LangChain 合作伙伴包安装

通过以下方式安装集成包：

pip install langchain-ollama

LLM

from langchain_ollama.llms import OllamaLLM

API 参考：OllamaLLM

查看笔记本示例 这里。

聊天模型

聊天 Ollama

from langchain_ollama.chat_models import ChatOllama

API 参考：ChatOllama

查看笔记本示例 这里。

Ollama工具调用

Ollama 工具调用 使用与 OpenAI 兼容的 Web 服务器规范，并且可以与默认的 BaseChatModel.bind_tools() 方法一起使用，详情请见 此处。确保选择支持 工具调用 的 Ollama 模型。

嵌入模型

from langchain_community.embeddings import OllamaEmbeddings

API 参考：OllamaEmbeddings

查看笔记本示例 这里。