Skip to main content
Open on GitHub

OpenLLM

OpenLLM 让开发者可以通过单个命令将任何开源LLM作为兼容OpenAI的API端点运行。

  • 🔬 为快速和生产用途而构建
  • 🚂 支持llama3、qwen2、gemma等，以及许多量化版本 完整列表
  • 与OpenAI兼容的API
  • 内置类似ChatGPT的用户界面
  • 🔥 使用最先进的推理后端加速LLM解码
  • 准备好进行企业级云部署（Kubernetes、Docker 和 BentoCloud）

安装与设置​

通过PyPI安装OpenLLM包：

pip install openllm

LLM​

OpenLLM 支持广泛的开源 LLM 以及为用户自己微调的 LLM 提供服务。使用 openllm model 命令查看所有预先为 OpenLLM 优化的可用模型。

包装器​

有一个 OpenLLM 包装器，支持通过 OpenLLM 与正在运行的服务器进行交互：

from langchain_community.llms import OpenLLM
API 参考：OpenLLM

OpenLLM服务器的包装器​

此包装器支持与 OpenLLM 的 OpenAI 兼容端点进行交互。

要运行模型，请执行：

openllm hello

包装器用法：

from langchain_community.llms import OpenLLM

llm = OpenLLM(base_url="http://localhost:3000/v1", api_key="na")

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")
API 参考：OpenLLM

使用​

有关OpenLLM包装器的更详细演练，请参阅 示例笔记本